線形代数 – ノルム

投稿者: | 2024年8月31日

定義

定義

\(V\)を\(\mathbb{C}\)または\(\mathbb{R}\)上のベクトル空間とする。\(\boldsymbol{x},\ \boldsymbol{y} \in V\)と関数\(\| \cdot \|:V\rightarrow \mathbb{R}_{\geq 0}\)が以下を満たすとき、これをノルム(norm)、ノルムが定義されている空間をノルム空間(normed space)とよぶ。

(a) \(\|\boldsymbol{x}\| \geq 0,\ \|\boldsymbol{x}\| = 0 \Leftrightarrow \boldsymbol{x} = \boldsymbol{0}\)(正値性)

(b) \(\|a\boldsymbol{x}\| = |a|\|\boldsymbol{x}\|\)(斉次性)

(c) \(\|\boldsymbol{x}+\boldsymbol{y}\| \leq \|\boldsymbol{x}\|+\|\boldsymbol{y}\|\)(三角不等式)

補足

・高校で学んだベクトルの絶対値は2ノルム(後述)です。

ノルムの例

定義

1ノルム

\begin{align}
\|\boldsymbol{x}\|_1&=\sum_{i=1}^n |x_i|\\
&= |x_1| + |x_2| + \cdots + |x_n|
\end{align}

L1ノルム\(\ell^1\)ノルム絶対値ノルムともよびます。

\(2\)点間における各座標の差を絶対値として求めた和(マンハッタン距離)を示しています。


2ノルム

\begin{align}
\|\boldsymbol{x}\|_2&=\left( \sum_{i=1}^n |x_i|^2 \right)^{\frac{1}{2}} \\
&= \sqrt{|x_1|^2 + |x_2|^2 + \cdots + |x_n|^2}\end{align}

L2ノルム\(\ell^2\)ノルムユークリッドノルムともよびます。

\(2\)点間の距離(ユークリッド距離)を示しています。


pノルム

\(1 \leq p \)のとき、

\begin{align}
\|\boldsymbol{x}\|_p&=\left( \sum_{i=1}^n |x_i|^p \right)^{\frac{1}{p}} \\
&= \left(|x_1|^p + |x_2|^p + \cdots + |x_n|^p \right)^{\frac{1}{p}}
\end{align}

Lpノルム\(\ell^p\)ノルムともよびます。


∞ノルム

\begin{align}\|\boldsymbol{x}\|_\infty&=\max_{1\le i \le n} |x_i| \\
&= \max \left(|x_1|,|x_2|,\cdots,|x_n|\right)
\end{align}

Lノルム\(\ell^\infty\)ノルム最大値ノルムともよびます。

\(2\)点間における座標ごとの差を絶対値として比較した場合の最も大きい値(チェビシェフ距離)を示しています。


マンハッタン距離、ユークリッド距離、チェビシェフ距離の例

以下がそれぞれの例です。

pノルムが三角不等式を満たすことの確認

\begin{align}
&\|\boldsymbol{x}+\boldsymbol{y}\|_p^p\color{white}{aaaaaaaaaaaaaaaaaaaaaaaaaaa}\\
&=\sum_{i=1}^n|x_i+y_i|^p\\
&=\sum_{i=1}^n|x_i+y_i| |x_i+y_i|^{p-1}\\
&=(1)
 \end{align}

\(|\boldsymbol{x}_i+\boldsymbol{y}_i| \leq |\boldsymbol{a}|+|\boldsymbol{b}|\)より、

\begin{align}
&(1)\\
&\leq \sum_{i=1}^n|x_i| |x_i+y_i|^{p-1} + \sum_{i=1}^n|y_i| |x_i+y_i|^{p-1} \\
&= \sum_{i=1}^n|x_i (x_i+y_i)|^{p-1} + \sum_{i=1}^n|y_i (x_i+y_i)|^{p-1} \\
&= \|\boldsymbol{x} (\boldsymbol{x}+\boldsymbol{y})^{p-1}\|_1 + \|\boldsymbol{y} (\boldsymbol{x}+\boldsymbol{y})^{p-1}\|_1 \\
&= (2)
\end{align}

\(\frac{1}{p}+\frac{1}{q}=1\)としてヘルダーの不等式

$$\|\boldsymbol{x} \boldsymbol{y}\|_1 \leq \|\boldsymbol{x}\|_p \|\boldsymbol{y}\|_q $$

を適用すると、

\begin{align}
&(2)\\
&\leq \|\boldsymbol{x}\|_p \|(\boldsymbol{x}+\boldsymbol{y})^{p-1}\|_q + \|\boldsymbol{y}\|_p \|(\boldsymbol{x}+\boldsymbol{y})^{p-1}\|_q \\
&=(3)
\end{align}

\((p-1)q=p,\ \frac{1}{q}=\frac{p-1}{p}\)より、
\begin{align}
\|(\boldsymbol{x}+\boldsymbol{y})^{p-1}\|_q &= \left(\sum_{i=1}^n|(x_i+y_i)^{p-1}|^{q} \right)^{\frac{1}{q}}\\
&= \left(\sum_{i=1}^n|x_i+y_i|^{(p-1)q} \right)^{\frac{1}{q}}\\
&=\left(\sum_{i=1}^n|x_i+y_i|^{p} \right)^\frac{p-1}{p}\\
&=\|\boldsymbol{x}+\boldsymbol{y}\|_p^{p-1}
\end{align}

これを代入して、

\begin{align}
&(3)\color{white}{aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa}\\
&= \|\boldsymbol{x}\|_p \|\boldsymbol{x}+\boldsymbol{y}\|_p^{p-1} + \| \boldsymbol{y} \|_p \| \boldsymbol{x}+\boldsymbol{y} \|_p^{p-1} \\
\end{align}

\((1) \leq (2) \leq (3)\)より、

\begin{align}
&\|\boldsymbol{x}+\boldsymbol{y}\|_p^p\color{white}{aaaaaaaaaaaaaaaaaaaaaaaaaaa}\\
\ \ &\leq \|\boldsymbol{x}\|_p \|\boldsymbol{x}+\boldsymbol{y}\|_p^{p-1} + \|\boldsymbol{y}\|_p \|\boldsymbol{x}+\boldsymbol{y}\|_p^{p-1}
\end{align}

したがって、

\begin{align}
&\|\boldsymbol{x}+\boldsymbol{y}\|_p \leq \|\boldsymbol{x}\|_p+\|\boldsymbol{y}\|_p
\end{align}

\(p\rightarrow \infty\)におけるpノルムと∞ノルムが一致することの確認

\(x_1,x_2,\cdots,x_n\)のうち、絶対値が最大となる成分の個数は最大で\(n\)(全て同じ絶対値)、最小で\(1\)(絶対値が最大となる成分が単独で存在する)です。この最大値を\(|x_{m}|\)とすると、

$$|x_{m}^{\ \ p}|^{\frac{1}{p}} \leq \left(\sum_{i=1}^{n}|x_i|^p\right)^{\frac{1}{p}} \leq \left(n|x_{m}^{\ \ p}|\right)^{\frac{1}{p}}$$

\(p\)を無限大にすると、

\begin{align}
&\lim_{p\rightarrow\infty}|x_{m}^{\ \ p}|^{\frac{1}{p}}= |x_{m}| \\
&\leq \lim_{p\rightarrow\infty}\left(\sum_{i=1}^{n}|x_i|^p\right)^{\frac{1}{p}} \\
&\leq \lim_{p\rightarrow\infty}\left(n|x_{m}^p|\right)^{\frac{1}{p}}=\lim_{p\rightarrow\infty}n^{\frac{1}{p}}\lim_{p\rightarrow\infty}\left(|x_{m}^{\ \ p}|\right)^{\frac{1}{p}}=|x_{m}|\end{align}

この不等式が成り立つ条件は、

$$ \lim_{p\rightarrow\infty}\left(\sum_{i=1}^{n}|x_i|^p\right)^{\frac{1}{p}} =|x_{m}|$$

のみであるため、pノルムの\(p\)が無限大のときに∞ノルムと一致します。

単位円

ノルムが\(1\)であるベクトルの集合を単位円(unit circle)や単位球面(unit sphere)などとよびます。次元が\(2\)や\(3\)でない場合や、形状が円や球面でない場合もこのようによびます。

下の図は\(p=1,2,\infty\)としたpノルムの単位円です。

\(p=1\)の場合、第\(1\)象限にあるベクトルの座標は\(x_2=1-x_1\)の関係にあるので傾き\(-1\)で\((1,0)\)と\((0,1)\)を通ります。他も同様です。

\(p=2\)の場合、ベクトルの座標は\(|x_1|^2+|x_2|^2=1\)の関係にあるので半径\(1\)の円になります。

\(p=\infty\)の場合、\(x_1=1\)のときに\(-1\leq x_2 \leq 1\)の値をとるので\((1,0)\)を通る垂直な線分になります。他も同様です。