直交に関する定義
定義1
内積空間の要素である\(\boldsymbol{u}\)と\(\boldsymbol{v}\)が\(\langle\boldsymbol{u},\boldsymbol{v}\rangle=0\)の関係であるとき、\(\boldsymbol{u}\)と\(\boldsymbol{v}\)は直交する（orthognal）という。
例
$$\boldsymbol{u}=\begin{pmatrix}2\\1\end{pmatrix},\ \boldsymbol{v}=\begin{pmatrix}-2\\4\end{pmatrix}$$
とすると、
$$\langle \boldsymbol{u},\boldsymbol{v}\rangle=2 \cdot (-2) + 1 \cdot 4 = 0$$
より、\(\boldsymbol{u}\)と\(\boldsymbol{v}\)は直交します。
定義2
内積空間の\(2\)つの要素が直交しどちらもノルムが\(1\)である場合、これを正規直交する（orthonormal）という。
例
$$\boldsymbol{u}=\begin{pmatrix}\frac{2}{\sqrt{5}}\\ \frac{1}{\sqrt{5}}\end{pmatrix},\ \boldsymbol{v}=\begin{pmatrix}\frac{-2}{\sqrt{20}}\\\frac{4}{\sqrt{20}}\end{pmatrix}$$
とすると、
\begin{align} \| \boldsymbol{u} \| &= \sqrt{\frac{2^2}{5} + \frac{1^2}{5}} = 1\\
\| \boldsymbol{v} \| &= \sqrt{\frac{(-2)^2}{20} + \frac{4^2}{20}} = 1\\ \\
\langle \boldsymbol{u},\boldsymbol{v}\rangle & =\frac{2}{\sqrt{5}} \cdot \frac{-2}{\sqrt{20}} + \frac{1}{\sqrt{5}} \cdot \frac{4}{\sqrt{20}} = 0 \end{align}
より、\(\boldsymbol{u}\)と\(\boldsymbol{v}\)は正規直交します。
定義3
内積空間の要素\(\boldsymbol{v}_1,\boldsymbol{v}_2,\cdots,\boldsymbol{v}_n\)が全ての\(i\neq j\)に対して\(\langle \boldsymbol{v}_i , \boldsymbol{v}_j\rangle = 0\)であるとき、\(\{\boldsymbol{v}_1,\boldsymbol{v}_2,\cdots,\boldsymbol{v}_n\}\)を直交集合（orthogonal set）とよぶ。
また、全ての要素のノルムが\(1\)である直交集合を正規直交集合（orthonormal set）とよぶ。
例
1.
\begin{align}
S&=\{\boldsymbol{v}_1,\boldsymbol{v}_2\}\\ \\
\boldsymbol{v}_1&=\begin{pmatrix}1\\2\\-2\end{pmatrix},\ \boldsymbol{v}_2=\begin{pmatrix}2\\-3\\-2\end{pmatrix}
\end{align}
とすると、
$$\langle \boldsymbol{v}_1,\boldsymbol{v}_2\rangle=1\cdot 2 + 2\cdot (-3) + (-2) \cdot (-2) = 0$$
より\(S\)は直交集合です。
2.
\begin{align}
S&=\{\boldsymbol{v}_1,\boldsymbol{v}_2\}\\ \\
\boldsymbol{v}_1
&=\begin{pmatrix}
\frac{2}{3}\\
\frac{1}{3}\\
\frac{2}{3}
\end{pmatrix},\
\boldsymbol{v}_2=
\begin{pmatrix}
\frac{-1}{3}\\
\frac{-2}{3}\\
\frac{2}{3}
\end{pmatrix}
\end{align}
とすると、
\begin{align}
\|\boldsymbol{v}_1\|&=\sqrt{\frac{2^2}{9}+\frac{1^2}{9}+\frac{2^2}{9}}=1\\
\|\boldsymbol{v}_2\|&=\sqrt{\frac{(-1)^2}{9}+\frac{(-2)^2}{9}+\frac{2^2}{9}}=1\\
\langle \boldsymbol{v}_1,\boldsymbol{v}_2\rangle
&=\frac{1}{9}\cdot\left( 2\cdot (-1) + 1 \cdot (-2) + 2 \cdot 2 \right) = 0
\end{align}
より\(S\)は正規直交集合です。
定義4
内積空間の基底\(\{\boldsymbol{v}_1,\boldsymbol{v}_2,\cdots,\boldsymbol{v}_n\}\)が全ての\(i\neq j\)に対して\(\langle \boldsymbol{v}_i , \boldsymbol{v}_j \rangle = 0\)であるとき、これを直交基底（orthogonal basis）とよぶ。
また、全ての要素のノルムが\(1\)である直交基底を正規直交基底（orthonormal basis）とよぶ。
補足
直交集合と直交基底は似ていますが、ベクトルが属する空間を線形結合で表すことができるかどうかの違いがあります。
例えば、下記例1の場合、
\(\{\boldsymbol{v}_1,\boldsymbol{v}_2,\boldsymbol{v}_3\}\)は直交集合かつ\(\mathbb{R}^3\)の直交基底です。
\(\{\boldsymbol{v}_1,\boldsymbol{v}_2\}\)は直交集合ですが、これらが張る空間は\(\mathbb{R}^3\)にはならないので\(\mathbb{R}^3\)の直交基底ではありません。
例
1.
\begin{align}
S&=\{\boldsymbol{v}_1,\boldsymbol{v}_2,\boldsymbol{v}_3\}\\ \\
\boldsymbol{v}_1&=\begin{pmatrix}2\\1\\2\end{pmatrix},\ \boldsymbol{v}_2=\begin{pmatrix}2\\-2\\-1\end{pmatrix},\ \boldsymbol{v}_3=\begin{pmatrix}1\\2\\-2\end{pmatrix} \end{align}
とすると、
\begin{align}
\langle \boldsymbol{v}_1,\boldsymbol{v}_2\rangle&=2\cdot 2 + 1 \cdot (-2) + 2 \cdot (-1) = 0\\
\langle \boldsymbol{v}_1,\boldsymbol{v}_3\rangle&=2\cdot 1 + 1 \cdot 2 + (-1) \cdot (-2) = 0\\
\langle \boldsymbol{v}_2,\boldsymbol{v}_3\rangle&=2\cdot 1 + 1 \cdot 2 + 2 \cdot (-2) = 0
\end{align}
より\(S\)は\(\mathbb{R}^3\)の直交基底です。
2.
\begin{align}
S&=\{\boldsymbol{v}_1,\boldsymbol{v}_2,\boldsymbol{v}_3\}\\ \\
\boldsymbol{v}_1&=\begin{pmatrix}\frac{2}{3}\\ \frac{1}{3}\\ \frac{2}{3}\end{pmatrix},\
\boldsymbol{v}_2=\begin{pmatrix}\frac{2}{3}\\ \frac{-2}{3}\\ \frac{-1}{3}\end{pmatrix},\
\boldsymbol{v}_3=\begin{pmatrix}\frac{1}{3}\\
\frac{2}{3}\\ \frac{-2}{3}\end{pmatrix}
\end{align}
とすると、
\begin{align}
\|\boldsymbol{v}_1\|&=\sqrt{\frac{2^2}{9}+\frac{1}{9}+\frac{2^2}{9}}=1\\
\|\boldsymbol{v}_2\|&=\sqrt{\frac{2^2}{9}+\frac{(-2)^2}{9}+\frac{(-1)^2}{9}}=1\\
\|\boldsymbol{v}_3\|&=\sqrt{\frac{1^2}{9}+\frac{2^2}{9}+\frac{(-2)^2}{9}}=1\\
\langle \boldsymbol{v}_1,\boldsymbol{v}_2\rangle&=\frac{1}{9}\cdot\left(2\cdot 2 + 1 \cdot (-2) + 2 \cdot (-1)\right) \\
&= 0\\
\langle \boldsymbol{v}_1,\boldsymbol{v}_3\rangle&=\frac{1}{9}\cdot\left(2\cdot 1 + 1 \cdot 2 + 2 \cdot (-2)\right) \\
&= 0\\
\langle \boldsymbol{v}_2,\boldsymbol{v}_3\rangle&=\frac{1}{9}\cdot\left(2\cdot 1 + (-2) \cdot 2 + (-1) \cdot (-2)\right) \\
&= 0\\
\end{align}
より\(S\)は\(\mathbb{R}^3\)の正規直交基底です。
直交行列
定義5
\(n \times n\)の行列\(A\)が\(A^T A=I\)を満たすとき、\(A\)を直交行列（orthogonal matirix）とよぶ。
補足
ここでは定義を\(1\)つ挙げましたが、これと同値な条件が他にあります。以下のいずれかを満たせば\(A\)は直交行列です。
・\(A^T A = I\)
・\(A A^T = I\)
・\(A=A^{-1}\)
・\(A\)の列ベクトルの集合が正規直交集合
・\(A\)の行ベクトルの集合が正規直交集合
列ベクトルの集合が正規直交集合であれば直交行列であることの確認
正規直交集合のベクトルを列ベクトルとして並べ、\(A\)とし、\(A^T A=I\)となることを確認します。
\(I\)の各成分は\(A^T\)の行ベクトルと\(A\)の列ベクトルの内積（ドット積）と考えることができます。下の図の場合、\(A\)の第\(1\)列どうしの内積なので、これが\(1\)になります。
ベクトルは直交するので、下の図のように\(A^T\)の行の位置と\(A\)の列の位置が異なる場合、内積は\(0\)になります。
したがって、\(A\)の列ベクトルの集合が正規直交集合であれば\(A^T A = I\)つまり\(A\)は直交行列です。同様に\(A A^T\)について考えれば行ベクトルの集合も正規直交集合になります。
例
1.
下記行列は前述正規直交基底の例で挙げたベクトルを並べたものです。したがってこれは直交行列です。
\begin{pmatrix} \frac{2}{3}&\frac{2}{3}&\frac{1}{3}\\
\frac{1}{3}&\frac{-2}{3}&\frac{-2}{3}\\
\frac{1}{3}&\frac{-1}{3}&\frac{-2}{3} \end{pmatrix}
2.
回転行列は以下のように表すことができます。
$$A=\begin{pmatrix} \cos \theta& – \sin \theta\\ \sin \theta & \cos \theta \end{pmatrix}$$
その転置行列は、
$$A^T=\begin{pmatrix} \cos \theta& \sin \theta\\ -\sin \theta & \cos \theta \end{pmatrix}$$
と\(-\theta\)だけ回転する回転行列なので、
$$A^T A=I$$
つまり回転行列は直交行列です。
直交行列の性質
以下、\(A\)と\(B\)を直交行列とします。
1. 行列式は\(1\)または\(-1\)
\begin{align}
(\mathrm{det}(A))^2&= \mathrm{det}(A)\mathrm{det}(A)= \mathrm{det}(A^T)\mathrm{det}(A)\\
&=\mathrm{det}(A^T A)=\mathrm{det}(I)=1
\end{align}
より、\(\mathrm{det}(A)=1\)または\(\mathrm{det}(A)=-1\)です。
2. \(2\)つの直交行列の積も直交行列
$$(A B)^T (A B) = B^T A^T A B = B^T B = I$$
なので、\(AB\)は直交行列です。
3. ドット積を変えない
$$(A\boldsymbol{x})^T (A\boldsymbol{y}) = (\boldsymbol{x}^T A^T) (A\boldsymbol{y})= \boldsymbol{x}^T A^TA\boldsymbol{y}=\boldsymbol{x}^T \boldsymbol{y}$$
より、\(2\)つのベクトルそれぞれに\(A\)を掛けてもドット積は変わりません。
4. 直交行列の固有値は\(1\)または\(-1\)
\(A\boldsymbol{x} = \lambda \boldsymbol{x}\)とします。両辺を転置させたベクトルを左から掛けると、
$$\lambda ^2 \boldsymbol{x}^T \boldsymbol{x} = (A \boldsymbol{x})^T (A \boldsymbol{x}) = \boldsymbol{x}^T A^T A \boldsymbol{x} = \boldsymbol{x}^T \boldsymbol{x}$$
\(\lambda ^2 = 1\)でなければならないので\(\lambda\)は\(1\)または\(-1\)です。
5. \(2\)ノルムを変えない
\begin{align}\|A\boldsymbol{x}\|_2^2 &= (A\boldsymbol{x})^T(A\boldsymbol{x})=\boldsymbol{x}^T A^T A \boldsymbol{x} \\
&= \boldsymbol{x}^T \boldsymbol{x} = \|\boldsymbol{x}\|_2^2\end{align}
より、
$$\|A\boldsymbol{x}\|_2 =\|\boldsymbol{x}\|_2$$
となるので、行列（ベクトルも同様）に直交行列を左から掛けても\(2\)ノルムは変わりません。