跳至主要內容

正交性

大约 15 分钟

正交性

参考教程 麻省理工公开课 线性代数open in new window P14~P17

正交性的定义 Orthogonal

向量的正交性

对于向量 u⃗,v⃗\vec{u},\vec{v}, 当两个向量满足

u⃗T⋅v⃗=0⃗ \vec{u}^T\cdot\vec{v}=\vec{0}

则称向量 u⃗\vec{u} 与 v⃗\vec{v} 正交

显然

  • 零向量 0⃗\vec{0} 与任何其他向量正交
  • 向量 u⃗,v⃗\vec{u},\vec{v} 均来自向量空间 RnR^n

向量空间的正交性

有向量空间 S,TS,T, 其均为 RnR^n 的子空间
当任意一个来自 SS 的向量与任意一个来自 TT 的向量都满足正交性时
则称向量空间 SS 与 TT 正交

显然

  • 当向量空间 S,TS,T 正交时 S∩T=0⃗S\cap T=\vec{0}

基本子空间的正交性

行空间与零空间正交性证明

对于 m×nm\times n 的矩阵 AA, 其行空间 C(AT)C(A^T) 与零空间 N(A)N(A) 均为向量空间 RnR^n 的子空间

根据零空间的定义可得, 对于任意一个来自零空间 N(A)N(A) 的向量 x⃗\vec{x} 有

Ax⃗=0⃗[r⃗1Tr⃗2T⋮r⃗mT]x⃗=[00⋮0] \begin{split} A\vec{x}&=\vec{0}\\ \begin{bmatrix} \vec{r}_1^T\\ \vec{r}_2^T\\ \vdots\\ \vec{r}_m^T\end{bmatrix} \vec{x}&=\begin{bmatrix} 0\\0\\\vdots\\0 \end{bmatrix} \end{split}

将 AA 视为一个由行向量 r⃗iT\vec{r}_i^T 组成的向量, x⃗\vec{x} 视为一个 n×1n\times 1 的矩阵, 则该等式表明, AA 中的每一行均与 x⃗\vec{x} 正交

由于行空间 C(AT)C(A^T) 的一组基来自 AA 的主元行, 因此上式也表明 x⃗\vec{x} 与行空间的一组基 a⃗k\vec{a}_k 正交, 有 x⃗Ta⃗k=0⃗\vec{x}^T\vec{a}_k=\vec{0}

因此对于来自行空间的任意向量 a⃗\vec{a} 有

x⃗Ta⃗=x⃗T(c1a⃗1+c2a⃗2+⋯+cra⃗r)=0⃗ \vec{x}^T\vec{a}=\vec{x}^T(c_1\vec{a}_1+c_2\vec{a}_2+\dots +c_r\vec{a}_r)=\vec{0}

因此对于来自同一矩阵 AA 的行空间与零空间具有正交性
同理可得, 来自同一矩阵 AA 的列空间与左零空间具有正交性

正交补

注意到, 行空间的维数 dim[C(AT)]=rdim[C(A^T)]=r, 零空间的维数 dim[N(A)]=n−rdim[N(A)]=n-r, 这两个空间均为 RnR^n 的子空间

由于行空间与零空间正交, 因此行空间与零空间分别完全占据了 RnR^n 的两个维度
零空间不仅仅与行空间正交, 而且零空间是与行空间正交的, 维数最大的向量空间
以此定义, 零空间为行空间的正交补

同理, 左零空间为列空间的正交补

由此可得, 对于任意向量 x⃗∈Rn\vec{x}\in R^n, 必定可以分解为 x⃗=a⃗+b⃗\vec{x}=\vec{a}+\vec{b}, 其中 a⃗∈C(AT),b⃗∈N(A)\vec{a}\in C(A^T),\vec{b}\in N(A)
x⃗∈Rm\vec{x}\in R^m 同理

投影矩阵

向量投影

以二维空间举例, 现有二维空间中的向量 a⃗,b⃗\vec{a},\vec{b}

以 a⃗\vec{a} 为基底构成以一个向量空间 C(a⃗)C(\vec{a}), 这个空间在二维平面中即一条过原点的直线
在 C(a⃗)C(\vec{a}) 中一定有一个向量 p⃗=xa⃗\vec{p}=x\vec{a}, 使 b⃗\vec{b} 与 p⃗\vec{p} 距离最近
以此定义 b⃗\vec{b} 在 a⃗\vec{a} 上的投影为 p⃗\vec{p}

显然直线 BPBP 为 C(a⃗)C(\vec{a}) 的一条垂线, 向量 e⃗=b⃗−p⃗\vec{e}=\vec{b}-\vec{p} 与向量 a⃗\vec{a} 正交, 因此

a⃗T(b⃗−p⃗)=0⃗xa⃗Ta⃗=a⃗Tb⃗x=a⃗Tb⃗a⃗Ta⃗p⃗=a⃗a⃗Tb⃗a⃗Ta⃗ \begin{split} \vec{a}^T(\vec{b}-\vec{p})&=\vec{0}\\ x\vec{a}^T\vec{a}&=\vec{a}^T\vec{b}\\ x&=\frac{\vec{a}^T\vec{b}}{\vec{a}^T\vec{a}}\\ \vec{p}&=\vec{a}\frac{\vec{a}^T\vec{b}}{\vec{a}^T\vec{a}} \end{split}

根据 p⃗\vec{p} 的表达式可知

  1. 即使 a⃗\vec{a} 乘上任意倍数, 投影 p⃗\vec{p} 不变
  2. 当 b⃗\vec{b} 乘上 kk 倍, 则投影 p⃗\vec{p} 也将乘上 kk 倍

向量投影矩阵

在投影向量的推导中, a⃗Ta⃗\vec{a}^T\vec{a} 得到一个数, 而 a⃗a⃗T\vec{a}\vec{a}^T 得到一个方阵

p⃗=a⃗a⃗Ta⃗Ta⃗b⃗p⃗=Pb⃗ \begin{split} \vec{p}&=\frac{\vec{a}\vec{a}^T}{\vec{a}^T\vec{a}}\vec{b}\\ \vec{p}&=P\vec{b} \end{split}

因此可将获得 b⃗\vec{b} 在 C(a⃗)C(\vec{a}) 上的投影运算使用 b⃗\vec{b} 与投影矩阵 PP 的相乘表示

向量投影矩阵的性质

  1. 投影矩阵来自两个向量相乘, 因此投影矩阵为一个秩一矩阵, 有 r=1r=1
  2. 将向量 a⃗\vec{a} 视为矩阵, 则可以知道, 投影矩阵为一个对称矩阵, 有 P=PTP=P^T
  3. 当 b⃗\vec{b} 投影到 p⃗\vec{p}, 显然向量空间 C(a⃗)C(\vec{a}) 上离 p⃗\vec{p} 最近的点即 p⃗\vec{p} 自身
    因此可以推出投影矩阵满足 P2=PP^2=P

一般投影

在 RnR^n 空间中有
向量 b⃗\vec{b}, 在 RnR^n 空间中体现为一条直线
向量空间 C(A)C(A) 在 RnR^n 空间中体现为一个多维平面

在 C(A)C(A) 中一定有一个向量 p⃗=Ax⃗\vec{p}=A\vec{x}, 使 b⃗\vec{b} 与 p⃗\vec{p} 距离最近
以此定义 b⃗\vec{b} 在向量空间 C(A)C(A) 上的投影为 p⃗\vec{p}
(注意向量 x⃗\vec{x} 为线性组合得到 p⃗\vec{p} 的系数, 因此 x⃗\vec{x} 反映了 b⃗\vec{b} 投影到 C(A)C(A) 各个方向的分量)

显然误差向量 e⃗=b⃗−p⃗\vec{e}=\vec{b}-\vec{p} 与向量空间 C(A)C(A) 中的任意向量正交 (直线 BPBP 垂直于多维平面 C(A)C(A))

根据正交补的概念可得, e⃗\vec{e} 必定属于 C(A)C(A) 的正交补 N(AT)N(A^T)
根据左零空间 N(AT)N(A^T) 的性质可得 e⃗\vec{e} 满足

ATe⃗=0⃗AT(b⃗−Ax⃗)=0⃗ATAx⃗=ATb⃗x⃗=(ATA)−1ATb⃗p⃗=A(ATA)−1ATb⃗ \begin{split} A^T\vec{e}&=\vec{0}\\ A^T(\vec{b}-A\vec{x})&=\vec{0}\\ A^TA\vec{x}&=A^T\vec{b}\\ \vec{x}&=(A^TA)^{-1}A^T\vec{b}\\ \vec{p}&=A(A^TA)^{-1}A^T\vec{b} \end{split}

其中

  • p⃗=A(ATA)−1ATb⃗=Pb⃗\vec{p}=A(A^TA)^{-1}A^T\vec{b}=P\vec{b} 可计算向量 b⃗\vec{b} 在列空间 C(A)C(A) 上的投影
  • x⃗=(ATA)−1ATb⃗\vec{x}=(A^TA)^{-1}A^T\vec{b} 可计算 Pb⃗P\vec{b} 关于矩阵 AA 各列的分量
    (实际上, 如果 b⃗\vec{b} 在向量空间 C(A)C(A) 中时, 仅需求解线性方程组 Ax⃗=b⃗A\vec{x}=\vec{b} 即可得到 b⃗\vec{b} 相对 C(A)C(A) 各列的分量 x⃗\vec{x}, 并不需要投影)

一般投影矩阵

根据高维投影向量 p⃗\vec{p} 的推导可得, 一般情况下的投影矩阵满足

P=A(ATA)−1AT P=A(A^TA)^{-1}A^T

对于一般投影矩阵可以得到以下性质

  1. 由于 AA 不一定是可逆矩阵, 因此其中的 (ATA)−1(A^TA)^{-1} 不能消去
    但当 AA 为可逆矩阵时, 有 P=IP=I, 表明 b⃗\vec{b} 在 RnR^n 的投影即 b⃗\vec{b} 自身
  2. 投影矩阵 PP 为对称矩阵
  3. 投影矩阵 PP 满足 P2=PP^2=P

注意

  • 矩阵 AA 的各列必须线性无关, 即矩阵应当列满秩 m=rm=r
  • 当 AA 为可逆矩阵时, 必定有 P=IP=I (证明略)
  • 当 AA 为不可逆矩阵, 则应取其中的主元列计算 PP, 而不能直接使用公式

投影矩阵的实际意义

  • 假设 b⃗\vec{b} 垂直于空间 C(A)C(A) (b⃗\vec{b} 与 C(A)C(A) 中的每个向量正交), 因此 b⃗∈N(AT)\vec{b}\in N(A^T), ATb⃗=0⃗A^T\vec{b}=\vec{0}
    此时 Pb⃗=A(ATA)−1ATb⃗=A(ATA)−10⃗=0⃗P\vec{b}=A(A^TA)^{-1}A^T\vec{b}=A(A^TA)^{-1}\vec{0}=\vec{0}
    因此 Pb⃗=0⃗P\vec{b}=\vec{0}, b⃗\vec{b} 在 C(A)C(A) 中不存在任何分量

  • 假设 b⃗\vec{b} 在空间 C(A)C(A) 内 , 因此存在 x⃗\vec{x} 满足 Ax⃗=b⃗A\vec{x}=\vec{b}
    此时 Pb⃗=A(ATA)−1ATb⃗=A(ATA)−1ATAx⃗=b⃗P\vec{b}=A(A^TA)^{-1}A^T\vec{b}=A(A^TA)^{-1}A^TA\vec{x}=\vec{b}
    因此 Pb⃗=b⃗P\vec{b}=\vec{b}, b⃗\vec{b} 的分量均来自 AA

有上可得, 投影矩阵 PP 的本质为去除所有垂直于 C(A)C(A) 的分量, 并保留平行于 C(A)C(A) 的分量
由此也可知, 来自 AA 的投影矩阵的列空间 C(P)C(P) 与 AA 的列空间 C(A)C(A) 相同

由于误差向量满足 e⃗=b⃗−p⃗\vec{e}=\vec{b}-\vec{p}, 通过运算, 接受了所有投影到 C(A)C(A) 过程中被剔除的向量
如图所示, 显然 e⃗\vec{e} 也为一个投影, 是 b⃗\vec{b} 在 C(A)C(A) 的正交补 N(AT)N(A^T) 上的投影
因此 e⃗=P′b⃗=(I−P)b⃗\vec{e}=P'\vec{b}=(I-P)\vec{b} 中 P′=(I−P)P'=(I-P) 是一个投影到空间 N(AT)N(A^T) 的投影矩阵
同样满足一般投影矩阵的性质 (I−P)2=(I−P)(I-P)^2=(I-P) 与 (I−P)T=(I−P)T(I-P)^T=(I-P)^T

最小二乘法与正规方程

正规方程

对于线性方程组 Ax⃗=b⃗A\vec{x}=\vec{b}, 其中 AA 为 m×nm\times n 的矩阵

按行来看, 其表明了系统在条件 ai1,ai2,…,aina_{i1},a_{i2},\dots,a_{in} 下有测量值 bib_{i}
向量 x⃗\vec{x} 则为系统的参数
以线性系统为例, 对于自变量 tt, 系统满足 f(t)=x2t+x1f(t)=x_2t+x_1
因此此时条件为 ai2=ta_{i2}=t, ai1=1a_{i1}=1 (条件之间可能有关或完全无关)

由于 bib_{i} 或 AA 存在误差, 一般无法通过直接求解方程得到 x⃗\vec{x} (假设测量大于未知参数, m>nm>n)
因此退而求其次, 寻找一个最优解 x^⃗\vec{\hat{x}}
显然, 这个最有解 Ax^⃗=p⃗A\vec{\hat{x}}=\vec{p} 对于各个测量值 b⃗\vec{b} 存在误差 e⃗=b⃗−p⃗\vec{e}=\vec{b}-\vec{p}
要求最优解能够使误差的平方和 e⃗2=(b⃗−Ax^⃗)2\vec{e}^2=(\vec{b}-A\vec{\hat{x}})^2 最小 (也称为最小二乘)

按列来看, 各个同类的参数分别构成了 AA 的各列, 并生成 RmR^m 下的子空间 C(A)C(A)
可以发现, 待求的 p⃗\vec{p} 即 b⃗\vec{b} 在 C(A)C(A) 投影

因此

p⃗=Ax^⃗=Pb⃗Ax^⃗=A(ATA)−1ATb⃗ATAx^⃗=ATb⃗ \begin{split} \vec{p}=A\vec{\hat{x}}&=P\vec{b}\\ A\vec{\hat{x}}&=A(A^TA)^{-1}A^T\vec{b}\\ A^TA\vec{\hat{x}}&=A^T\vec{b} \end{split}

由此也可得, 对于 m>nm>n, 即方程数大于未知数的无解线性方程, 通过两侧乘上 ATA^T, 即可得到误差平方和最小的最优解 x^⃗\vec{\hat{x}}
也将方程 ATAx^⃗=ATb⃗A^TA\vec{\hat{x}}=A^T\vec{b} 称为正规方程

通过对 f(x⃗)=(b⃗−Ax^⃗)2f(\vec{x})=(\vec{b}-A\vec{\hat{x}})^2 分别对 xix_i 求偏导并令偏导为 00 可得到相同的结果

最小二乘法举例

现有系统 f(t)f(t), 经测量有 f(1)=1,f(2)=2,f(3)=2f(1)=1,f(2)=2,f(3)=2
假设 f(t)=x1+x2tf(t)=x_1+x_2t 求 x2,x1x_2,x_1

根据题目条件可得 x2,x1x_2,x_1 满足线性方程

[111213][x1x2]=[122] \begin{bmatrix} 1&1\\ 1&2\\ 1&3\\ \end{bmatrix} \begin{bmatrix} x_1\\ x_2\\ \end{bmatrix}= \begin{bmatrix} 1\\ 2\\ 2 \end{bmatrix}

显然方程无解, 设系数矩阵 AA, 测量向量 b⃗\vec{b}, 使用最小二乘法求出最优解 x^⃗\vec{\hat{x}} 有

AT[A∣b⃗]=[123111][11∣112∣213∣2]=[36∣5614∣11]→x^⃗=[2/31/2] \begin{split} A^T\begin{bmatrix} A\Big|\vec{b} \end{bmatrix}&=\begin{bmatrix} 1&2&3\\ 1&1&1\\ \end{bmatrix} \begin{bmatrix} 1&1&\big|&1\\ 1&2&\big|&2\\ 1&3&\big|&2\\ \end{bmatrix}\\ &=\begin{bmatrix} 3&6&\big|&5\\ 6&14&\big|&11\\ \end{bmatrix}\\ &\to\vec{\hat{x}}= \begin{bmatrix} 2/3\\ 1/2 \end{bmatrix} \end{split}

因此 f^(x)=12t+23\hat{f}(x)=\frac{1}{2}t+\frac{2}{3}

关于投影矩阵的补充说明

注意到, 无论是最小二乘法, 还是投影矩阵 PP 的导出中, 都要求方阵 ATAA^TA 为可逆矩阵

由矩阵与其转置之积的秩可得, 为了满足此条件, 要求 AA 的各列线性无关, 仅有在此条件下 ATAA^TA 可逆, 存在投影矩阵 PP

标准正交 Othonormal

标准正交基

对于一系列属于 RmR^m 空间的向量 {q⃗}\{\vec{q}\} 满足

{q⃗iT⋅q⃗j=0,i≠jq⃗iT⋅q⃗j=1,i=j \begin{cases} \vec{q}_i^T\cdot\vec{q}_j=0,&i\neq j\\ \vec{q}_i^T\cdot\vec{q}_j=1,&i=j \end{cases}

第一行的条件表明, q⃗i\vec{q}_i 与组内的其他向量正交
第二行的条件表明, q⃗i\vec{q}_i 的长度为 11
则称 {q⃗}\{\vec{q}\} 为一组标准正交基

标准正交矩阵

以标准正交基为列, 可得到一个 m×nm\times n 的矩阵 Q=[q⃗1q⃗2…q⃗n]Q=\begin{bmatrix}\vec{q}_1&\vec{q}_2&\dots&\vec{q}_n\end{bmatrix}

根据标准正交基的性质可得

QTQ=[q⃗1Tq⃗2T…q⃗nT][q⃗1q⃗2…q⃗n]=In×n Q^TQ=\begin{bmatrix}\vec{q}_1^T\\\vec{q}_2^T\\\dots\\\vec{q}_n^T\end{bmatrix}\begin{bmatrix}\vec{q}_1&\vec{q}_2&\dots&\vec{q}_n\end{bmatrix}=I_{n\times n}

特别地, 当 n=mn=m, QQ 为一个方阵, 此时称 QQ 为标准正交矩阵, 简称正交矩阵
可得, 标准正交矩阵有性质: 标准正交矩阵为可逆矩阵且 QT=Q−1Q^T=Q^{-1}

对标准正交基的投影

对于以标准正交基为列的 m×nm\times n 矩阵 QQ (注意 QQ 可能是长方形矩阵, 不存在 Q−1Q^{-1}, 且没有性质 QQT=IQQ^T=I), 其有投影矩阵

P=Q(QTQ)−1QT=Q(I)−1QT=QQT P=Q(Q^TQ)^{-1}Q^T=Q(I)^{-1}Q^T=QQ^T

而在正规方程中

QTQx⃗=QTb⃗x⃗=QTb⃗ \begin{split} Q^TQ\vec{x}&=Q^T\vec{b}\\ \vec{x}&=Q^T\vec{b} \end{split}

因此仅需计算 QTb⃗Q^T\vec{b}, 即可得到 b⃗\vec{b} 在标准正交基 {q⃗}\{\vec{q}\} 上的分量 x⃗\vec{x}

Gram-Schmidt 正交化

现有矩阵 A=[a⃗1a⃗2…a⃗n]A=\begin{bmatrix}\vec{a}_1&\vec{a}_2&\dots&\vec{a}_n\end{bmatrix}, 通过 Gram-Schmidt 正交化, 可得到一组标准正交基组成的矩阵 Q=[q⃗1q⃗2…q⃗n]Q=\begin{bmatrix}\vec{q}_1&\vec{q}_2&\dots&\vec{q}_n\end{bmatrix}
同时两个矩阵 C(A)=C(Q)C(A)=C(Q) 具有相同的列空间

假定 AA 列满秩, 其各列 a⃗i\vec{a}_i 即子空间 C(A)C(A) 的一组基

正交化过程

首先对向量集 {a⃗}\{\vec{a}\} 进行逐个正交化, 得到相互正交且标准的向量集 {h⃗}\{\vec{h}\}, 然后将 {h⃗}\{\vec{h}\} 标准化, 得到待求的标准正交基 {q⃗}\{\vec{q}\}

  • 为了保证 h⃗i\vec{h}_i 与其余向量正交, 可以令 h⃗i\vec{h}_i 与 h⃗1,…,h⃗i−1\vec{h}_1,\dots,\vec{h}_{i-1} 正交
  • 为了保证 C(A)=C(H)C(A)=C(H), 可以令 h⃗i\vec{h}_i 来自 a⃗1,…,a⃗i\vec{a}_1,\dots,\vec{a}_i 的线性组合, 注意该条件也等价于 h⃗i\vec{h}_i 来自 q⃗1,…,q⃗i−1\vec{q}_1,\dots,\vec{q}_{i-1} 与 a⃗i\vec{a}_i 的线性组合

对于取出的第一个向量 a⃗1\vec{a}_1
由于此时 {h⃗}\{\vec{h}\} 中没有其他向量, 因此 h⃗1=a⃗1\vec{h}_1=\vec{a}_1

对于取出的第二个向量 a⃗2\vec{a}_2
根据向量投影的特点可以发现, 在获取误差向量 e⃗\vec{e} 的过程中, 误差向量 e⃗\vec{e} 即满足 h⃗2\vec{h}_2 的两个要求 (首先计算 h⃗1Ta⃗2\vec{h}_1^T\vec{a}_2 得到一个数, 使矢量相乘变为数乘, 从而交换向量 h⃗\vec{h} 到右侧)

h⃗2=e⃗=a⃗2−h⃗1h⃗1Th⃗1Th⃗1a⃗2=a⃗2−h⃗1Ta⃗2h⃗1Th⃗1h⃗1 \vec{h}_2=\vec{e}=\vec{a}_2-\frac{\vec{h}_1\vec{h}_1^T}{\vec{h}_1^T\vec{h}_1}\vec{a}_2=\vec{a}_2-\frac{\vec{h}_1^T\vec{a}_2}{\vec{h}_1^T\vec{h}_1}\vec{h}_1

对于取出的第 kk 个向量 a⃗k\vec{a}_k
根据一般投影的特点可以发现, 在获取误差向量 e⃗\vec{e} 的过程中, 误差向量满足 e⃗\vec{e} 即满足 h⃗i\vec{h}_i 的两个要求
令 H=[h⃗1h⃗2…h⃗k−1]H=\begin{bmatrix}\vec{h}_1&\vec{h}_2&\dots&\vec{h}_{k-1}\end{bmatrix}, 根据 h⃗\vec{h} 的正交性, HTHH^TH 将得到一个对角矩阵, 根据对角矩阵与矩阵乘法中的叠加法可得

h⃗k=e⃗=a⃗k−H(HTH)−1HTa⃗k=a⃗k−∑i=1k−1h⃗iTa⃗kh⃗iTh⃗ih⃗i \begin{split} \vec{h}_k=\vec{e}&=\vec{a}_k-H(H^TH)^{-1}H^T\vec{a}_k\\ &=\vec{a}_k-\sum_{i=1}^{k-1}\frac{\vec{h}_i^T\vec{a}_k}{\vec{h}_i^T\vec{h}_i}\vec{h}_i \end{split}

最后将计算得到的 {h⃗}\{\vec{h}\} 标准化, 即对每个 h⃗k\vec{h}_k 有

q⃗k=h⃗h⃗kTh⃗k \vec{q}_k=\frac{\vec{h}}{\sqrt{\vec{h}_k^T\vec{h}_k}}

正交化举例

对于一组来自 AA 各列的基, 求空间 C(A)C(A) 的一组标准正交基, 其中 AA 满足

A=[121112211] A=\begin{bmatrix} 1&2&1\\ 1&1&2\\ 2&1&1 \end{bmatrix}

对于第一列向量有 h⃗1=a⃗1\vec{h}_1=\vec{a}_1

对于第二列向量 a⃗2\vec{a}_2 有

h⃗2=a⃗2−h⃗1Ta⃗2h⃗1Th⃗1h⃗1=[211]−56[112]=16[71−4] \begin{split}\vec{h}_2&=\vec{a}_2-\frac{\vec{h}_1^T\vec{a}_2}{\vec{h}_1^T\vec{h}_1}\vec{h}_1\\ &=\begin{bmatrix} 2\\1\\1 \end{bmatrix} -\frac{5}{6} \begin{bmatrix} 1\\1\\2 \end{bmatrix}\\ &=\frac{1}{6} \begin{bmatrix} 7\\1\\-4 \end{bmatrix} \end{split}

对于第三列向量 a⃗3\vec{a}_3 有 (注意到 h⃗2\vec{h}_2 的提出数乘部分对结果没有影响)

h⃗3=a⃗3−h⃗1Ta⃗3h⃗1Th⃗1h⃗1−h⃗2Ta⃗3h⃗2Th⃗2h⃗2=[121]−56[112]−⋅566[71−4]=411[−13−1] \begin{split}\vec{h}_3&=\vec{a}_3-\frac{\vec{h}_1^T\vec{a}_3}{\vec{h}_1^T\vec{h}_1}\vec{h}_1-\frac{\vec{h}_2^T\vec{a}_3}{\vec{h}_2^T\vec{h}_2}\vec{h}_2\\ &=\begin{bmatrix} 1\\2\\1 \end{bmatrix} -\frac{5}{6} \begin{bmatrix} 1\\1\\2 \end{bmatrix}-\cdot\frac{5}{66} \begin{bmatrix} 7\\1\\-4 \end{bmatrix}\\ &=\frac{4}{11} \begin{bmatrix} -1\\3\\-1 \end{bmatrix} \end{split}

因此经标准化后, 有由正交基组成的矩阵 QQ 满足

Q=[16766−1111616631126−466−111] Q=\begin{bmatrix} \frac{1}{\sqrt{6}}&\frac{7}{\sqrt{66}}&\frac{-1}{\sqrt{11}}\\ \frac{1}{\sqrt{6}}&\frac{1}{\sqrt{66}}&\frac{3}{\sqrt{11}}\\ \frac{2}{\sqrt{6}}&\frac{-4}{\sqrt{66}}&\frac{-1}{\sqrt{11}} \end{bmatrix}

QR 分解

类似 LULU 分解, 使用矩阵的方式描述 Gram-Schmidt 正交化可得, 正交化的本质即将原矩阵 AA 分解为一个标准正交基组成的矩阵 QQ (注意 AA 不一定是方阵) 与一个变形矩阵 RR
因此也称为 QRQR 分解, 有

A=QR A=QR

根据 Gram-Schmidt 正交化的公式可知, 简单变形后也可视为 a⃗k\vec{a}_k 来自 h⃗1…h⃗k\vec{h}_1\dots\vec{h}_k 的线性组合, 将系数提取即可组成矩阵 RR 的各列
因此对于 m×nm\times n 的矩阵 AA, RR 为一个 n×nn\times n 的上三角矩阵满足

R=[∣h⃗1∣q⃗1Ta⃗2q⃗1Ta⃗3…q⃗1Ta⃗n0∣h⃗2∣q⃗2Ta⃗3…q⃗2Ta⃗n00∣h⃗3∣…q⃗3Ta⃗n⋮⋮000∣h⃗n−1∣q⃗n−1Ta⃗n0000∣h⃗n∣] R=\begin{bmatrix} |\vec{h}_1|&\vec{q}_1^T\vec{a}_2&\vec{q}_1^T\vec{a}_3&\dots&\vec{q}_1^T\vec{a}_n\\ 0&|\vec{h}_2|&\vec{q}_2^T\vec{a}_3&\dots&\vec{q}_2^T\vec{a}_n\\ 0&0&|\vec{h}_3|&\dots&\vec{q}_3^T\vec{a}_n\\ \vdots&&&&\vdots\\ 0&0&0&|\vec{h}_{n-1}|&\vec{q}_{n-1}^T\vec{a}_n\\ 0&0&0&0&|\vec{h}_{n}| \end{bmatrix}

除此之外, 根据以标准正交基构成的矩阵的特点可得

QTA=QTQR=R Q^TA=Q^TQR=R