DASE 7113 · 课程精讲

矩阵公式手册

共 72 页。按原课件顺序,左侧看原页,右侧读讲解。

逐页目录 · 共 72 页
  1. Matrix Cookbook 是怎样一本资料
  2. 使用手册的顺序:形状、变量、条件
  3. 目录第一部分:从基本运算到概率
  4. 目录第二部分:分布、特殊矩阵与运算工具
  5. 符号表:先分清转置、共轭和逐元素运算
  6. 基础公式:顺序为什么反过来,迹又能怎么换
  7. 2×2 矩阵:行列式、特征值和逆全部算一遍
  8. 矩阵微分:把“改变一点点”写出来
  9. 行列式求导:如何读出转置
  10. 逆、特征值和线性形式的导数
  11. 二次型求导:两个变量位置各贡献一次
  12. 复合二次式与一阶迹求导
  13. 二阶与高阶迹:用微分把长式子拆开
  14. 逆矩阵、向量范数与结构约束的导数
  15. 对称和对角矩阵:共享参数的导数要相加
  16. Toeplitz:同一条斜对角线共享一个参数
  17. 逆矩阵、余子式和伴随矩阵
  18. 条件数与低秩更新:怎样省下大矩阵求逆
  19. 逆恒等式与伪逆的秩一更新
  20. 伪逆更新剩余分支与 Neumann 级数
  21. 小扰动逆与 Moore–Penrose 伪逆
  22. 伪逆的性质与满秩构造
  23. 秩不足时,用 SVD 构造伪逆
  24. 复数求导:把实部和虚部当两个坐标
  25. 复矩阵链式法则:共轭路径也要计入
  26. 复值平方范数、行列式和比值的导数
  27. 复矩阵求逆:转成两个实矩阵方程
  28. 线性方程与简单回归:先看有没有精确解
  29. 超定、欠定和最小二乘分别在求什么
  30. 矩阵方程向量化,特征值怎样解释
  31. 对称特征分解与 SVD:方向和缩放分开
  32. SVD 的不同尺寸,LU 与 Cholesky 分解
  33. LDM 与 LDL:把缩放主元单独放出来
  34. 随机向量的矩:平均、协方差与更高阶关系
  35. 线性变换和二次型的期望,怎样逐步展开
  36. 三次乘积与加权随机量:先中心化再展开
  37. 多元分布:实数向量、比例和计数分别怎样建模
  38. t分布的矩与Wishart随机矩阵
  39. 逆Wishart:直接给协方差矩阵设分布
  40. 高斯密度、积分、求导和边缘分布
  41. 高斯条件分布、线性变换与配方
  42. 高斯相乘:精度相加;线性矩怎样变化
  43. 二次、三次和四次矩:把高阶乘积变成均值与协方差
  44. 混合矩、白化、卡方、熵和高斯混合密度
  45. 高斯混合的梯度:每个成分先乘责任度
  46. 分块矩阵:大矩阵按小块进行运算
  47. Schur补就是消元后的系数;DFT就是矩阵乘法
  48. DFT的逆与循环矩阵;Hermitian与反Hermitian
  49. 幂等、幂零、平方为I与正交矩阵
  50. 正交且对称、正交且反对称,以及正定的定义
  51. 正定矩阵的判别、分解与秩性质
  52. 小扰动、Hadamard不等式、逐元素乘积与单点矩阵
  53. 用单点矩阵把元素公式写回矩阵公式
  54. 对称、反对称,以及沿对角线不变的Toeplitz矩阵
  55. Toeplitz的四种结构与转移概率矩阵
  56. 多步转移、平稳分布、置换与移位
  57. 循环移位与Vandermonde多项式矩阵
  58. 矩阵几何级数、二阶泰勒和矩阵函数
  59. 矩阵指数、对数、三角函数与Kronecker积
  60. Kronecker运算规则与按列展开vec
  61. 向量范数、矩阵范数与算子最大放大倍数
  62. 范数比较、条件数、秩界与Dirac变换
  63. 秩不变关系与正定分解的统一理解
  64. 一维高斯:积分、导数与完整配方
  65. 高斯前四阶矩,以及混合分布的加权原则
  66. 混合高斯的四阶矩、参数梯度和softmax
  67. vec二次型证明,与f(AB)A=Af(BA)
  68. 矩阵幂的乘积求导,以及复矩阵行列式微分
  69. 复导数的两个分量与实数梯度的关系
  70. 参考文献第一页:怎样按问题查原始资料
  71. 参考文献第二页:回归、矩阵微分、滤波与特征值导数
  72. 索引:把问题翻译成关键词再定位页码
原第 1 页

Matrix Cookbook 是怎样一本资料

原课件第1页
点击原页可打开 PDF。

这份资料是 Petersen 与 Pedersen 整理的矩阵公式手册,版本日期为 2012 年 11 月 15 日。它的用途是查公式:当你已经写出一个矩阵表达式,需要知道它的导数、逆矩阵或分解怎样计算时,找到相应条目。

与课程最直接的联系是线性回归中的 ∇β‖Xβ−y‖2=2XT(Xβ−y)。后面会把它拆成几条基本求导规则。先看符号和矩阵维度,再用公式,学习会容易很多。

原第 2 页

使用手册的顺序:形状、变量、条件

原课件第2页
点击原页可打开 PDF。

本页介绍资料是矩阵恒等式、近似、求导关系的集合。使用时按三个问题检查:

  1. 形状:A 是几行几列,乘法能否进行?例如 A∈Rm×n 与 x∈Rn 相乘得到 m 维向量。
  2. 变量:对谁求导?线性回归中 X、y 是常数,β 才是变量。
  3. 条件:是否要求方阵、可逆、对称、正定、满秩?这些词决定公式能不能用。

恒等式在条件内精确成立;近似式则忽略了高阶小量。把两者分开,就能正确判断结果的含义。

原第 3 页

目录第一部分:从基本运算到概率

原课件第3页
点击原页可打开 PDF。

目录把前半本分成六块:第6页起是转置、迹和行列式;第8页起是矩阵求导;第17页起是逆与伪逆;第24页起是复数矩阵;第28页起是线性方程与分解;第34页起是统计矩。

如果目的是跟上本课,首先连起这条路线:矩阵记号 → 二次型求导 → Hessian 半正定 → 最小二乘求解。复数部分用于复值信号和模型时再沿自己的符号仔细读。

目录右侧数字是原手册页码,后面讲解也保持相同页码,方便对照查找。

原第 4 页

目录第二部分:分布、特殊矩阵与运算工具

原课件第4页
点击原页可打开 PDF。

目录后半部分包括多元分布、高斯分布、特殊矩阵、矩阵函数与级数、Kronecker 积、vec、范数、秩,以及附录证明。

查找时从问题出发:想判断 Hessian 是否半正定,找 positive definite;想把矩阵方程变成向量方程,找 Kronecker and vec;想计算随机向量的平方长度期望,找 moments 或 quadratic forms。

这些工具会相互配合。例如伪逆用奇异值分解构造,高斯模型用协方差矩阵和 log determinant,最小二乘用二次型与矩阵求导。

原第 5 页

符号表:先分清转置、共轭和逐元素运算

原课件第5页
点击原页可打开 PDF。

大写 A 通常为矩阵,小写粗体 a 为列向量,普通小写 a 为标量。Aij 表示第 i 行第 j 列元素。I 是单位矩阵,0 是零矩阵;Jij 只有第 i 行第 j 列为 1,其余为 0。

记号含义
AT行列互换,即转置
A*每个复数元素取共轭,把 i 换成 −i
AH=(A*)T共轭转置
A−T(A−1)T=(AT)−1
A+Moore–Penrose 伪逆
A∘B对应元素相乘
A⊗B把每个 A 元素乘整块 B 的 Kronecker 积

tr(A) 是对角元素之和;det 为行列式;eig 为特征值;vec 按列把矩阵接成一个长向量。本手册的 diag(A) 保留 A 的对角线、其他位置置零,部分软件中的同名函数则会返回对角向量,使用时看上下文。

矩阵平方 A2=AA,矩阵平方根 B 满足 B2=A,都不是逐元素平方或开根。

原第 6 页

基础公式:顺序为什么反过来,迹又能怎么换

原课件第6页
点击原页可打开 PDF。

转置和求逆都会反转乘法顺序:(AB)T=BTAT,(AB)−1=B−1A−1。后者要求 A、B 可逆:(AB)(B−1A−1)=AIA−1=I。多个因子照样从最后一个开始反转。共轭转置 H 遵守同样的反序规则。

迹是对角线之和:tr(A)=∑iAii=∑iλi,转置不改变迹,迹对加法线性。乘积可循环移动:

tr(AB)=tr(BA),tr(ABC)=tr(BCA)=tr(CAB).

循环移动只把首项放到末尾,不能任意交换两项。证明两因子式只需展开 ∑i∑jAijBji,改变求和顺序即可。aTa=tr(aaT),两者都是 ∑iai2。

行列式:它是特征值乘积,det(AB)=detAdetB,detAT=detA,detA−1=1/detA。n 阶矩阵整体乘 c,n 行都被乘 c,所以 det(cA)=cndetA。

秩一更新有 det(I+uvT)=1+vTu。二维有 det(I+A)=1+trA+detA;三维再加入二阶项 12[(trA)2−tr(A2)]。这些项是不同阶特征值乘积的和。

原第 7 页

2×2 矩阵:行列式、特征值和逆全部算一遍

原课件第7页
点击原页可打开 PDF。

四维的 det(I+A) 可按 0、1、2、3、4 阶项相加。设 sk=tr(Ak),二阶项为 (s12−s2)/2,三阶项为 (s13−3s1s2+2s3)/6,四阶项为 detA。代入 εA 时,每个 k 阶项要乘 εk,所以小扰动展开是:

det(I+εA)=1+εs1+ε22(s12−s2)+O(ε3).

原页(28)直接出现的 det(A) 不能作为与 ε 无关的常数项;ε=0 时左边必须等于 1。

现在令 A=[abcd]。detA=ad−bc,trA=a+d。特征值解方程:

λ2−(a+d)λ+(ad−bc)=0,λ=trA±(trA)2−4detA2.

求出 λ 后解 (A−λI)v=0。原页给的候选 v=(b,λ−a)T 可由第一行验证;若恰好是零向量,改用另一行求非零解。

若 ad−bc≠0:

A−1=1ad−bc[d−b−ca].

例如 A=[2112],迹 4、行列式 3,特征值为 3 和 1,逆为 13[2−1−12]。

原第 8 页

矩阵微分:把“改变一点点”写出来

原课件第8页
点击原页可打开 PDF。

先把 X 的各元素看成独立变量。dX 是一个微小变化;∂Xkl/∂Xij=δkiδlj,Kronecker 符号 δ 在两编号相等时为 1,否则为 0。

常数的微分为 0,常数倍和加法可逐项微分。乘积必须保留顺序:

d(XY)=(dX)Y+X(dY).

Hadamard 积和 Kronecker 积也遵循“左边变一次、右边变一次”的乘积法则。转置满足 d(XT)=(dX)T。

从 XX−1=I 微分,得 (dX)X−1+Xd(X−1)=0,左乘 X−1 后:

d(X−1)=−X−1(dX)X−1.

行列式微分为 ddetX=tr(adj(X)dX)。可逆时 adj(X)=det(X)X−1,所以:

ddetX=detXtr(X−1dX),dlogdetX=tr(X−1dX).

最后一个实对数式要求 detX>0。若矩阵 Y 随标量 t 变化,设 q=detY、B=Y−1Y′,则 q′=qtrB,再用乘积法则得到:

q″=q{(trB)2−tr(B2)+tr(Y−1Y″)}.

负项来自逆矩阵求导,最后一项来自 Y 自身的二阶变化。

原第 9 页

行列式求导:如何读出转置

原课件第9页
点击原页可打开 PDF。

实矩阵梯度 G 的约定是 df=tr(GTdX)。把上一页行列式微分对照这个形式,得到:

∇XdetX=detXX−T,∇Xlog|detX|=X−T.

例如 X=diag(x1,x2),行列式为 x1x2,对 x1 的导数是 x2,与 detX·(1/x1) 一致。乘 X 元素后的求和恒等式(50)则来自 X−TXT=I。A、B 为固定可逆方阵时,det(AXB)=detAdetXdetB,求导只需把常数保留。

令 M=XTAX。先微分 M:

dM=(dX)TAX+XTA(dX).

再代入 ddetM=detMtr(M−1dM),整理到 dX 前得:

∇XdetM=detM[AXM−1+ATXM−T].

A 对称时 M 也对称,两项合成 2detMAXM−1;若 X 是可逆方阵,还可化成 2detMX−T。这些分别对应(52)–(54)。

X 列满秩时,X+=(XTX)−1XT,所以:

∇Xlogdet(XTX)=2X(XTX)−1=2(X+)T.

若改以 Y=X+ 为变量,同一量写成 −logdet(YYT),梯度为 −2Xᵀ,即(56)。det(Xk)=(detX)k 再用链式法则,就得到(58)中的 k 倍。

本页末尾的逆矩阵对标量求导,仍是 d(Y−1)/dt=−Y−1Y′Y−1。

原第 10 页

逆、特征值和线性形式的导数

原课件第10页
点击原页可打开 PDF。

先把 d(X−1)=−X−1(dX)X−1 中的 dX 换为只有一个位置变化的 JijdXij,得到:

∂(X−1)kl∂Xij=−(X−1)ki(X−1)jl.

对 aTX−1b,把 a、b 保持固定,再把微分整理为迹,梯度是 −X−TabTX−T。类似地:

∇Xdet(X−1)=−det(X−1)X−T,∇Xtr(AX−1B)=−(X−1BAX−1)T.

取固定 A 加到 X 中,∇Xtr(X+A)−1=−[(X+A)−1(X+A)−1]T。若 W=A⁻¹,换变量的链式法则给 ∇AJ=−A−T(∇WJ)A−T。

特征值之和是迹,故其梯度为 I;特征值之积是行列式,故梯度为 detXX−T。实对称 A 的单重特征值 λi、单位特征向量 vi 满足:

dλi=viT(dA)vi,dvi=(λiI−A)+(dA)vi.

第一式表示沿当前特征方向的矩阵变化决定特征值变化;第二式还规定特征向量单位长度,重特征值要改用子空间分析。

线性形式直接逐项看:aTXb=∑ijaiXijbj,所以对 Xij 的导数为 aibj,组成矩阵 abT。因此 ∇xaTx=a,∇XaTXTb=baT,同一个向量放两边时得到 aaᵀ。∂X/∂Xij=Jij,乘 A 后导数变成 JᵢⱼA;转置 X 时相应换为 JⱼᵢA。

原第 11 页

二次型求导:两个变量位置各贡献一次

原课件第11页
点击原页可打开 PDF。

二次型 f=xTBx 中 x 出现两次。微分时两个位置都要处理:

df=(dx)TBx+xTB(dx)=[(B+BT)x]Tdx.

所以 ∇xf=(B+BT)x;B 对称时为 2Bx。类似地,bTXTXc 对 X 的梯度为 X(bcT+cbT),因为 X 与 Xᵀ各贡献一项。

一般的两段仿射形式 (Bx+b)TC(Dx+d),梯度是:

BTC(Dx+d)+DTCT(Bx+b).

第一项来自左段,第二项来自右段。XTBX 对单元素 Xij 的微分同理为 JjiBX+XTBJij。夹入 D 后,∇XbTXTDXc=DTXbcT+DXcbT。

加权最小二乘是最常用的一组。设 r=x−As、W 对称,f=rTWr。先有 df=2rTWdr,再看对谁求导:

∇xf=2Wr,∇sf=−2ATWr,∇Af=−2WrsT.

若 r=x−s,两个向量梯度分别是 ±2Wr;若 r=Xb+c,则 ∇Xf=(D+DT)(Xb+c)bT。每个正负号都来自 r 的变化。

式(76)的全部元素双重乘积等于 (∑klXkl)2,因此任何元素导数都是 2∑klXkl。复值误差式(89)按复数梯度约定处理;实数情况下就是普通平方误差链式法则。

矩阵幂的导数要把每个位置轮流换成 dX:dXn=∑r=0n−1Xr(dX)Xn−1−r。例如 dX3=(dX)X2+X(dX)X+X2(dX),不能把 dX 随意搬过 X。

用坐标展开,核对二次型梯度

取 B=[2314]。 展开 xTBx=2x12+(3+1)x1x2+4x22,所以两个偏导为 4x1+4x2、4x1+8x2。

B+BT=[4448]。乘 x 得同样结果。交叉项来自原矩阵的两个位置,这就是转置项出现的原因。

原第 12 页

复合二次式与一阶迹求导

原课件第12页
点击原页可打开 PDF。

式(92)中 aT(Xn)TXnb 先把两块 Xn 看成 U,再对 UᵀU 用乘积法则;每块 U 又用上一页的 n 个位置求和。因此会有两组各 n 项,这就是长公式的来源。

若 s(x)、r(x) 都依赖 x,而 A 固定,则:

∇x[sTAr]=JsTAr+JrTATs.

Js、Jr 是各自的 Jacobian。不能只对其中一边求导。

令 P=ATA,Q=BTB,比值 f=(xTPx)/(xTQx) 在分母非零时,用商法则得:

∇f=2PxxTQx−2(xTPx)Qx(xTQx)2.

平方长度的分母要保持 BᵀB。对 f=xTAx+bTx,直接得梯度 (A+AT)x+b、Hessian A+AT。

迹求导先把变量放到容易读的位置:tr(XA)=∑ijXijAji,所以梯度 Aᵀ。其余一阶条目为:

f(X)∇XftrXItr(AXB)ATBTtr(AXTB)BAtr(XTA)Atr(AXT)A

例如 tr(AXB)=tr(BAX),把 BA 当系数,即得 (BA)ᵀ。Kronecker 积的迹满足 tr(A⊗X)=tr A·tr X,所以梯度为 tr(A)I。

本页“tr(F(X)) 的导数为 F′(X)ᵀ”用于矩阵幂、矩阵指数这类适当的矩阵函数;逐元素应用任意函数时,应回到对角元素的求和定义求导。

原第 13 页

二阶与高阶迹:用微分把长式子拆开

原课件第13页
点击原页可打开 PDF。

最简单的区别是:

∇Xtr(X2)=2XT,∇Xtr(XTX)=2X.

前者是矩阵乘自身再取迹,后者是所有元素平方和,不是同一函数。前一式来自 tr(dX·X+X·dX)=2tr(X·dX),所以要转置。

把固定系数放在左右不同位置,得到本页二次条目:

∇Xtr(X2B)=(XB+BX)T,(1)∇Xtr(XTBX)=(B+BT)X,(2)∇Xtr(XBXT)=X(B+BT),(3)∇Xtr(XTBXC)=BXC+BTXCT,(4)∇Xtr(AXBX)=ATXTBT+BTXTAT,(5)∇Xtr(AXBXTC)=ATCTXBT+CAXB.(6)

tr(BXXᵀ)、tr(XXᵀB) 与 tr(XᵀBX) 可循环相等;tr(BXᵀX)、tr(XᵀXB) 与 tr(XBXᵀ) 同理,这解释了原页重复的等价写法。

例如 f=‖AXB+C‖F2,令 E=AXB+C,先有 df=2tr(EᵀdE),再代 dE=A(dX)B,循环整理得:

∇Xf=2AT(AXB+C)BT.

式(116)是取 C 与其转置并将 BBᵀ 合并后的同类结果。式(120)把 tr(X⊗X) 写成 (tr X)²,导数为 2tr(X)I。

高阶迹因循环对称而简化:∇Xtr(Xk)=k(Xk−1)T。若前面夹 A,就保留位置求和 ∑r=0k−1(XrAXk−1−r)T。式(123)的四个 X 出现位置各贡献一次,按同样方法形成四项。

原第 14 页

逆矩阵、向量范数与结构约束的导数

原课件第14页
点击原页可打开 PDF。

逆矩阵相关的迹式都从两条规则开始:dM−1=−M−1(dM)M−1,以及 df=tr(GTdX)。例如 ∇Xtr(AX−1B)=−(X−1BAX−1)T。

令 S=XTCX,C 对称,则 dS=(dX)TCX+XTC(dX)。对 f=tr(S−1A),先微分逆,再处理 S 中两个 X,得到:

∇Xf=−CXS−1(A+AT)S−1.

对 tr(S−1XTBX),B、C 对称时,逆那一块贡献 −2CXS−1XTBXS−1,后面二次型贡献 2BXS−1。若 S 改成 A+XTCX,A 固定且对称时同样替换 S 即可。矩阵正弦按幂级数定义时,tr(sin X) 的梯度为 (cos X)ᵀ。

向量距离 r=‖x−a‖2 在 x≠a 时:

∇xr=x−ar,∇x2r=Ir−(x−a)(x−a)Tr3.

它的梯度是从 a 指向 x 的单位方向。平方距离更简单:∇x‖x‖22=2x。矩阵平方 Frobenius 范数 ‖X‖F2=∑ijXij2,实梯度为 2X;复数情形也按后面的复梯度约定得到 2X。

最后转向结构矩阵:若多个元素共享同一参数,不能把它们当独立变量。设无约束矩阵梯度为 G,则对某个独立参数 θ:

dfdθ=∑klGkl∂Xkl∂θ=tr(GT∂X∂θ).

这就是结构矩阵求导的统一规则。

原第 15 页

对称和对角矩阵:共享参数的导数要相加

原课件第15页
点击原页可打开 PDF。

结构矩阵 Sij=∂A/∂Aij 描述一个独立参数改变时,整张矩阵的哪些位置一起变。无结构时只变一个元素,所以 Sij=Jij。

矩阵链式法则是:若 U=f(X)、g 为标量,先求 ∂g/∂Ukl,再对每个 Ukl 的变化乘上 ∂Ukl/∂Xij,最后加总。它只是普通多变量链式法则。

对称矩阵 Xij=Xji 中,一个非对角参数同时控制两个位置。因此对独立参数的导数是 Gij+Gji,而对角元素只算一次。排成矩阵可写成:

Gparam=G+GT−diag(G).

例如 X=[abbc],f=tr(AX),有 f=A11a+(A12+A21)b+A22c,所以对 b 的导数是两个系数相加。原页的对称行列式、logdet 公式,就是把无结构梯度代入此规则。

若 X 是对角矩阵,只能调整对角线,其他位置始终为 0,因此保留梯度对角线即可:tr(AX) 的参数梯度为 A∘I。这些是“独立参数的导数”表示;对称矩阵空间内的 Frobenius 梯度则用对称投影 (G+GT)/2,两种坐标约定要分清。

原第 16 页

Toeplitz:同一条斜对角线共享一个参数

原课件第16页
点击原页可打开 PDF。

Toeplitz 矩阵每条从左上到右下的斜对角线都相同。例如:

T=[abcdabeda].

它只有 a、b、c、d、e 五个独立参数。改变 a 会同时改变三个对角位置,所以导数要把三个位置的贡献加起来。

展开 f=tr(AT)=∑ijAijTji:

dfda=A11+A22+A33,dfdb=A21+A32,dfdc=A31,dfdd=A12+A23,dfde=A13.

原页大矩阵 α(A) 就把这些沿斜对角线求和的结果重复放回对应位置。若 Toeplitz 还对称,则 b=d、c=e,共享参数增加,对 b 的导数还要把两侧的和再相加,对角线仍只算一次,这就是 α(A)+α(A)ᵀ−diag α(A)。

原第 17 页

逆矩阵、余子式和伴随矩阵

原课件第17页
点击原页可打开 PDF。

逆矩阵满足 AA−1=A−1A=I。存在逆称可逆或非奇异;不存在称奇异。方阵行列式非零时才可逆。

删去第 i 行第 j 列,得到子矩阵 [A]ij。代数余子式为 Cij=(−1)i+jdet[A]ij,正负号按棋盘格交替。把所有 Cij 排成余子式矩阵,再转置,得到伴随矩阵 adj(A)。

沿第一行展开行列式:

detA=∑jA1jC1j.

更一般地 Aadj(A)=det(A)I,除以非零行列式就得到:

A−1=adj(A)detA.

以 A=[2134] 为例,余子式矩阵为 [4−3−12],转置后为 [4−1−32],行列式为 5,因此逆是后一个矩阵除以 5。

原第 18 页

条件数与低秩更新:怎样省下大矩阵求逆

原课件第18页
点击原页可打开 PDF。

2-范数条件数是最大奇异值与最小奇异值之比:

κ2(A)=σmaxσmin=‖A‖2‖A−1‖2.

比值大表示某些方向被压得很小,求逆会把误差放大。例如 diag(1,0.001) 的条件数为 1000;第二分量的误差经过逆矩阵会放大 1000 倍。正定对称矩阵的奇异值就是正特征值,因此条件数为 λmax/λmin。换其他范数可定义相应条件数,但不再都等于这个奇异值比。

Woodbury 恒等式把“原大矩阵加一块低秩变化”的逆,转成小矩阵求逆:

(A+UBV)−1=A−1−A−1U(B−1+VA−1U)−1VA−1.

A 为 n×n,而变化只有 r 维时,括号里的逆只有 r×r。对称更新令 V=Uᵀ;把 B 取成 I 可得到本页 Kailath 变式。

秩一变化令 U=b、V=cᵀ,得到 Sherman–Morrison:

(A+bcT)−1=A−1−A−1bcTA−11+cTA−1b.

要求分母非零。例 A=I、b=c=(1,0)ᵀ,更新后为 diag(2,1),公式给 I−diag(1/2,0)=diag(1/2,1),恰为其逆。

式(158)把 (P−1+BTR−1B)−1BTR−1 换写为 PBT(BPBT+R)−1,也是同一低秩更新思想,可以选择维度更小的那一侧计算。

原第 19 页

逆恒等式与伪逆的秩一更新

原课件第19页
点击原页可打开 PDF。

本页(161)–(167)通过提取因子或左右乘验证。例如 I+A−1=A−1(A+I),所以逆为 (A+I)−1A=A(A+I)−1。另一个有用恒等式是:

(I+AB)−1A=A(I+BA)−1.

从 (I+AB)A=A(I+BA) 出发,两边分别乘相应逆就能证明。再代回 Woodbury,可得 (I+AB)−1=I−A(I+BA)−1B。本页其余式子为:

(A+BBT)−1B=A−1B(I+BTA−1B)−1,(1)(A−1+B−1)−1=A(A+B)−1B=B(A+B)−1A,(2)A−A(A+B)−1A=B−B(A+B)−1B,(3)A−1+B−1=A−1(A+B)B−1.(4)

矩阵相乘不能交换,因此提取因子时顺序要保持。

给设计矩阵 X 加一列 v,令 A=(XTX)−1、q=XTv、s=vTv−qTAq。新增 Gram 矩阵的逆按分块计算为:

([X v]T[X v])−1=[A+AqqTA/s−Aq/s−qTA/s1/s].

s 是 v 在旧列空间之外的剩余平方长度。s=0 表示新列由旧列线性组合得到,增广矩阵不再列满秩,普通逆不存在。

一般秩一伪逆更新写成 (A+cdT)+=A++G。先计算:

β=1+dTA+c,v=A+c,n=(A+)Td,w=(I−AA+)c,m=(I−A+A)Td.

w 是 c 在 A 列空间外的部分,m 是 d 在 A 行空间外的部分;是否为零决定更新会不会改变秩。非零列向量 u 的伪逆为 u+=uT/‖u‖2。本页列前两个分支:

  • w≠0、m≠0:G=−vw+−(m+)TnT+β(m+)Tw+。三项依次校正旧列、旧行和新加入的方向。
  • w=0、m≠0、β=0:G=−vv+A+−(m+)TnT。

例如 A 为零矩阵、c=d=(1,0)ᵀ,得到 v=n=0、w=m=(1,0)ᵀ、β=1,第一分支给 G=diag(1,0),正是更新矩阵的伪逆。

原第 20 页

伪逆更新剩余分支与 Neumann 级数

原课件第20页
点击原页可打开 PDF。

继续使用上一页定义的 β、v、n、w、m,全部为实值。本页补齐四个分支。先定义 sv=‖v‖2,sn=‖n‖2,sw=‖w‖2,sm=‖m‖2,便于看清分母。

  1. w=0、β≠0:
G=1βmvTA+−βsvsm+β2(svβm+v)(smβ(A+)Tv+n)T.

4. w≠0、m=0、β=0:

G=−A+nn+−vw+.

5. m=0、β≠0:

G=1βA+nwT−βsnsw+β2(swβA+n+v)(snβw+n)T.

6. w=m=0、β=0:

G=−vv+A+−A+nn++(vTA+n)vnT‖v‖2‖n‖2.

计算顺序是固定的:先求 A⁺,算五个中间量,判断分支,再求 G 并加回 A⁺。例如 A=I、c=(1,0)ᵀ、d=(−1,0)ᵀ,更新为 diag(0,1);有 v=(1,0)ᵀ、n=(−1,0)ᵀ、w=m=0、β=0,分支6给 G=diag(−1,0),新伪逆正是 diag(0,1)。

式(184)是一个条件推论:只有在 (A+B)−1=A−1+B−1 确实成立时,才能推出 AB−1A=BA−1B;普通求逆不能对加法分配。式(185)重复上一页正定低秩更新关系。

Neumann 级数是矩阵版等比级数:

(I−A)−1=I+A+A2+⋯,(I+A)−1=I−A+A2−⋯.

条件是谱半径 ρ(A)=maxi|λi|<1。因为 (I−A)(I+A+⋯+Ak)=I−Ak+1,而高次幂趋于零。只保留前几项就得到(188)、(189)的近似,误差来自被省略的高阶幂。

原第 21 页

小扰动逆与 Moore–Penrose 伪逆

原课件第21页
点击原页可打开 PDF。

若 A 正定且每个特征值都很大,则 A−A(I+A)−1A=A(I+A)−1=I−(I+A)−1,再用 (I+A)−1≈A−1,得本页 I−A−1 近似。“大”在这里是相对于单位矩阵的谱尺度。

若要计算 (Q+εM)−1,先提取 Q:

Q+εM=(I+εMQ−1)Q.

逆的顺序反过来:

(Q+εM)−1=Q−1(I+εMQ−1)−1.

用 Neumann 展开,保留一次项:

(Q+εM)−1≈Q−1−εQ−1MQ−1.

原文 ε=σ²;需要 εMQ−1 足够小,不能只看 σ² 的绝对数值。

矩阵奇异或不是方阵时,可用广义逆。只要求 AA−A=A 的广义逆一般不唯一。Moore–Penrose 伪逆 A⁺进一步满足:

AA+A=A,A+AA+=A+,(AA+)T=AA+,(A+A)T=A+A.

这四条使伪逆存在且唯一。复数时把转置换成共轭转置。例如 diag(2,0) 无普通逆,但伪逆为 diag(1/2,0):能恢复非零方向,零方向保持为零。

原第 22 页

伪逆的性质与满秩构造

原课件第22页
点击原页可打开 PDF。

先记三类规则:伪逆再取伪逆还原 A;转置、共轭和共轭转置可与伪逆交换;非零标量 c 满足 (cA)+=A+/c。

实矩阵可写 A+=(ATA)+AT=AT(AAT)+;复矩阵改用 H,得到 (AHA)+AH=AH(AAH)+。对应地,(AHA)+=A+(AH)+。复数情形不能把 H 随意换回 T,这解释了原页(203)、(204)的区别。

P=AA+ 投影到 A 的列空间,Q=A+A 投影到行空间。投影两次与一次相同:

P2=P,Q2=Q.

投影的特征值只为 0 或 1,所以迹等于秩;这些投影性质并不要求 A 满秩。

一般 (AB)+ 不能直接写 B+A+,本页正确的组合式为 (A+AB)+(ABB+)+;Kronecker 积则可逐因子取伪逆:(A⊗B)+=A+⊗B+。

对合适的谱函数 f,(215)、(216)把 f(AᴴA) 与 f(AAᴴ)联系起来:两者具有相同的非零奇异值平方;减去 f(0)I 后把零方向去掉,就能借 A、A⁺在两个空间间转换。

满秩时三种构造最实用:

可逆方阵:A+=A−1,宽矩阵,行满秩:A+=AT(AAT)−1,高矩阵,列满秩:A+=(ATA)−1AT.

宽矩阵乘右逆得 I,高矩阵的左逆乘它得 I。维度检查能帮助记住该用 AAᵀ还是 AᵀA。

原第 23 页

秩不足时,用 SVD 构造伪逆

原课件第23页
点击原页可打开 PDF。

若 A 有 r 个非零奇异值,保留有效方向写成紧凑奇异值分解:

A=UrDrVrT,Dr=diag(σ1,…,σr),σi>0.

U、V 的列是单位正交方向;D 表示沿这些方向缩放多少。伪逆执行相反步骤:

A+=VrDr−1UrT.
  1. 用 Uᵀ把输出转到有效方向坐标。
  2. 非零奇异值取倒数,撤销原来的缩放。
  3. 用 V 转回输入空间。

零奇异值对应丢失的信息,不能取倒数,就保持为零。例如 diag(3,0) 的伪逆为 diag(1/3,0)。

另一种构造先做秩分解 A=CD,C 为列满秩的 n×r 矩阵,D 为行满秩的 r×m 矩阵,然后:

A+=DT(DDT)−1(CTC)−1CT.

这相当于先用 C 的左逆恢复中间坐标,再用 D 的右逆选择最小长度输入。

可以直接检查构造结果。因为 UrTUr=VrTVr=Ir,乘积 AA+ 化为 UrUrT,而 A+A 化为 VrVrT,两个都是对称投影。把第一个再乘 A 得回 A,把第二个再乘 A+ 得回 A+,正好满足第21页的四条伪逆条件。

原第 24 页

复数求导:把实部和虚部当两个坐标

原课件第24页
点击原页可打开 PDF。

复数写成 z=x+iy,其中 i2=−1,x 为实部,y 为虚部。复乘法也能写成实二维矩阵:

[ℜ(pq)ℑ(pq)]=[ℜp−ℑpℑpℜp][ℜqℑq].

普通复导数要求从任何复方向趋近都一致。若 f=u+iv,需要 Cauchy–Riemann 条件 ux=vy、uy=−vx,在相应光滑条件下得到解析函数。

含共轭的目标通常不解析,例如 |z|2=x2+y2。优化可用 Wirtinger 两个偏导:

∂∂z=12(∂∂x−i∂∂y),∂∂z*=12(∂∂x+i∂∂y).

计算时把 z、z*形式上当作独立变量。例如 ∂z*/∂z=0、∂z*/∂z*=1;对 |z|2=zz*,两导数分别为 z*与 z。

实值目标的复梯度采用:

∇zf=2∂f∂z*=∂f∂x+i∂f∂y.

它把实二维梯度重新装成一个复数。例如 |z|² 的梯度为 2z。不要把这个梯度与解析复导数混为一个概念。

原第 25 页

复矩阵链式法则:共轭路径也要计入

原课件第25页
点击原页可打开 PDF。

实值函数 f(Z) 的复矩阵梯度逐元素定义为 ∇Zf=2∂f/∂Z*。梯度下降可写为 Znew=Z−α∇Zf,就是同时更新实部与虚部。

如果 u=u(x),g 同时依赖 u 和 u*,链式法则有两条路径:

dgdx=∂g∂ududx+∂g∂u*du*dx.

若 g 解析,第二条为零,就回到熟悉的一项。矩阵版本把 u 的所有元素贡献相加,用迹写为:

dg=tr[(∂g∂U)TdU]+tr[(∂g∂U*)TdU*].

迹例子可以直接展开。令 X=R+iS,则:

trX=trR+itrS,trX*=trR−itrS.

前者对实部导数为 I、对虚部为 iI,因此对 X 的 Wirtinger 导数为 I、对 X* 为 0;后者恰好相反。tr(Xᵀ)=tr X,tr(Xᴴ)=tr X*,所以转置写法给同样结果。

固定 A 时,tr(AXᴴ) 对 R 的导数为 A,对 S 为 −iA;tr(AX*) 则把 A 换成 Aᵀ。每个符号都能从逐元素展开核对。

原第 26 页

复值平方范数、行列式和比值的导数

原课件第26页
点击原页可打开 PDF。

令 X=R+iS,平方 Frobenius 范数为:

f=tr(XXH)=∑ij(Rij2+Sij2).

因此对 R 求导为 2R,对 S 为 2S;组合后 ∂f/∂X=X*、∂f/∂X*=X,实值目标的复梯度为 2X。原页(242)、(243)的迹线性式继续沿用上一页的实部、虚部分开计算。

再令 M=XHAX。微分为 dM=(dX)HAX+XHA(dX),分别收集 dX 和 dX*,得到:

∂detM∂X=detM(M−1XHA)T,∂detM∂X*=detMAXM−1.

A 为 Hermitian 时这个行列式为实,才能用“2 倍共轭导数”作为实目标的复梯度;正定情形还可进一步取实对数。

最后是复向量的 Rayleigh 型比值。令 P=AHA,Q=BHB,分母 d=xHQx≠0,分子 n=xHPx,则:

f=nd,∇xf=2Pxd−2nQxd2.

分子求导贡献第一项,分母求导贡献负的第二项。因为 P、Q 是 Hermitian,二次型为实。分母始终是 BᴴB,不能少掉共轭转置。

原第 27 页

复矩阵求逆:转成两个实矩阵方程

原课件第27页
点击原页可打开 PDF。

要求 (A+iB)−1=C+iD,其中 A、B、C、D 都为实矩阵。直接相乘并比较实虚部:

AC−BD=I,AD+BC=0.

如果 A 可逆,从第二式得 D=−A−1BC,代入第一式:

(A+BA−1B)C=I.

所以 C=(A+BA−1B)−1,D=−A−1BC。例如标量 2+i,得到 C=1/(2+1/2)=0.4,D=−(1/2)×0.4=−0.2,即逆为 0.4−0.2i。

原页用参数 t 处理 A 本身不可逆的情况。取 E=A+tB、F=B−tA,使 E 可逆。因为 E+iF=(1−it)(A+iB),先算 E+iF 的逆,再乘 (1−it) 即可。设:

K=(E+FE−1F)−1.

那么 (E+iF)−1=K−iE−1FK,所以:

(A+iB)−1=(I−tE−1F)K−i(tI+E−1F)K.

这把(253)–(259)串成明确步骤:选 t → 构造 E、F → 求实矩阵 K → 分别得到逆的实部和虚部。乘法顺序必须保持。

原第 28 页

线性方程与简单回归:先看有没有精确解

原课件第28页
点击原页可打开 PDF。

简单回归要用 yi≈axi+b 拟合 N 个样本。对平方误差求 a、b 的导数并令为 0,得到:

[∑ixi2∑ixi∑ixiN][ab]=[∑ixiyi∑iyi].

这就是(260)的 R 记号:Rxx 是 x 平方和,Rx1 是 x 的和,R11=N,Ryx 是 xy 乘积之和。矩阵可逆时,乘其逆得到系数。

例子为 (1,2)、(2,3)、(3,5)。分别计算 ∑x=6,∑y=10,∑x2=14,∑xy=23。因此:

[ab]=16[3−6−614][2310]=[1.51/3].

它给出最小平方误差直线,不要求每个点都在直线上。

一般线性方程 Ax=b,设 A 为 n×m,增广矩阵为 [A b]。若加上 b 使秩增加,说明 b 不在 A 的列空间内,无精确解;若秩相同且等于未知数 m,解唯一;若相同但小于 m,有自由变量,解不唯一。

可逆方阵直接用 x=A−1b。奇异方阵中,A+b 在方程一致时给最小范数精确解;不一致时给最小二乘解。它不会把本来无解的方程变成有精确解。

原第 29 页

超定、欠定和最小二乘分别在求什么

原课件第29页
点击原页可打开 PDF。

Cramer 法则:可逆方阵 A 中,用 b 替换第 i 列得到 Bi,则 xi=detBi/detA。例如 A=[2113]、b=(1,2)ᵀ,det A=5,两替换行列式分别为 1、3,解为 (0.2,0.6)ᵀ。

超定:A 行多列少,通常方程多于未知数。列满秩时,最小化 ‖Ax−b‖22,梯度 2AT(Ax−b)=0,得到:

x=(ATA)−1ATb=A+b.

若有精确解,残差为 0;若没有,它给残差长度最小的解。

欠定:A 行少列多且行满秩,有许多精确解,伪逆选择长度最小者:

xmin=AT(AAT)−1b.

例如 x1+x2=2,有 (2,0)、(0,2)、(1,1) 等解,最小长度是 (1,1),长度 √2。矩阵方程 AX=B 可逐列求解,最小 Frobenius 范数解为 A⁺B。

若未知的是映射矩阵 A,数据关系为 AB0≈B1,且 B0 行满秩,最小化 ‖AB0−B1‖F2,得 A=B1B0T(B0B0T)−1。它把每个输入列映射到相应输出列。

最后两条零判据:若 Ax=0 对所有 x 成立,依次取坐标单位向量,就知 A 每列都为 0。若对称 A 满足 xᵀAx=0 对所有 x 成立,先取 ei 得对角为 0,再取 ei+ej 得 2Aij=0,因此 A=0;对称性保证交叉项能这样合并。

原第 30 页

矩阵方程向量化,特征值怎样解释

原课件第30页
点击原页可打开 PDF。

vec 按列堆叠矩阵,基本规则是:

vec(AXB)=(BT⊗A)vecX.

于是 Sylvester 方程 AX+XB=C 变为:

(I⊗A+BT⊗I)vecX=vecC.

括号内可逆时,左乘其逆求 vec X,再按列还原。更一般 ∑kAkXBk=C,系数矩阵就是 ∑kBkT⊗Ak。例如 A、B 都为对角阵时,每个元素独立满足 (ai+bj)Xij=Cij,可直接逐个除。

特征关系 Avi=λivi 表示 A 对某个非零方向 vi 只做缩放,不改变它所在的直线。把独立特征向量放成 V,有 AV=VΛ;若 V 可逆,就得到 A=VΛV⁻¹。

特征值互异保证可对角化;重复并不自动失败,例如 I 的特征值全相同仍可对角化。真正缺少足够独立特征向量才叫 defective,此时用 Jordan 块。例如 [1101] 只有一个独立特征方向。Schur 分解则用正交或酉基把 A 化成上三角(实情形可能为准三角)。

矩形 A、B 的 AB 与 BA 共享非零特征值,但不同维度可能多出零特征值。例如 AB=[1],BA=diag(1,0)。因此本页 eig(AB)=eig(BA) 应读作非零谱对应。矩阵秩为 r 时,非零特征值至多 r 个。

原第 31 页

对称特征分解与 SVD:方向和缩放分开

原课件第31页
点击原页可打开 PDF。

实对称 A 的特征值都是实数,特征向量可选为正交基,故:

A=VΛVT,VTV=VVT=I.

因此 tr(Aᵖ)=Σλiᵖ;I+cA 的特征值为 1+cλi;A−cI 为 λi−c;A 可逆时 A⁻¹为 1/λi。对称矩阵 AᵀA 的特征值为 λi²,正定时奇异值就等于 λi。

特征方程统一写 det(λI−A)=0。多项式系数中 g1=tr A、gn=det A,gj 是所有 j 阶主子式之和;改变坐标基不改变这些系数。原页用 det(A−λI) 写方程,零点相同,但展开式整体正负随阶数变化。

任意实矩阵(包括非方阵)都能做奇异值分解:

A=UΣVT.

V 的列来自 AᵀA 的正交特征向量;U 的列来自 AAᵀ;Σ 的非负对角数是相应特征值的平方根,称奇异值。它们的顺序必须配对。

  1. 先用 Vᵀ把输入转到合适方向。
  2. 用 Σ沿各方向缩放。
  3. 用 U 转到输出空间。

例如 diag(3,−2) 的对称特征值为 3、−2;SVD 奇异值为 3、2,负号被吸收到方向矩阵里。特征值可以负,奇异值始终非负。

手册后面几处把左右因子的 U、V 字母换过,理解时只要认准“左因子在输出空间,右因子在输入空间”,维度与乘积就不会变。

原第 32 页

SVD 的不同尺寸,LU 与 Cholesky 分解

原课件第32页
点击原页可打开 PDF。

设 A 为 n×m、秩 r。SVD 可以保留不同数量的方向:

  • 完整形式:U 为 n×n,Σ 为 n×m,V 为 m×m。
  • 紧凑形式:Ur 为 n×r、Σr 为 r×r、Vr 为 m×r,只保留非零奇异值。
  • 薄形式:保留 min(n,m) 个方向,可含零奇异值;也可通过补零块和正交基扩成完整形式。

原页(295)–(298)用不同矩形框画出这些尺寸。补进去的块对最终乘积贡献为 0,所以 A 没有改变。

LU 把矩阵拆成下三角 L 和上三角 U;通常将 L 对角固定为 1。如果所有顺序主子式非零,可以不换行进行这一分解。实际需要换行时写 PA=LU。

例如:

[4223]=[101/21][4202].

消元就是第二行减去第一行的一半,剩下第二个主元 2。解 Ax=b 时先解 Ly=b,再回代 Ux=y。

对称正定矩阵可用 Cholesky:

A=LLT,L=[2012].

检查:左上 2²=4,交叉 2×1=2,右下 1²+(√2)²=3。要求 L 对角为正后分解唯一。它同时给出“正定矩阵是某个矩阵乘其转置”的具体构造。

原第 33 页

LDM 与 LDL:把缩放主元单独放出来

原课件第33页
点击原页可打开 PDF。

LU 的上三角因子可以把对角主元提取成 D,再留下单位上三角。将它记为 Mᵀ,得到:

A=LDMT,

L、M 都是对角为 1 的下三角矩阵,D 对角。原页条件为所有顺序主子式非零,以保证按当前顺序消元不遇到零主元。

若 A 对称,可令 M=L,得到 LDLᵀ。例如上一页矩阵:

[4223]=[101/21][4002][11/201].

4 是第一个主元;消去第一列后剩 2,是第二个主元。正定时 D 的对角全正;再对 D 开平方,就能把 LD1/2 合为 Cholesky 的 L。

也可以从另一端进行上三角方向的分解,但原页 LDLT=LTDL 不能理解成把同一组 L、D 顺序直接交换。矩阵乘法顺序会改变结果。

页脚解释顺序主子式:取左上 k×k 子矩阵的行列式,k=1,…,n。它只是所有主子式中的一个子类。

原第 34 页

随机向量的矩:平均、协方差与更高阶关系

原课件第34页
点击原页可打开 PDF。

随机向量 x 包含 n 个随机数。尖括号或 E 表示取期望,即按概率加权平均。均值向量为:

mi=E[xi],m=E[x].

先中心化 e=x−m,让 E[e]=0。协方差矩阵:

Mij=E[eiej],M=E[eeT].

对角 Mii 是第 i 个变量的方差;非对角描述两个变量共同偏离均值的方向。任意 v 的二次型 vTMv=E[(vTe)2]≥0,所以协方差半正定。

三阶中心矩 Tijk=E[eiejek],记录三个分量相乘后的偏斜关系;四阶中心矩 Kijkl=E[eiejekel],用于尾部与高阶波动。它们是多下标数组,原页把它们按固定顺序摊平成矩阵 M3、M4:

M3=E[eeT⊗eT],M4=E[eeT⊗eT⊗eT].

M3 的形状为 n×n²,M4 为 n×n³。冒号“:”表示保留该方向的全部编号。学习时先理解每个元素是哪些随机量的乘积期望,再看摊平排列。

若用 N 个样本估计,可以先求样本均值,再把每个样本的中心化外积相加;统计估计中的 N 与 N−1 分母选择,与这里总体协方差的定义是不同问题。

原第 35 页

线性变换和二次型的期望,怎样逐步展开

原课件第35页
点击原页可打开 PDF。

常数矩阵可提出期望:E[AXB+C]=AE[X]B+C。若 x 均值为 m、协方差 M,令 y=Ax+b,则:

E[y]=Am+b,Cov(y)=AMAT.

因为 y−E[y]=A(x−m),两边外积再取期望即可。两种变换的交叉协方差为 Cov(Ax,By)=ACov(x,y)BT。

从 x=m+e、E[e]=0 展开:

E[xxT]=E[(m+e)(m+e)T]=mmT+M.

两种仿射变换因此满足:

E[(Ax+a)(Bx+b)T]=AMBT+(Am+a)(Bm+b)T.

取 A=B=I 或某一边为固定向量,就得到原页(321)–(325),例如 E[x aᵀx]=(M+mmᵀ)a。

二次型可写成迹,再使用上式:

E[xTAx]=E[tr(AxxT)](1)=tr(AM)+tr(AmmT)(2)=tr(AM)+mTAm.(3)

取 A=I 得 E[‖x‖²]=tr M+‖m‖²;先线性变换后再平方则为 E[‖Ax‖²]=tr(AMAᵀ)+‖Am‖²。加固定偏置只把均值改成 m+a。这覆盖(326)–(330)的各个特例。

本页还给二次型的方差。要求 x 各分量独立、具有相同二到四阶中心矩 μ2、μ3、μ4,A 对称,均值 c,a=diag(A) 的对角向量,则:

Var(xTAx)=2μ22tr(A2)+4μ2cTA2c+4μ3cTAa+(μ4−3μ22)aTa.

零均值标准正态有 μ2=1、μ3=0、μ4=3,立即简化为 2tr(A²)。这些附加独立与同矩条件用于方差公式;前面的均值、协方差变换与二次型期望不需要独立。

原第 36 页

三次乘积与加权随机量:先中心化再展开

原课件第36页
点击原页可打开 PDF。

设 e=x−m,各分量独立且均值为 0,协方差 M,三阶中心矩向量 v3=E[e∘e∘e]。令 u=Ax+a、v=Bx+b、w=Cx+c,分别记均值 α=Am+a,β=Bm+b,γ=Cm+c。

计算 E[u(vᵀw)] 时,先把每个量写成“均值+中心化部分”,再把 2×2×2 共八项展开。含一个 e 的项期望为 0,含两个 e 的项变成协方差,含三个 e 的项只剩同一坐标的三阶矩。因此:

E[u(vTw)]=Adiag(BTC)v3+tr(BMCT)α(1)+AMCTβ+(AMBT+αβT)γ.(2)

这里 diag(BᵀC) 表示对角矩阵。取三个量都为 x,可得:

E[x(xTx)]=v3+2Mm+(trM+mTm)m.

取三个量都为 y=Ax+a,记 S=AMAᵀ、α=Am+a,则:

E[y(yTy)]=Adiag(ATA)v3+2Sα+(trS+αTα)α.

右边是期望计算完的常数,原页这类式子中残留的 Ax+a 应按均值 Am+a 处理。

本页另一种排列是 E[u(bᵀv)wᵀ]。此处 b 为固定权重,令 v=Cx+c、w=Dx+d,均值分别为 γ、δ,t=bᵀγ,则完整展开为:

E[u(bTv)wT]=αtδT+AMCTbδT+αbTCMDT(1)+tAMDT+Adiag(v3∘(CTb))DT.(2)

最后一项是三阶中心矩贡献,分布对称、三阶矩为零时才消失。它也可以用同一个八项展开法核对。

加权标量 y=wᵀx 的中心量为 wᵀe,所以各阶矩只是把权重乘进去:

E[y]=wTm,E[(y−Ey)2]=wTM2w,E[(y−Ey)3]=wTM3(w⊗w),E[(y−Ey)4]=wTM4(w⊗w⊗w).

括号表示先构造 Kronecker 权重向量,再按维度相乘。例如两个独立、方差为 1 的变量取平均,w=(1/2,1/2)ᵀ,均值为两均值平均,方差为 1/4+1/4=1/2。

原第 37 页

多元分布:实数向量、比例和计数分别怎样建模

原课件第37页
点击原页可打开 PDF。

7.1 Cauchy:把一维柯西分布扩展到P维向量t。μ 是位置中心,正定矩阵 Σ 决定方向和尺度。核心量是 q=(t−μ)TΣ−1(t−μ),称为马氏距离平方。密度随 (1+q)−(P+1)/2 下降,尾部比高斯厚,更容易出现远离中心的值。柯西的位置参数不等于期望:它的通常期望不存在。

7.2 Dirichlet:用于一组比例,要求 xp≥0,∑pxp=1,参数 αp>0。密度为:

p(x)=Γ(∑pαp)∏pΓ(αp)∏pxpαp−1.

例如三类比例 (0.2,0.3,0.5) 是合法样本。所有 αp=1 时,在比例单纯形上均匀;参数偏大时更集中在平均比例附近。Γ 是阶乘的推广,整数k时 Γ(k)=(k−1)!。

7.3、7.5 Normal/Gaussian:是同一种正态分布的两个名称,详细公式从第40页开始。7.4 Normal–Inverse Gamma:把均值的正态模型与方差的逆Gamma模型联合起来,用来同时描述未知均值和方差。

7.6 Multinomial:用于n次独立分类试验的各类计数。若类别概率为 ai、计数为 ni,则 ∑iai=1,∑ini=n,概率为 n!∏iaini/∏ini!。例如两次试验,类别概率0.5、0.5,恰好各1次的概率是 2!/(1!1!)×0.52=0.5。

7.7 Student-t:同样用位置μ、尺度Σ,再加自由度ν。密度核心为 (1+q/ν)−(ν+P)/2。ν=1就是柯西;ν越大,通常越接近高斯。Σ是尺度矩阵,是否等于协方差要看下一页的因子。

原第 38 页

t分布的矩与Wishart随机矩阵

原课件第38页
点击原页可打开 PDF。

7.7.1—7.7.3:Student-t的位置、众数、均值要区分。众数是密度最高的位置,等于μ。均值只有ν>1时存在,等于μ;协方差只有ν>2时存在:

E[t]=μ(ν>1),Cov(t)=νν−2Σ(ν>2).

例如ν=4、Σ=I,协方差是2I,不能直接把尺度I当成协方差。ν接近2时,方差会很大。

7.7.4 矩阵t分布:样本从P维向量变为 P×N 的矩阵T,M给中心位置,两组正定尺度描述行与列的关系。密度里的 (T−M)Σ−1(T−M)T 把列方向加权后,形成 P×P 的距离矩阵;用行列式把它汇总成标量。读取式341时先检查每个乘法尺寸,再看自由度和Gamma归一化因子。

7.8 Wishart:这是正定矩阵上的分布。最直观的构造是取m个相互独立的 zk~N(0,Σ),令 M=∑k=1mzkzkT。每一项是外积,M相当于未除样本数的散布矩阵。

这里要求 Σ 正定。整数外积构造中,m≥P 时 M 才几乎必然正定;若 m<P,则 rank(M)≤m<P,M 是奇异半正定矩阵。例如 P=2、m=1,zzT 最多秩1。一般非奇异 Wishart 密度的自由度条件为 m>P−1。

密度里 det(M)(m−P−1)/2 控制矩阵体积权重,exp[−tr(Σ−1M)/2] 控制衰减,其他因子归一化。由于 E[zkzkT]=Σ,直接得到 E[M]=mΣ。一维、Σ=1时,它退化为自由度m的卡方分布。

原第 39 页

逆Wishart:直接给协方差矩阵设分布

原课件第39页
点击原页可打开 PDF。

逆Wishart仍然以正定矩阵M为样本,经常用于描述未知协方差。尺度矩阵Σ正定,自由度m足够大时,均值是:

E[M]=Σm−P−1,m>P+1.

例如P=2、m=5、Σ=I,均值为I/2。若m≤P+1,不能使用这个均值表达式来声称均值存在。

密度应按下面的行列式幂次读:

p(M)=det(Σ)m/22mP/2ΓP(m/2)det(M)−(m+P+1)/2exp[−12tr(ΣM−1)].

ΓP 是多元Gamma函数。原页式344中M的幂次有笔误,应为 −(m+P+1)/2。若 M~IW(Σ,m),则 M−1 服从尺度 Σ−1 的Wishart。这个对应解释了名称中的“逆”。密度核对

原第 40 页

高斯密度、积分、求导和边缘分布

原课件第40页
点击原页可打开 PDF。

8.1.1 密度:若d维向量 x~N(m,Σ),Σ正定:

p(x)=exp[−12(x−m)TΣ−1(x−m)](2π)d/2det(Σ)1/2.

m决定中心,Σ决定各方向的宽度和相关性,Σ−1 是精度矩阵。分母确保密度积分为1,所以去掉分母后,指数部分积分就是 (2π)d/2det(Σ)1/2。

一般二次指数积分由配方得到。A对称正定时:

∫e−xTAx/2+cTxdx=(2π)d/2det(A)−1/2exp(12cTA−1c).

把中心移到 A−1c,就剩一个中心高斯积分。若X由n列组成,迹 tr(XTAX) 等于各列二次型之和,因此矩阵积分可按列相乘。

对密度求导,先求指数的导数,再乘原密度:

∇xp=−pΣ−1(x−m),∇x2p=p[Σ−1(x−m)(x−m)TΣ−1−Σ−1].

8.1.2 边缘分布:把x分成xa、xb,均值和协方差也按块分。只保留xa时,直接保留 μa,Σa,即 xa~N(μa,Σa);xb同理。边缘是没观察另一块,条件是观察了另一块。8.1.3在本页末引入分块记号,条件公式接下一页。

原第 41 页

高斯条件分布、线性变换与配方

原课件第41页
点击原页可打开 PDF。

8.1.3 条件分布:若 Σ=(ΣaΣcΣcTΣb),观察到xb后:

xa∣xb~N(μa+ΣcΣb−1(xb−μb),Σa−ΣcΣb−1ΣcT).

均值按观察误差 xb−μb 调整,协方差减去可由另一块解释的部分。交换a、b就得到式354。例如两变量方差均1、协方差0.5,原均值0,观察xb=2后,xa条件均值为1,方差为 1−0.52=0.75。

8.1.4 线性组合:相互独立的高斯x、y经过 z=Ax+By+c,均值为 Amx+Bmy+c,协方差为 AΣxAT+BΣyBT。若相关,还需加交叉项 ACov(x,y)BT 及其转置;原页简式用在独立情形。

8.1.5 改写自变量:当A可逆,表达式 N(Ax;m,Σ) 可改写成均值 A−1m、协方差 A−1ΣA−T 的x高斯,再乘 1/|detA|。这个因子来自坐标伸缩。对一般非方阵,不能直接写A逆;应使用完整二次型配方。

8.1.6 配方:A对称可逆时:

−12xTAx+bTx=−12(x−A−1b)TA(x−A−1b)+12bTA−1b.

展开右边,两个交叉项各给一半 bTx,常数项相互抵消。迹形式只是把多列一起写出来。

8.1.7 两个平方项相加:精度相加,Σc−1=Σ1−1+Σ2−1;中心是精度加权平均 mc=Σc(Σ1−1m1+Σ2−1m2)。与x无关的常数集中到C。方差越小、精度越大的那项,对新中心影响越大。

原第 42 页

高斯相乘:精度相加;线性矩怎样变化

原课件第42页
点击原页可打开 PDF。

平方项的矩阵版:把上一页的向量x换成多列矩阵X,中心换成M,二次型用迹表示。每列都做同一套配方,因此 Σc−1=Σ1−1+Σ2−1、Mc=Σc(Σ1−1M1+Σ2−1M2),常数C汇总全部列的常数项。

8.1.8 两个高斯密度的乘积:

N(x;m1,Σ1)N(x;m2,Σ2)=ccN(x;mc,Σc), Σc=(Σ1−1+Σ2−1)−1,mc=Σc(Σ1−1m1+Σ2−1m2).

cc=N(m1;m2,Σ1+Σ2) 是两者重合程度。乘积的积分是cc,除以cc后才是归一化密度。

一维例:两个高斯均值0、2,方差都1。新精度 1+1=2,新方差1/2,新均值 (0+2)/2=1。两份信息结合以后更集中。

8.2.1 一阶、二阶矩:E[x]=m,Cov(x)=Σ=E[xxT]−mmT。这意味着二阶矩不等于协方差,二者差一个均值外积。

线性变换可直接移出期望:E[Ax]=AE[x]。协方差左右各变换一次:Var(Ax)=AΣAT,Cov(Ax,By)=ACov(x,y)BT。这些线性矩公式并不要求高斯,只需相应矩存在。

原第 43 页

二次、三次和四次矩:把高阶乘积变成均值与协方差

原课件第43页
点击原页可打开 PDF。

8.2.2 二次型:令 x~N(m,Σ),首先 E[xxT]=Σ+mmT。用 xTAx=tr(AxxT),得到:

E[xTAx]=tr(AΣ)+mTAm.

A对称时,方差简化为 2tr[(AΣ)2]+4mTAΣAm。一般A只由对称部分起作用;原页用 A+AT 保留这种写法。若Σ=σ²I,便得到式381。中心高斯下两个对称二次型的协方差是 2σ4tr(AB)。例如x为标准一维高斯,A=1,E[x2]=1,Var(x2)=2。

8.2.3 三次式:令 S=Σ+mmT,高斯下有:

E[x(bTx)xT]=mbTS+SbmT+(bTm)(Σ−mmT).

它是矩阵值期望,b是固定向量。推导时令 x=m+z,展开三项乘积;z的奇数矩为0,只留下均值项与两个z相乘的协方差项。原文写“坐标独立”还不够,若不是高斯,需要检查三阶中心矩是否为0。

8.2.4 四次式:中心高斯z的四个线性量满足三种配对规则:

E[(aTz)(bTz)(cTz)(dTz)]=(aTΣb)(cTΣd)+(aTΣc)(bTΣd)+(aTΣd)(bTΣc).

例如标准一维z取a=b=c=d=1,三种配对各得1,因此 E[z4]=3。本页列出的矩阵四次式、两个二次型相乘、四个线性量相乘,以及带偏移的矩阵乘积,都逐元素使用这条规则。

几个直接可查的中心形式是:

E[zzTzzT]=2Σ2+tr(Σ)Σ,(1)E[zzTAzzT]=Σ(A+AT)Σ+tr(AΣ)Σ,(2)E[(zTz)2]=2tr(Σ2)+[trΣ]2.(3)

非零均值或仿射偏移时,对四个标量量r1至r4记均值μi、协方差Cij,四阶矩等于:四均值的乘积,加上6种“一个协方差×其余两个均值”,再加3种“两协方差配对”。因此无需记住每条长式,只要会展开并完整配对,就能处理本页全部四次形式。

原第 44 页

混合矩、白化、卡方、熵和高斯混合密度

原课件第44页
点击原页可打开 PDF。

四个仿射因子续式:页首把两个内积相乘,再取期望。仍按上一页做法:先算每个仿射量的均值,再用协方差完成所有两两配对;迹把最后的矩阵乘积汇总成标量。

8.2.5 混合矩:以概率 ρk 选中第k个成分,该成分均值mk、协方差Σk。总均值 m=∑kρkmk,总协方差为:

Σ=∑kρk[Σk+(mk−m)(mk−m)T].

第一项是成分内部波动,第二项是成分中心之间的波动。不能只平均Σk。

8.3.1 白化:z=Σ−1/2(x−m) 先去均值,再缩放各方向,使 E[z]=0,Cov(z)=I。反向用 x=m+Σ1/2z 生成有指定协方差的样本。这里选用唯一的对称正定平方根;不加“正定”限制,平方根并不唯一。例如Σ=diag(4,9),白化把两个方向分别除以2和3。

8.3.2 卡方:马氏距离平方 (x−m)TΣ−1(x−m)=zTz,是n个独立标准高斯平方之和,因此服从 χn2。

8.3.3 熵:d维高斯的微分熵为 H=12log[(2πe)ddetΣ]。协方差椭球体积越大,熵越大;均值平移不改变熵。

8.4.1 高斯混合:p(x)=∑k=1KρkN(x;mk,Σk),其中 ρk≥0,∑kρk=1,Σk正定。它是“随机挑一个成分,再从该高斯抽样”,所以可以形成多个峰;它与第42页的高斯密度相乘是两种不同操作。

原第 45 页

高斯混合的梯度:每个成分先乘责任度

原课件第45页
点击原页可打开 PDF。

观察一个样本s,混合密度 p(s)=∑kρkN(s;μk,Σk)。定义第j成分的责任度:

rj(s)=ρjN(s;μj,Σj)p(s).

它表示观察到s以后,样本来自成分j的相对权重,所有rj相加为1。链式法则使每个成分参数的梯度都等于“责任度×该成分自己的对数梯度”。

  1. 权重:∂logp/∂ρj=rj/ρj,用于内部正权重。
  2. 均值:∇μjlogp=rjΣj−1(s−μj)。样本在均值哪一侧,就把均值往哪边拉。
  3. 协方差:
∇Σjlogp=rj2[−Σj−1+Σj−1(s−μj)(s−μj)TΣj−1].

例如rj=0.8、方差1、s−μj=2,均值梯度是1.6;另一个责任度很小的成分受该样本影响也小。

更新参数时还要保持权重非负且和为1、协方差正定。可以用softmax参数化权重,用Cholesky因子参数化协方差。这些要求是模型的一部分。

责任度的乘法可从链式法则展开。任取第 j 个成分的参数 θj,令 aj=ρjNj(s)。只有 aj 随它变化,所以 ∂θjlogp=(∂θjaj)/p=(aj/p)∂θjlogaj。 第一个因子是责任度。第二个因子只需对单个成分求导。

例如对均值求导时,记 v=s−μj。单成分对数密度中含均值的项是 −vTΣj−1v/2。先对 v 求导得到 −Σj−1v,再乘 dv/dμj=−I,就得到 Σj−1(s−μj)。

原第 46 页

分块矩阵:大矩阵按小块进行运算

原课件第46页
点击原页可打开 PDF。

9.1.1 乘法:块与普通元素遵守相同的行乘列规则,但每次乘法是矩阵乘法,顺序必须保留。例如乘积左上块为 A11B11+A12B21,右上块为 A11B12+A12B22;另外两块同理。相加的两项尺寸必须相同。

9.1.2 行列式:记 A=(EFGH)。若E可逆,令 S=H−GE−1F,则 detA=detEdetS。若改为H可逆,可用另一个补 C=E−FH−1G,得到 detA=detHdetC。

9.1.3 逆:E和S可逆时:

A−1=(E−1+E−1FS−1GE−1−E−1FS−1−S−1GE−1S−1).

这些补项来自消去另一组未知数。别把四个块各自求逆后直接拼回去,只有块对角情况才可以这样做。

9.1.4 块对角:F=G=0时,逆为diag(E⁻¹,H⁻¹),行列式为 detEdetH。例如E=2、F=G=1、H=3,S=2.5,行列式 2×2.5=5,逆为 15(3−1−12)。

原第 47 页

Schur补就是消元后的系数;DFT就是矩阵乘法

原课件第47页
点击原页可打开 PDF。

9.1.5 Schur补:对分块系统 Ex1+Fx2=b1、Gx1+Hx2=b2,若H可逆,第二式给 x2=H−1(b2−Gx1)。代入第一式:

(E−FH−1G)x1=b1−FH−1b2.

括号里的系数就是对H的Schur补。先解x1,再回代x2;本页把逆矩阵写成三块矩阵相乘,也是记录这套消元过程。第41页高斯条件协方差出现同样的“原块减去交叉修正”结构。

9.2 离散傅里叶变换:令 j2=−1,(WN)kn=e−j2πkn/N,下标k、n从0到N−1。DFT为:

X(k)=∑n=0N−1x(n)e−j2πkn/N,X=WNx.

每行把信号与一种频率的复指数相乘求和,得到该频率成分。反变换使用正号指数并除以N。

最小例N=2:W2=(111−1)。输入 x=(3,1)T,输出 X=(4,2)T。第一项是和,第二项是差;反向乘同一矩阵再除2,就恢复3和1。

原第 48 页

DFT的逆与循环矩阵;Hermitian与反Hermitian

原课件第48页
点击原页可打开 PDF。

DFT续:不同复指数频率相互正交,所以 WNHWN=NI,从而 WN−1=WNH/N。本书的W同时对称,因此共轭与共轭转置在此一致。偶数N时,基本旋转因子的幂平移N/2会变号。循环矩阵可由DFT对角化,因此循环卷积能转成频域逐点乘法;第一行/第一列约定会影响频率顺序。

9.3 Hermitian:AH=A,H表示先转置再取复共轭。对实矩阵就是对称。等价的二次型判据是对所有x,xHAx 都为实数;其特征值为实数。

“特征值全实”只是一般矩阵成为Hermitian的必要条件,原页式414的反向不成立。例如 (1102) 特征值1、2都实,却不对称。

任意复方阵可写成 A=B+jC,其中 B=(A+AH)/2、C=(A−AH)/(2j) 都是Hermitian,类似把复数拆成实部与虚部。

9.3.1 反Hermitian:AH=−A,特征值纯虚或0,xHAx 为纯虚。Hermitian矩阵乘j就成为反Hermitian。例如 (0−110) 的特征值是±j。实矩阵中,它对应反对称矩阵。

原第 49 页

幂等、幂零、平方为I与正交矩阵

原课件第49页
点击原页可打开 PDF。

9.4 幂等:A2=A,做两次等于做一次,投影是典型例子。由反复代入,An=A;(I−A)2=I−A;A(I−A)=0;转置或共轭转置也保持幂等。若两个幂等矩阵可交换,则 (AB)2=A2B2=AB。

幂等矩阵特征值只能0或1,因此rank等于trace。对函数 f(sI+tA),在0方向取f(s),在1方向取f(s+t):

f(sI+tA)=(I−A)f(s)+Af(s+t).

式426的 A+=A 需要正交投影条件,如 A=AH。一般斜投影不成立。例如 A=(1100) 幂等,而伪逆为 (1/201/20)。

9.4.1 幂零:一般定义是某个正整数k满足 Ak=0。本页研究特殊的 A2=0,于是泰勒展开二阶及以后全部消失,得到 f(sI+tA)=If(s)+tAf′(s)。

9.4.2 平方为I:A2=I 的标准名称是involutory(对合),原页标题写作unipotent。用 (I+A)/2、(I−A)/2 分出特征值+1与−1方向,就得到式429。

9.5 正交:实方阵Q满足 QTQ=I,因此 Q−1=QT,保留长度和夹角。特征值模为1,特征向量可归一化。旋转矩阵就是例子:逆操作是反方向旋转。

原第 50 页

正交且对称、正交且反对称,以及正定的定义

原课件第50页
点击原页可打开 PDF。

正交基本性质:Q−1=QT、Q−T=Q、QQT=QTQ=I。取行列式,(detQ)2=1,所以 detQ=±1。

9.5.1 Ortho-Sym:若Q还对称,则 Q2=I。所以偶数次幂是I,奇数次幂是Q:

Qk=1+(−1)k2I+1−(−1)k2Q.

例如diag(1,−1)表示一次反射,反射两次回到原位。式433只是把 (−1)k 改写为 cos(kπ)。

9.5.2 Ortho-Skew:实Q同时正交且反对称,则 QT=−Q,结合 QTQ=I 得 Q2=−I。因此幂每4次循环:

Qk=cos(kπ/2)I+sin(kπ/2)Q.

二维90°旋转矩阵就是例子,Q、−I、−Q、I依次循环。9.5.3 分解:任意实方阵都能分成对称部分 (A+AT)/2 与反对称部分 (A−AT)/2,记它们为 S、K,二者在 Frobenius 内积下始终正交:tr(STK)=0,因为转置后这个迹变成自身的相反数。这里的“彼此正交”与“一个矩阵满足 QTQ=I”是不同概念;S、K 通常各自都不是正交矩阵。

9.6.1 正定/半正定:对实对称A,若所有非零x都满足 xTAx>0,称正定;允许等于0则称半正定。diag(2,1)正定,diag(2,0)半正定。半正定允许某个非零方向的二次型为0。

原第 51 页

正定矩阵的判别、分解与秩性质

原课件第51页
点击原页可打开 PDF。

本页性质按实对称矩阵理解,复数版本相应使用Hermitian和共轭转置。

  1. 9.6.2 特征值:正定等价于全部特征值>0,半正定等价于全部≥0。若只研究非对称A的实二次型,实际起作用的是对称部分 (A+AT)/2。
  2. 9.6.3 迹:迹是特征值之和,正定时>0,半正定时≥0。反向不成立:diag(3,−1)迹为2却不半正定。
  3. 9.6.4 逆:正定矩阵可逆,逆的特征值是 1/λi>0,所以逆仍正定。
  4. 9.6.5 对角:取 x=ei,得到 Aii=eiTAei>0。
  5. 9.6.6 分解:半正定等价于 A=BBT,因为 xTAx=‖BTx‖2≥0。若A正定,可取可逆B,如Cholesky因子。
  6. 9.6.7 归一化:A秩为r时,在它的r个正特征值方向上取 B=UrΛr−1/2,就有 BTAB=Ir。
  7. 9.6.8 零二次型:XTAX=0 意味着 A1/2X 的各列长度为0,因此AX=0。
  8. 9.6.9 乘积秩:A正定时,BABT=(BA1/2)(BA1/2)T,所以其秩等于B的秩。
  9. 9.6.10 保持正定:若B满行秩,则非零y有 BTy≠0,故 yTBABTy>0。
  10. 9.6.11 外积:n×r矩阵X若满行秩,则 XXT 正定;不满行秩时只能保证半正定。
原第 52 页

小扰动、Hadamard不等式、逐元素乘积与单点矩阵

原课件第52页
点击原页可打开 PDF。

9.6.12 小扰动:A正定,B对称,A−tB 在t足够小时仍正定。一个清楚的界是 λmin(A)−|t|‖B‖2>0。例如A=2I、B=I,只要t<2,仍为正定。

9.6.13 Hadamard行列式不等式:半正定A满足 detA≤∏iAii。二维A=(abbc) 时,detA=ac−b2≤ac,一眼就能看见非对角关联降低了行列式。

9.6.14 Hadamard乘积:符号 P∘Q 表示对应位置相乘,不是矩阵乘法。若P、Q半正定,则它们的逐元素乘积也半正定。把 P=AAT,Q=BBT 展开,取R的各列为 ai∘bj,就有 P∘Q=RRT,从而得到证明。

9.7.1 单点矩阵:Jij=eiejT,只有第(i,j)位置是1,其余全0。例如J23在第2行第3列放1。它用来表示“只改变矩阵的一个元素”。

9.7.2 选行选列:右乘 AJij=AeiejT,把A的第i列放到结果的第j列,其他列为0;左乘 JijA=eiejTA,把A的第j行放到结果的第i行,其他行为0。先记住“右乘动列、左乘动行”。

原第 53 页

用单点矩阵把元素公式写回矩阵公式

原课件第53页
点击原页可打开 PDF。

9.7.3 元素乘积:因为 Jij=eiejT,所以 (AJijB)kl=AkiBjl。在A或B上加转置,就能得到式447—449的其余下标组合。它们都在做“选一列、选一行,再外积”。

9.7.4 乘法性质:最通用的一条是 JijJkl=δjkJil。δ在j=k时为1,否则0。因此i≠j时 Jij2=0,而 JijJijT=Jii、JijTJij=Jjj;i=j时,Jii2=Jii。

9.7.5 标量与迹:tr(AJij)=Aji,tr(AJijB)=(BA)ji。用迹的循环性质把J移到末尾,就转成上一条选元素规则。

xTAJijBx=(ATx)i(Bx)j=(ATxxTBT)ij.

式453、455多了 Jij2:非对角时它为0,对角时保留原项,所以结果只留下相应矩阵的对角元素。

9.7.6 结构矩阵:没有结构限制时,∂A/∂Aij=Jij。若A强制对称,改变非对角Aij时还必须同时改变Aji,所以导数是 Jij+Jji;对角只改变一次。统一写成 Jij+Jji−JijJij,对角时减掉重复的一次。

原第 54 页

对称、反对称,以及沿对角线不变的Toeplitz矩阵

原课件第54页
点击原页可打开 PDF。

9.8.1 对称:A=AT。实对称矩阵有实特征值,并能选择一组正交单位特征向量,写成 A=QΛQT。不同特征值的特征向量互相正交。

9.8.2 反对称:A=−AT。对角元素满足 aii=−aii,所以都是0。取行列式:

detA=detAT=det(−A)=(−1)ndetA.

n为奇数时,等式迫使行列式0,因此必有零特征值。实反对称矩阵的其他特征值为纯虚成对出现,例如 (0−220) 的特征值±2j。

9.8.3 分解:任何A都能拆成 A+=(A+AT)/2、A−=(A−AT)/2,两者相加恰好恢复A。二次型中反对称部分抵消,所以 xTAx=xTA+x。

9.9 Toeplitz:同一条从左上到右下的对角线,元素相同,即 Tij=tj−i。三阶例子:

T=(t0t1t2t−1t0t1t−2t−1t0).

它只需2n−1个数表示。它关于反对角线满足相应镜像关系(persymmetric),但不一定关于主对角线对称;若再有 t−k=tk,才成为对称Toeplitz。

原第 55 页

Toeplitz的四种结构与转移概率矩阵

原课件第55页
点击原页可打开 PDF。

四种结构:对称Toeplitz把主对角线两侧设成相同;循环Toeplitz让每行相对上一行循环平移;上三角Toeplitz在主对角线下方全0;下三角Toeplitz在上方全0。

例如首行(1,2,3)的三阶循环矩阵是 (123312231)。下三角Toeplitz可把有限冲激响应的卷积写成矩阵乘法。

9.9.1 计算:紧凑表示下相加只操作O(n)个数;矩阵乘向量可借助FFT达到O(n log n);结构化线性系统有O(n²)方法。原页把快速复杂度笼统写成“两Toeplitz矩阵相乘”,读取时要区分矩阵乘向量与输出完整n×n矩阵。一般两个Toeplitz的乘积不必仍是Toeplitz,但两个下三角Toeplitz的乘积仍保持该结构。Toeplitz的逆一般只保持persymmetric,不一定Toeplitz。

9.10 转移矩阵:Pij表示从状态i一步到状态j的概率,所有元素非负,每行和为1。例如:

P=(0.80.20.30.7).

第一行读作:若现在在状态1,下一步80%仍在1、20%去2。第二行则从状态2出发。概率分布若写成行向量α,一步后就是αP。

原第 56 页

多步转移、平稳分布、置换与移位

原课件第56页
点击原页可打开 PDF。

转移矩阵续:两步概率是 (P2)ij=∑kPikPkj,对所有中间状态k相加;k步用Pk。若P每行相同,第一步后已经到同一个分布,所以 Pn=P 对n≥1成立。

平稳分布满足 αP=α、αi≥0、∑iαi=1。对上一页例子,令 α=(a,1−a),方程 a=0.8a+0.3(1−a) 给 a=0.6,所以平稳分布为(0.6,0.4)。平稳表示一步以后分布不变。

9.11.1—9.11.2 单位向量:ei只有第i位为1。左乘 eiTA 取第i行,右乘 Aej 取第j列。

9.11.3 置换矩阵:每行每列各有一个1,其余0,所以 P−1=PT。右乘AP重排A的列,左乘PA重排行。本页示例交换第1、2个单位向量,因此交换前两行或前两列。

9.11.4 普通移位:L在次对角线上放1,其他0。对 x=(1,2,3,4)T,Lx=(0,1,2,3)T。最前面补0,末尾数据移出;反复乘L会继续向后移。

原第 57 页

循环移位与Vandermonde多项式矩阵

原课件第57页
点击原页可打开 PDF。

普通移位续:Lnx 前n项补0,其余第t项是 xt−n。因此长度N的信号满足 LN=0,普通移位不可逆,因为丢掉了末尾数据。

循环移位:在L右上角再放一个1,得到 L^。它把末尾绕回开头,例如 (1,2,3,4)T↦(4,1,2,3)T,没有丢数据,所以是置换矩阵,L^−1=L^T,L^N=I。

使用1起始下标时,移n次后的来源下标是 t′=1+((t−n−1)modN)。减1再取模,最后加1,能避免0起始和1起始混用造成的偏一位。

9.12 Vandermonde:每行把一个数vi依次升幂:

Vij=vij−1,V=(1v1v121v2v221v3v32).

它乘多项式系数 (β0,β1,β2)T,就得到多项式在各vi处的取值,是多项式回归和插值的设计矩阵。方阵的行列式 detV=∏i>j(vi−vj):任意两点相同就不可逆,所有点不同则可逆。例如vi=0、1、2,行列式 (1−0)(2−0)(2−1)=2。

原第 58 页

矩阵几何级数、二阶泰勒和矩阵函数

原课件第58页
点击原页可打开 PDF。

10.1.1 有限几何级数:先看不需要逆的恒等式:

(X−I)(I+X+⋯+Xn−1)=Xn−I.

左边展开后,中间项两两抵消。如果X−I可逆,就能改写成式487。即使X−I不可逆,未使用逆的乘积恒等式仍成立。

10.1.2 二阶泰勒:令位移 Δ=x−x0。对二阶可微标量函数:

f(x0+Δ)≈f(x0)+g(x0)TΔ+12ΔTH(x0)Δ.

g是梯度,给出一阶变化;H是Hessian,给出弯曲程度。例如 f(x)=x12+3x22 在0处梯度0、H=diag(2,6),二次项正好恢复原函数。牛顿法就是用局部二次近似寻找下一步。

10.1.3 幂级数定义矩阵函数:若标量函数 f(z)=∑ncnzn,把标量z换成方阵X,定义 f(X)=∑ncnXn,前提是级数收敛。常数项变成c0I。矩阵指数、对数、正弦、余弦都从这里定义,不能简单理解成把每个元素单独代入函数。

原第 59 页

矩阵指数、对数、三角函数与Kronecker积

原课件第59页
点击原页可打开 PDF。

10.1.5 指数与对数:

eA=I+A+A22!+⋯,log(I+A)=A−A22+A33−⋯.

指数级数对所有有限矩阵收敛;上述对数级数可在 ‖A‖<1 等条件下使用。若AB=BA,则 eAeB=eA+B;不交换时不能套这个简式。总有 (eA)−1=e−A。

逐项对t求导得 ddtetA=AetA=etAA,因此线性微分方程 x′=Ax 在初值 x(0)=x0 下的解是 x(t)=etAx0。迹的导数是 tr(AetA),行列式满足 det(eA)=etrA。例如A对角时,逐方向取指数,行列式就是各指数相乘。

10.1.6 三角函数:sinA=A−A3/3!+⋯,cosA=I−A2/2!+⋯。若 J2=−I,则 etJ=Icost+Jsint,对应二维旋转。

10.2.1 Kronecker积:A的每个元素都乘一整块B,得到 A⊗B。若A为m×n、B为r×q,结果是mr×nq。例如:

(1234)⊗B=(B2B3B4B).

它把多方向、多组重复结构组织成一个大矩阵。下一页会把它与按列展开矩阵的vec操作连接起来。

原第 60 页

Kronecker运算规则与按列展开vec

原课件第60页
点击原页可打开 PDF。

Kronecker的代数规则:它对加法分配、满足结合律,标量因子可提到外面,但一般 A⊗B≠B⊗A。转置逐个作用:(A⊗B)T=AT⊗BT。最有用的混合乘积为:

(A⊗B)(C⊗D)=AC⊗BD,

前提是尺寸匹配。可逆时逆逐个作用,伪逆也有同类公式。秩相乘、迹相乘,特征值是两矩阵特征值的所有两两乘积。

若A为m阶方阵、B为n阶方阵,正确行列式公式是 det(A⊗B)=det(A)ndet(B)m。式516把指数写成rank,只能在对应满秩情形这样替换;普遍公式应使用矩阵阶数。

10.2.2 vec:把矩阵一列一列往下堆。例如 X=(1324),则 vec(X)=(1,2,3,4)T,不是按行的(1,3,2,4)。它满足线性性。

vec(AXB)=(BT⊗A)vec(X),tr(ATB)=vec(A)Tvec(B).

第一式把矩阵未知量方程转为普通向量线性方程;第二式把Frobenius内积变成向量点积。最后的二次型例子,在实数且B对称时可写成式524的形式;一般B应按迹展开使用 BT 对应的Kronecker系数。第67页给出证明思路。

原第 61 页

向量范数、矩阵范数与算子最大放大倍数

原课件第61页
点击原页可打开 PDF。

10.3 向量范数:‖x‖1=∑i|xi|,‖x‖2=xHx,‖x‖p=(∑i|xi|p)1/p(p≥1),‖x‖∞=maxi|xi|。例如x=(3,−4),1范数7,2范数5,无穷范数4,分别表示不同的“大小”。

10.4.1 矩阵范数:满足非负、只有零矩阵范数为0、数乘按绝对值缩放、三角不等式。矩阵也可按这些规则度量大小。

10.4.2 诱导范数:先选一种向量范数,再定义 ‖A‖=sup‖x‖=1‖Ax‖。含义是A对单位输入最多放大几倍。于是 ‖Ax‖≤‖A‖‖x‖,两次放大的倍数相乘给 ‖AB‖≤‖A‖‖B‖,而I不放大,所以 ‖I‖=1。

10.4.3 常用矩阵范数:

  • ‖A‖1=maxj∑i|Aij|:最大的列绝对值和。
  • ‖A‖∞=maxi∑j|Aij|:最大的行绝对值和。
  • ‖A‖2=λmax(AHA)=σmax(A):最大奇异值。
  • ‖A‖F=∑ij|Aij|2=tr(AAH):把所有元素当成向量的2范数。

一般诱导p范数应直接写 sup‖x‖p=1‖Ax‖p,原页式539外面额外的1/p次幂应删去。例如A=diag(3,4),2范数4,而F范数5。

原第 62 页

范数比较、条件数、秩界与Dirac变换

原课件第62页
点击原页可打开 PDF。

更多范数:最大元素范数 ‖A‖max=maxij|Aij|;本页把全部奇异值之和记为Ky Fan范数,也常称核范数 ‖A‖*=∑iσi。

10.4.4 不等式表:按“行范数≤表中系数×列范数”读。对m×n、秩d矩阵,典型关系为:

‖A‖max≤‖A‖2≤‖A‖F≤‖A‖*;‖A‖F≤d‖A‖2,‖A‖*≤d‖A‖F.

还可用 ‖A‖1≤m‖A‖max、‖A‖∞≤n‖A‖max 以及表中的平方根系数换界。维度因子说明不同范数一般不相等。

10.4.5 条件数:可逆A的 κ2(A)=‖A‖2‖A−1‖2=σmax/σmin。正定对称A可改用最大与最小特征值之比。diag(1,1000)条件数1000,表示某些方向的信息相对弱,求解对误差更敏感。

10.5 秩:A为m×n、B为n×r时:

rankA+rankB−n≤rank(AB)≤min(rankA,rankB).

右界表示乘法不能凭空增加独立方向,左界限制最多能丢失多少方向。

10.6 Dirac积分:方阵A可逆时,∫p(s)δ(x−As)ds=p(A−1x)/|detA|。绝对值保证概率非负,原页式547省略了它。高矩阵A若满列秩,输出只分布在A的列空间,体积缩放因子为 det(ATA);式548应理解为该子空间上的密度,不是整个高维空间中的普通密度。

原第 63 页

秩不变关系与正定分解的统一理解

原课件第63页
点击原页可打开 PDF。

式549:对实矩阵:

rank(A)=rank(AT)=rank(AAT)=rank(ATA).

关键在 xTATAx=‖Ax‖2:ATAx=0 与Ax=0有相同零空间,所以它们保留相同数量的独立方向。复矩阵要把转置改成共轭转置。

例:A=(1224) 只有一条独立行,秩1;AᵀA与AAᵀ的秩也都是1,虽然它们的元素更大。

式550:实对称A正定,等价于存在可逆B使 A=BBT。正向可用Cholesky或特征值平方根构造B;反向由 xTAx=‖BTx‖2 得到,非零x在可逆B下不会变0。

这把“正特征值”“平方范数”“可逆因子分解”三种视角连在一起。在线性回归中,X满列秩就让XᵀX正定;若列相关,只能得到半正定。

原第 64 页

一维高斯:积分、导数与完整配方

原课件第64页
点击原页可打开 PDF。

A.1.1—A.1.2:x~N(μ,σ2),σ>0,密度为 p(x)=e−(x−μ)2/(2σ2)/2πσ2。去掉归一化因子后,积分是 2πσ2。一般a>0时:

∫−∞∞e−(ax2+bx+c)dx=π/aexp(b2−4ac4a).

对 ec2x2+c1x+c0,要求c2<0,积分为 π/(−c2)exp[c0−c12/(4c2)]。负二次项确保两端衰减,积分才有限。

A.1.3 对参数求导:先写 logp=−logσ−(x−μ)2/(2σ2)+常数,于是:

∂logp∂μ=x−μσ2,∂logp∂σ=1σ[(x−μ)2σ2−1].

密度本身的导数等于p乘对应的对数导数。注意第二式对标准差σ求导,若对方差σ²求导,系数会不同。

A.1.4 配方:逐项展开检查:

c2x2+c1x+c0=c2(x+c12c2)2+c0−c124c2=−(x−μ)22σ2+d.

所以 μ=−c1/(2c2),σ2=−1/(2c2),d=c0−c12/(4c2)。这些符号按展开后的正确式读取。A.1.5开始把这个表示用于计算矩,下一页继续。

原第 65 页

高斯前四阶矩,以及混合分布的加权原则

原课件第65页
点击原页可打开 PDF。

原点矩:写 x=μ+σz,其中z为标准正态,E[z]=E[z3]=0,E[z2]=1,E[z4]=3。展开幂次并取期望:

E[x]=μ,(1)E[x2]=μ2+σ2,(2)E[x3]=μ3+3μσ2,(3)E[x4]=μ4+6μ2σ2+3σ4.(4)

例如μ=1、σ²=4,四个矩依次是1、5、13、73。本页右侧把μ、σ²换成上一页的c1、c2,只是同一结果的另一种参数化。

中心矩:减去均值以后,前四阶为0、σ²、0、3σ⁴。奇数中心矩为0来自密度左右对称。

未归一化积分:若把归一化常数去掉,∫xnec2x2+c1xdx=ZE[xn],其中Z为同一指数不乘xn时的积分。不要把这种积分直接当成期望。

由矩组合其他量:E[x2]−E[x]2=σ2;E[x3]−E[x2]E[x]=2μσ2;E[x4]−E[x2]2=2σ4+4μ2σ2,最后一项就是x²的方差。

A.2.1—A.2.2 混合高斯:密度为 ∑kρkN(x;μk,σk2),权重非负且和1。由于积分线性,任何原点矩都先算各成分的矩,再按ρ加权:E[xn]=∑kρkEk[xn]。

原第 66 页

混合高斯的四阶矩、参数梯度和softmax

原课件第66页
点击原页可打开 PDF。

A.2.2续:把上一页高斯的四个矩分别按成分加权:

M1=∑kρkμk,(1)M2=∑kρk(μk2+σk2),(2)M3=∑kρk(μk3+3μkσk2),(3)M4=∑kρk(μk4+6μk2σk2+3σk4).(4)

总方差是M2−M1²,Cov(x2,x)=M3−M2M1,Var(x2)=M4−M22。若每个成分均值都0,奇数矩0,二阶矩是加权σ²,四阶矩是加权3σ⁴。

例:各半概率选 N(0,1) 或 N(0,4),M2=2.5,M4=25.5。相同方差的单高斯四阶矩为 3(2.5)2=18.75,因此两种分布不能只凭方差当成一样。

A.2.3 导数:责任度 rj=ρjNj(s)/p(s)。权重梯度是rj/ρj,均值梯度 rj(s−μj)/σj2,标准差梯度 rj[(s−μj)2/σj2−1]/σj。它们都是责任度乘单成分梯度。

若 ρj=euj/∑keuk,则 ∂ρl/∂uj=ρl(δlj−ρj)。代入链式法则后,∂logp/∂uj=rj−ρj,自动遵守权重和1。

附录B起点:页末开始证明vec二次型恒等式,并提醒复数情况下H是共轭转置、T只是转置。具体推导接下一页。

展开 softmax 那一步可直接求和。用 ∂ρllogp=rl/ρl 乘 ∂ujρl=ρl(δlj−ρj),再对 l 求和。两个 ρl 抵消, δlj 只留下 rj,剩下的一项为 −ρj∑lrl=−ρj。这就得到 rj−ρj。

原第 67 页

vec二次型证明,与f(AB)A=Af(BA)

原课件第67页
点击原页可打开 PDF。

B.1.1 证明思路:把矩阵中的标量表达式改写成迹,再使用vec公式。对复数形式:

aHXBXHc=tr(XHcaHXB)=vec(X)H(BT⊗caH)vec(X).

步骤是:①标量等于自己的迹;②循环移动因子,把XH移到前面;③套用 vec(AXB)=(BT⊗A)vec(X) 与Frobenius内积。复数内积需要H,普通转置T不能代替共轭转置。

实数时把H改成T,得到一般系数 BT⊗caT。若B对称,才可把BT直接写B;这补齐了原式524使用时的条件。

B.1.2 解析矩阵函数:证明 f(AB)A=Af(BA)。先从幂开始:(AB)A=A(BA);再归纳得 (AB)nA=A(BA)n。于是:

f(AB)A=∑n≥0cn(AB)nA=∑n≥0cnA(BA)n=Af(BA),

前提是相应幂级数收敛。A、B甚至可以是互相匹配的矩形矩阵,因为AB和BA各自仍为方阵。不能把它误读成f(AB)=f(BA)。

B.1.3 起点:页末开始对矩阵幂Xn的某一元素求导。下一页会把“每个因子轮流求导”写成完整求和。

原第 68 页

矩阵幂的乘积求导,以及复矩阵行列式微分

原课件第68页
点击原页可打开 PDF。

B.1.3 矩阵幂:Xn由n个X相乘。乘积求导让其中一个位置变成dX,其余保持X:

d(Xn)=∑r=0n−1Xr(dX)Xn−1−r.

只对Xij求偏导时,dX的位置由Jij表示,所以:

∂Xn∂Xij=∑r=0n−1XrJijXn−1−r.

例如n=2,结果为 JijX+XJij;n=3为 JijX2+XJijX+X2Jij。矩阵不交换,所以这些项一般不能合成 nXn−1Jij。

B.1.4 复数行列式:令 Y=XHAX,Y可逆,先用 ddetY=detYtr(Y−1dY)。再求内层:

dY=(dX)HAX+XHA(dX).

代入以后,把迹循环移动到dX或dXH位于末尾,便能读出系数。若 X=R+jI,复导数用Wirtinger记号:

∂∂X=12(∂∂R−j∂∂I),∂∂X*=12(∂∂R+j∂∂I).

它把X与共轭X*暂时当成独立变量。对应的两组结果必须按这一约定使用,下一页给出共轭导数和另一个排列的结果。

原第 69 页

复导数的两个分量与实数梯度的关系

原课件第69页
点击原页可打开 PDF。

沿用 Y=XHAX、f=detY,逐元素Wirtinger导数为:

∂f∂X=f(Y−1XHA)T,∂f∂X*=fAXY−1.

两式都与X同尺寸。第一式来自dX项,第二式来自dXH项。若X、A实数且A对称,则Y也对称,两项相同;真实的实数梯度把两条变化路径相加,得到 2fAXY−1。

若排列改成 Z=XAXH、g=detZ,同样先微分 dZ=(dX)AXH+XA(dX)H,结果为:

∂g∂X=g(AXHZ−1)T,∂g∂X*=gZ−1XA.

例:一维X=z、A=1,f=|z|2=zz*。直接得到 ∂f/∂z=z*、∂f/∂z*=z。若z退回实数x,两份贡献相加,就是熟悉的 d(x2)/dx=2x。这个小例子能检查是否漏掉共轭或系数2。

原第 70 页

参考文献第一页:怎样按问题查原始资料

原课件第70页
点击原页可打开 PDF。

本页是文献[1]—[18],用于追溯前面公式的证明和应用背景。方括号编号是引用编号,不是本书章节或公式编号。

  • 矩阵代数与数值计算:[3] Barnett,[7] Brookes矩阵手册,[12] Golub与Van Loan的Matrix Computations,[15] Horn与Johnson的Matrix Analysis,[17]特征值与不变量,[18]广义逆。查分解、特征值、伪逆和数值算法时用这一组。
  • 概率与统计:[4] Bishop神经网络,[5] Boik统计讲义,[8]统计导论,[10]统计公式资料,[11]Bayesian Data Analysis,[16]Multivariate Analysis。查高斯、Wishart与多元统计时用这一组。
  • 复数与信号:[2]复数ICA,[6]复梯度,[9]矩阵结果,[13]Toeplitz与循环矩阵,[14]Adaptive Filter Theory。对应复导数、滤波及结构矩阵。
  • 微分方程:[1]常微分方程资料,对应矩阵指数与线性系统。

使用时先记下想查的公式编号,再沿正文的引用号找到作者、书名和页码。例如结构Toeplitz矩阵可从[13]继续查,而矩阵数值稳定性更适合查[12]。

原第 71 页

参考文献第二页:回归、矩阵微分、滤波与特征值导数

原课件第71页
点击原页可打开 PDF。

本页继续列出文献[19]—[34],补充上一页的来源。

  • 矩阵代数与微积分:[19] Minka矩阵代数笔记,[25] Searle统计矩阵代数,[27]标准数学表,[28]矩阵微分讲义,[31]子式,[34]增加或删除一列时更新逆矩阵。对应Kronecker、vec、求导、子式和逆更新。
  • 线性回归:[26] Seber与Lee的Linear Regression Analysis。若要从最小二乘公式继续理解统计推断,可沿此项查。
  • 信号与滤波:[21]卷积盲源分离,[22]过完备表示,[23]数字信号处理,[29]多速率系统与滤波器组,[30]Kalman Filter讲义,[32]频域稀疏盲源分离。对应DFT、结构矩阵和状态估计。
  • 特殊矩阵与分析:[20]Ortho–Skew/Ortho–Sym矩阵三角函数,[24]分析学资料。
  • 广义特征值导数:[33]专门讨论特征值、特征向量对参数的变化,适合继续理解前面的谱导数公式。

本课程常用的是最小二乘、矩阵梯度和正定性;先按用途找到相应来源,再阅读证明,比从文献表头到尾逐本阅读更有效。

原第 72 页

索引:把问题翻译成关键词再定位页码

原课件第72页
点击原页可打开 PDF。

这是全书索引。左边是英文关键词,右边是本书页码。一个主题可能列多个页码,表示定义、性质或应用出现在不同位置。

  • 求导:determinant(行列式)第8页,inverse(逆)第9页,trace(迹)第12页,chain rule(链式法则)第15页,complex matrix(复矩阵)第24页。
  • 回归与分解:linear regression第28页,eigenvalues/eigenvectors第30页,SVD第31页,LU/Cholesky第32页,LDL/LDM第33页,pseudo-inverse第21页。
  • 概率:Student-t/Dirichlet/Multinomial第37页,Wishart第38页;Gaussian边缘/条件第40页、线性组合第41页、乘积第42页、熵第44页。
  • 矩阵结构:block matrix第46页,Schur complement第41/47页,Hermitian第48页,幂等/幂零/正交第49页,对称/反对称/Toeplitz第54页,转移矩阵第55页,Vandermonde第57页。
  • 运算与数值:matrix power series第58页,矩阵指数/三角函数/Kronecker第59页,vec第59—60页,norm第61页,condition number与Sylvester秩不等式第62页,Woodbury逆更新第18页。

例如看到 XTX 不可逆,先查pseudo-inverse;看到回归损失求梯度,先查linear regression与trace derivative;看到 Σa−ΣcΣb−1ΣcT,查Schur complement与Gaussian conditional。索引负责定位,使用公式前再看对应页的尺寸、可逆性和对称性条件。