这份资料是 Petersen 与 Pedersen 整理的矩阵公式手册,版本日期为 2012 年 11 月 15 日。它的用途是查公式:当你已经写出一个矩阵表达式,需要知道它的导数、逆矩阵或分解怎样计算时,找到相应条目。
与课程最直接的联系是线性回归中的 。后面会把它拆成几条基本求导规则。先看符号和矩阵维度,再用公式,学习会容易很多。
共 72 页。按原课件顺序,左侧看原页,右侧读讲解。
大写 A 通常为矩阵,小写粗体 a 为列向量,普通小写 a 为标量。 表示第 i 行第 j 列元素。I 是单位矩阵,0 是零矩阵; 只有第 i 行第 j 列为 1,其余为 0。
| 记号 | 含义 |
|---|---|
| 行列互换,即转置 | |
| 每个复数元素取共轭,把 i 换成 −i | |
| 共轭转置 | |
| Moore–Penrose 伪逆 | |
| 对应元素相乘 | |
| 把每个 A 元素乘整块 B 的 Kronecker 积 |
是对角元素之和;det 为行列式;eig 为特征值;vec 按列把矩阵接成一个长向量。本手册的 diag(A) 保留 A 的对角线、其他位置置零,部分软件中的同名函数则会返回对角向量,使用时看上下文。
矩阵平方 ,矩阵平方根 B 满足 ,都不是逐元素平方或开根。
二次型 中 x 出现两次。微分时两个位置都要处理:
所以 ;B 对称时为 2Bx。类似地, 对 X 的梯度为 ,因为 X 与 Xᵀ各贡献一项。
一般的两段仿射形式 ,梯度是:
第一项来自左段,第二项来自右段。 对单元素 Xij 的微分同理为 。夹入 D 后,。
加权最小二乘是最常用的一组。设 r=x−As、W 对称,。先有 ,再看对谁求导:
若 r=x−s,两个向量梯度分别是 ±2Wr;若 r=Xb+c,则 。每个正负号都来自 r 的变化。
式(76)的全部元素双重乘积等于 ,因此任何元素导数都是 。复值误差式(89)按复数梯度约定处理;实数情况下就是普通平方误差链式法则。
矩阵幂的导数要把每个位置轮流换成 dX:。例如 ,不能把 dX 随意搬过 X。
取 。 展开 ,所以两个偏导为 、。
。乘 得同样结果。交叉项来自原矩阵的两个位置,这就是转置项出现的原因。
式(92)中 先把两块 看成 U,再对 UᵀU 用乘积法则;每块 U 又用上一页的 n 个位置求和。因此会有两组各 n 项,这就是长公式的来源。
若 s(x)、r(x) 都依赖 x,而 A 固定,则:
Js、Jr 是各自的 Jacobian。不能只对其中一边求导。
令 ,比值 在分母非零时,用商法则得:
平方长度的分母要保持 BᵀB。对 ,直接得梯度 、Hessian 。
迹求导先把变量放到容易读的位置:,所以梯度 Aᵀ。其余一阶条目为:
例如 tr(AXB)=tr(BAX),把 BA 当系数,即得 (BA)ᵀ。Kronecker 积的迹满足 tr(A⊗X)=tr A·tr X,所以梯度为 tr(A)I。
本页“tr(F(X)) 的导数为 F′(X)ᵀ”用于矩阵幂、矩阵指数这类适当的矩阵函数;逐元素应用任意函数时,应回到对角元素的求和定义求导。
最简单的区别是:
前者是矩阵乘自身再取迹,后者是所有元素平方和,不是同一函数。前一式来自 tr(dX·X+X·dX)=2tr(X·dX),所以要转置。
把固定系数放在左右不同位置,得到本页二次条目:
tr(BXXᵀ)、tr(XXᵀB) 与 tr(XᵀBX) 可循环相等;tr(BXᵀX)、tr(XᵀXB) 与 tr(XBXᵀ) 同理,这解释了原页重复的等价写法。
例如 ,令 E=AXB+C,先有 df=2tr(EᵀdE),再代 dE=A(dX)B,循环整理得:
式(116)是取 与其转置并将 BBᵀ 合并后的同类结果。式(120)把 tr(X⊗X) 写成 (tr X)²,导数为 2tr(X)I。
高阶迹因循环对称而简化:。若前面夹 A,就保留位置求和 。式(123)的四个 X 出现位置各贡献一次,按同样方法形成四项。
逆矩阵相关的迹式都从两条规则开始:,以及 。例如 。
令 ,C 对称,则 。对 ,先微分逆,再处理 S 中两个 X,得到:
对 ,B、C 对称时,逆那一块贡献 ,后面二次型贡献 。若 S 改成 ,A 固定且对称时同样替换 S 即可。矩阵正弦按幂级数定义时,tr(sin X) 的梯度为 (cos X)ᵀ。
向量距离 在 x≠a 时:
它的梯度是从 a 指向 x 的单位方向。平方距离更简单:。矩阵平方 Frobenius 范数 ,实梯度为 2X;复数情形也按后面的复梯度约定得到 2X。
最后转向结构矩阵:若多个元素共享同一参数,不能把它们当独立变量。设无约束矩阵梯度为 G,则对某个独立参数 θ:
这就是结构矩阵求导的统一规则。
结构矩阵 描述一个独立参数改变时,整张矩阵的哪些位置一起变。无结构时只变一个元素,所以 。
矩阵链式法则是:若 U=f(X)、g 为标量,先求 ,再对每个 Ukl 的变化乘上 ,最后加总。它只是普通多变量链式法则。
对称矩阵 中,一个非对角参数同时控制两个位置。因此对独立参数的导数是 ,而对角元素只算一次。排成矩阵可写成:
例如 ,,有 ,所以对 b 的导数是两个系数相加。原页的对称行列式、logdet 公式,就是把无结构梯度代入此规则。
若 X 是对角矩阵,只能调整对角线,其他位置始终为 0,因此保留梯度对角线即可:tr(AX) 的参数梯度为 。这些是“独立参数的导数”表示;对称矩阵空间内的 Frobenius 梯度则用对称投影 ,两种坐标约定要分清。
2-范数条件数是最大奇异值与最小奇异值之比:
比值大表示某些方向被压得很小,求逆会把误差放大。例如 diag(1,0.001) 的条件数为 1000;第二分量的误差经过逆矩阵会放大 1000 倍。正定对称矩阵的奇异值就是正特征值,因此条件数为 λmax/λmin。换其他范数可定义相应条件数,但不再都等于这个奇异值比。
Woodbury 恒等式把“原大矩阵加一块低秩变化”的逆,转成小矩阵求逆:
A 为 n×n,而变化只有 r 维时,括号里的逆只有 r×r。对称更新令 V=Uᵀ;把 B 取成 I 可得到本页 Kailath 变式。
秩一变化令 U=b、V=cᵀ,得到 Sherman–Morrison:
要求分母非零。例 A=I、b=c=(1,0)ᵀ,更新后为 diag(2,1),公式给 I−diag(1/2,0)=diag(1/2,1),恰为其逆。
式(158)把 换写为 ,也是同一低秩更新思想,可以选择维度更小的那一侧计算。
本页(161)–(167)通过提取因子或左右乘验证。例如 ,所以逆为 。另一个有用恒等式是:
从 出发,两边分别乘相应逆就能证明。再代回 Woodbury,可得 。本页其余式子为:
矩阵相乘不能交换,因此提取因子时顺序要保持。
给设计矩阵 X 加一列 v,令 、、。新增 Gram 矩阵的逆按分块计算为:
s 是 v 在旧列空间之外的剩余平方长度。s=0 表示新列由旧列线性组合得到,增广矩阵不再列满秩,普通逆不存在。
一般秩一伪逆更新写成 。先计算:
w 是 c 在 A 列空间外的部分,m 是 d 在 A 行空间外的部分;是否为零决定更新会不会改变秩。非零列向量 u 的伪逆为 。本页列前两个分支:
例如 A 为零矩阵、c=d=(1,0)ᵀ,得到 v=n=0、w=m=(1,0)ᵀ、β=1,第一分支给 ,正是更新矩阵的伪逆。
继续使用上一页定义的 β、v、n、w、m,全部为实值。本页补齐四个分支。先定义 ,便于看清分母。
4. w≠0、m=0、β=0:
5. m=0、β≠0:
6. w=m=0、β=0:
计算顺序是固定的:先求 A⁺,算五个中间量,判断分支,再求 G 并加回 A⁺。例如 A=I、c=(1,0)ᵀ、d=(−1,0)ᵀ,更新为 diag(0,1);有 v=(1,0)ᵀ、n=(−1,0)ᵀ、w=m=0、β=0,分支6给 G=diag(−1,0),新伪逆正是 diag(0,1)。
式(184)是一个条件推论:只有在 确实成立时,才能推出 ;普通求逆不能对加法分配。式(185)重复上一页正定低秩更新关系。
Neumann 级数是矩阵版等比级数:
条件是谱半径 。因为 ,而高次幂趋于零。只保留前几项就得到(188)、(189)的近似,误差来自被省略的高阶幂。
先记三类规则:伪逆再取伪逆还原 A;转置、共轭和共轭转置可与伪逆交换;非零标量 c 满足 。
实矩阵可写 ;复矩阵改用 H,得到 。对应地,。复数情形不能把 H 随意换回 T,这解释了原页(203)、(204)的区别。
投影到 A 的列空间, 投影到行空间。投影两次与一次相同:
投影的特征值只为 0 或 1,所以迹等于秩;这些投影性质并不要求 A 满秩。
一般 不能直接写 ,本页正确的组合式为 ;Kronecker 积则可逐因子取伪逆:。
对合适的谱函数 f,(215)、(216)把 f(AᴴA) 与 f(AAᴴ)联系起来:两者具有相同的非零奇异值平方;减去 f(0)I 后把零方向去掉,就能借 A、A⁺在两个空间间转换。
满秩时三种构造最实用:
宽矩阵乘右逆得 I,高矩阵的左逆乘它得 I。维度检查能帮助记住该用 AAᵀ还是 AᵀA。
若 A 有 r 个非零奇异值,保留有效方向写成紧凑奇异值分解:
U、V 的列是单位正交方向;D 表示沿这些方向缩放多少。伪逆执行相反步骤:
零奇异值对应丢失的信息,不能取倒数,就保持为零。例如 diag(3,0) 的伪逆为 diag(1/3,0)。
另一种构造先做秩分解 ,C 为列满秩的 n×r 矩阵,D 为行满秩的 r×m 矩阵,然后:
这相当于先用 C 的左逆恢复中间坐标,再用 D 的右逆选择最小长度输入。
可以直接检查构造结果。因为 ,乘积 化为 ,而 化为 ,两个都是对称投影。把第一个再乘 得回 ,把第二个再乘 得回 ,正好满足第21页的四条伪逆条件。
实值函数 f(Z) 的复矩阵梯度逐元素定义为 。梯度下降可写为 ,就是同时更新实部与虚部。
如果 u=u(x),g 同时依赖 u 和 u*,链式法则有两条路径:
若 g 解析,第二条为零,就回到熟悉的一项。矩阵版本把 u 的所有元素贡献相加,用迹写为:
迹例子可以直接展开。令 X=R+iS,则:
前者对实部导数为 I、对虚部为 iI,因此对 X 的 Wirtinger 导数为 I、对 X* 为 0;后者恰好相反。tr(Xᵀ)=tr X,tr(Xᴴ)=tr X*,所以转置写法给同样结果。
固定 A 时,tr(AXᴴ) 对 R 的导数为 A,对 S 为 −iA;tr(AX*) 则把 A 换成 Aᵀ。每个符号都能从逐元素展开核对。
令 X=R+iS,平方 Frobenius 范数为:
因此对 R 求导为 2R,对 S 为 2S;组合后 、,实值目标的复梯度为 2X。原页(242)、(243)的迹线性式继续沿用上一页的实部、虚部分开计算。
再令 。微分为 ,分别收集 dX 和 dX*,得到:
A 为 Hermitian 时这个行列式为实,才能用“2 倍共轭导数”作为实目标的复梯度;正定情形还可进一步取实对数。
最后是复向量的 Rayleigh 型比值。令 ,分母 ,分子 ,则:
分子求导贡献第一项,分母求导贡献负的第二项。因为 P、Q 是 Hermitian,二次型为实。分母始终是 BᴴB,不能少掉共轭转置。
简单回归要用 拟合 N 个样本。对平方误差求 a、b 的导数并令为 0,得到:
这就是(260)的 R 记号:Rxx 是 x 平方和,Rx1 是 x 的和,R11=N,Ryx 是 xy 乘积之和。矩阵可逆时,乘其逆得到系数。
例子为 (1,2)、(2,3)、(3,5)。分别计算 。因此:
它给出最小平方误差直线,不要求每个点都在直线上。
一般线性方程 Ax=b,设 A 为 n×m,增广矩阵为 [A b]。若加上 b 使秩增加,说明 b 不在 A 的列空间内,无精确解;若秩相同且等于未知数 m,解唯一;若相同但小于 m,有自由变量,解不唯一。
可逆方阵直接用 。奇异方阵中, 在方程一致时给最小范数精确解;不一致时给最小二乘解。它不会把本来无解的方程变成有精确解。
Cramer 法则:可逆方阵 A 中,用 b 替换第 i 列得到 Bi,则 。例如 、b=(1,2)ᵀ,det A=5,两替换行列式分别为 1、3,解为 (0.2,0.6)ᵀ。
超定:A 行多列少,通常方程多于未知数。列满秩时,最小化 ,梯度 ,得到:
若有精确解,残差为 0;若没有,它给残差长度最小的解。
欠定:A 行少列多且行满秩,有许多精确解,伪逆选择长度最小者:
例如 x1+x2=2,有 (2,0)、(0,2)、(1,1) 等解,最小长度是 (1,1),长度 √2。矩阵方程 AX=B 可逐列求解,最小 Frobenius 范数解为 A⁺B。
若未知的是映射矩阵 A,数据关系为 AB0≈B1,且 B0 行满秩,最小化 ,得 。它把每个输入列映射到相应输出列。
最后两条零判据:若 Ax=0 对所有 x 成立,依次取坐标单位向量,就知 A 每列都为 0。若对称 A 满足 xᵀAx=0 对所有 x 成立,先取 ei 得对角为 0,再取 ei+ej 得 2Aij=0,因此 A=0;对称性保证交叉项能这样合并。
vec 按列堆叠矩阵,基本规则是:
于是 Sylvester 方程 AX+XB=C 变为:
括号内可逆时,左乘其逆求 vec X,再按列还原。更一般 ,系数矩阵就是 。例如 A、B 都为对角阵时,每个元素独立满足 ,可直接逐个除。
特征关系 表示 A 对某个非零方向 vi 只做缩放,不改变它所在的直线。把独立特征向量放成 V,有 AV=VΛ;若 V 可逆,就得到 A=VΛV⁻¹。
特征值互异保证可对角化;重复并不自动失败,例如 I 的特征值全相同仍可对角化。真正缺少足够独立特征向量才叫 defective,此时用 Jordan 块。例如 只有一个独立特征方向。Schur 分解则用正交或酉基把 A 化成上三角(实情形可能为准三角)。
矩形 A、B 的 AB 与 BA 共享非零特征值,但不同维度可能多出零特征值。例如 AB=[1],BA=diag(1,0)。因此本页 eig(AB)=eig(BA) 应读作非零谱对应。矩阵秩为 r 时,非零特征值至多 r 个。
实对称 A 的特征值都是实数,特征向量可选为正交基,故:
因此 tr(Aᵖ)=Σλiᵖ;I+cA 的特征值为 1+cλi;A−cI 为 λi−c;A 可逆时 A⁻¹为 1/λi。对称矩阵 AᵀA 的特征值为 λi²,正定时奇异值就等于 λi。
特征方程统一写 。多项式系数中 g1=tr A、gn=det A,gj 是所有 j 阶主子式之和;改变坐标基不改变这些系数。原页用 det(A−λI) 写方程,零点相同,但展开式整体正负随阶数变化。
任意实矩阵(包括非方阵)都能做奇异值分解:
V 的列来自 AᵀA 的正交特征向量;U 的列来自 AAᵀ;Σ 的非负对角数是相应特征值的平方根,称奇异值。它们的顺序必须配对。
例如 diag(3,−2) 的对称特征值为 3、−2;SVD 奇异值为 3、2,负号被吸收到方向矩阵里。特征值可以负,奇异值始终非负。
手册后面几处把左右因子的 U、V 字母换过,理解时只要认准“左因子在输出空间,右因子在输入空间”,维度与乘积就不会变。
设 A 为 n×m、秩 r。SVD 可以保留不同数量的方向:
原页(295)–(298)用不同矩形框画出这些尺寸。补进去的块对最终乘积贡献为 0,所以 A 没有改变。
LU 把矩阵拆成下三角 L 和上三角 U;通常将 L 对角固定为 1。如果所有顺序主子式非零,可以不换行进行这一分解。实际需要换行时写 PA=LU。
例如:
消元就是第二行减去第一行的一半,剩下第二个主元 2。解 Ax=b 时先解 Ly=b,再回代 Ux=y。
对称正定矩阵可用 Cholesky:
检查:左上 2²=4,交叉 2×1=2,右下 1²+(√2)²=3。要求 L 对角为正后分解唯一。它同时给出“正定矩阵是某个矩阵乘其转置”的具体构造。
LU 的上三角因子可以把对角主元提取成 D,再留下单位上三角。将它记为 Mᵀ,得到:
L、M 都是对角为 1 的下三角矩阵,D 对角。原页条件为所有顺序主子式非零,以保证按当前顺序消元不遇到零主元。
若 A 对称,可令 M=L,得到 LDLᵀ。例如上一页矩阵:
4 是第一个主元;消去第一列后剩 2,是第二个主元。正定时 D 的对角全正;再对 D 开平方,就能把 合为 Cholesky 的 L。
也可以从另一端进行上三角方向的分解,但原页 不能理解成把同一组 L、D 顺序直接交换。矩阵乘法顺序会改变结果。
页脚解释顺序主子式:取左上 k×k 子矩阵的行列式,k=1,…,n。它只是所有主子式中的一个子类。
随机向量 x 包含 n 个随机数。尖括号或 E 表示取期望,即按概率加权平均。均值向量为:
先中心化 ,让 E[e]=0。协方差矩阵:
对角 Mii 是第 i 个变量的方差;非对角描述两个变量共同偏离均值的方向。任意 v 的二次型 ,所以协方差半正定。
三阶中心矩 ,记录三个分量相乘后的偏斜关系;四阶中心矩 ,用于尾部与高阶波动。它们是多下标数组,原页把它们按固定顺序摊平成矩阵 M3、M4:
M3 的形状为 n×n²,M4 为 n×n³。冒号“:”表示保留该方向的全部编号。学习时先理解每个元素是哪些随机量的乘积期望,再看摊平排列。
若用 N 个样本估计,可以先求样本均值,再把每个样本的中心化外积相加;统计估计中的 N 与 N−1 分母选择,与这里总体协方差的定义是不同问题。
常数矩阵可提出期望:。若 x 均值为 m、协方差 M,令 y=Ax+b,则:
因为 y−E[y]=A(x−m),两边外积再取期望即可。两种变换的交叉协方差为 。
从 x=m+e、E[e]=0 展开:
两种仿射变换因此满足:
取 A=B=I 或某一边为固定向量,就得到原页(321)–(325),例如 E[x aᵀx]=(M+mmᵀ)a。
二次型可写成迹,再使用上式:
取 A=I 得 E[‖x‖²]=tr M+‖m‖²;先线性变换后再平方则为 E[‖Ax‖²]=tr(AMAᵀ)+‖Am‖²。加固定偏置只把均值改成 m+a。这覆盖(326)–(330)的各个特例。
本页还给二次型的方差。要求 x 各分量独立、具有相同二到四阶中心矩 μ2、μ3、μ4,A 对称,均值 c,a=diag(A) 的对角向量,则:
零均值标准正态有 μ2=1、μ3=0、μ4=3,立即简化为 2tr(A²)。这些附加独立与同矩条件用于方差公式;前面的均值、协方差变换与二次型期望不需要独立。
设 e=x−m,各分量独立且均值为 0,协方差 M,三阶中心矩向量 。令 u=Ax+a、v=Bx+b、w=Cx+c,分别记均值 。
计算 E[u(vᵀw)] 时,先把每个量写成“均值+中心化部分”,再把 2×2×2 共八项展开。含一个 e 的项期望为 0,含两个 e 的项变成协方差,含三个 e 的项只剩同一坐标的三阶矩。因此:
这里 diag(BᵀC) 表示对角矩阵。取三个量都为 x,可得:
取三个量都为 y=Ax+a,记 S=AMAᵀ、α=Am+a,则:
右边是期望计算完的常数,原页这类式子中残留的 Ax+a 应按均值 Am+a 处理。
本页另一种排列是 E[u(bᵀv)wᵀ]。此处 b 为固定权重,令 v=Cx+c、w=Dx+d,均值分别为 γ、δ,t=bᵀγ,则完整展开为:
最后一项是三阶中心矩贡献,分布对称、三阶矩为零时才消失。它也可以用同一个八项展开法核对。
加权标量 y=wᵀx 的中心量为 wᵀe,所以各阶矩只是把权重乘进去:
括号表示先构造 Kronecker 权重向量,再按维度相乘。例如两个独立、方差为 1 的变量取平均,w=(1/2,1/2)ᵀ,均值为两均值平均,方差为 。
7.1 Cauchy:把一维柯西分布扩展到P维向量t。 是位置中心,正定矩阵 决定方向和尺度。核心量是 ,称为马氏距离平方。密度随 下降,尾部比高斯厚,更容易出现远离中心的值。柯西的位置参数不等于期望:它的通常期望不存在。
7.2 Dirichlet:用于一组比例,要求 ,参数 。密度为:
例如三类比例 是合法样本。所有 时,在比例单纯形上均匀;参数偏大时更集中在平均比例附近。 是阶乘的推广,整数k时 。
7.3、7.5 Normal/Gaussian:是同一种正态分布的两个名称,详细公式从第40页开始。7.4 Normal–Inverse Gamma:把均值的正态模型与方差的逆Gamma模型联合起来,用来同时描述未知均值和方差。
7.6 Multinomial:用于n次独立分类试验的各类计数。若类别概率为 、计数为 ,则 ,概率为 。例如两次试验,类别概率0.5、0.5,恰好各1次的概率是 。
7.7 Student-t:同样用位置μ、尺度Σ,再加自由度ν。密度核心为 。ν=1就是柯西;ν越大,通常越接近高斯。Σ是尺度矩阵,是否等于协方差要看下一页的因子。
7.7.1—7.7.3:Student-t的位置、众数、均值要区分。众数是密度最高的位置,等于μ。均值只有ν>1时存在,等于μ;协方差只有ν>2时存在:
例如ν=4、Σ=I,协方差是2I,不能直接把尺度I当成协方差。ν接近2时,方差会很大。
7.7.4 矩阵t分布:样本从P维向量变为 的矩阵T,M给中心位置,两组正定尺度描述行与列的关系。密度里的 把列方向加权后,形成 的距离矩阵;用行列式把它汇总成标量。读取式341时先检查每个乘法尺寸,再看自由度和Gamma归一化因子。
7.8 Wishart:这是正定矩阵上的分布。最直观的构造是取m个相互独立的 ,令 。每一项是外积,M相当于未除样本数的散布矩阵。
这里要求 正定。整数外积构造中, 时 M 才几乎必然正定;若 ,则 ,M 是奇异半正定矩阵。例如 P=2、m=1, 最多秩1。一般非奇异 Wishart 密度的自由度条件为 。
密度里 控制矩阵体积权重, 控制衰减,其他因子归一化。由于 ,直接得到 。一维、Σ=1时,它退化为自由度m的卡方分布。
逆Wishart仍然以正定矩阵M为样本,经常用于描述未知协方差。尺度矩阵Σ正定,自由度m足够大时,均值是:
例如P=2、m=5、Σ=I,均值为I/2。若m≤P+1,不能使用这个均值表达式来声称均值存在。
密度应按下面的行列式幂次读:
是多元Gamma函数。原页式344中M的幂次有笔误,应为 。若 ,则 服从尺度 的Wishart。这个对应解释了名称中的“逆”。密度核对
8.1.3 条件分布:若 ,观察到xb后:
均值按观察误差 调整,协方差减去可由另一块解释的部分。交换a、b就得到式354。例如两变量方差均1、协方差0.5,原均值0,观察xb=2后,xa条件均值为1,方差为 。
8.1.4 线性组合:相互独立的高斯x、y经过 ,均值为 ,协方差为 。若相关,还需加交叉项 及其转置;原页简式用在独立情形。
8.1.5 改写自变量:当A可逆,表达式 可改写成均值 、协方差 的x高斯,再乘 。这个因子来自坐标伸缩。对一般非方阵,不能直接写A逆;应使用完整二次型配方。
8.1.6 配方:A对称可逆时:
展开右边,两个交叉项各给一半 ,常数项相互抵消。迹形式只是把多列一起写出来。
8.1.7 两个平方项相加:精度相加,;中心是精度加权平均 。与x无关的常数集中到C。方差越小、精度越大的那项,对新中心影响越大。
8.2.2 二次型:令 ,首先 。用 ,得到:
A对称时,方差简化为 。一般A只由对称部分起作用;原页用 保留这种写法。若Σ=σ²I,便得到式381。中心高斯下两个对称二次型的协方差是 。例如x为标准一维高斯,A=1,,。
8.2.3 三次式:令 ,高斯下有:
它是矩阵值期望,b是固定向量。推导时令 ,展开三项乘积;z的奇数矩为0,只留下均值项与两个z相乘的协方差项。原文写“坐标独立”还不够,若不是高斯,需要检查三阶中心矩是否为0。
8.2.4 四次式:中心高斯z的四个线性量满足三种配对规则:
例如标准一维z取a=b=c=d=1,三种配对各得1,因此 。本页列出的矩阵四次式、两个二次型相乘、四个线性量相乘,以及带偏移的矩阵乘积,都逐元素使用这条规则。
几个直接可查的中心形式是:
非零均值或仿射偏移时,对四个标量量r1至r4记均值μi、协方差Cij,四阶矩等于:四均值的乘积,加上6种“一个协方差×其余两个均值”,再加3种“两协方差配对”。因此无需记住每条长式,只要会展开并完整配对,就能处理本页全部四次形式。
四个仿射因子续式:页首把两个内积相乘,再取期望。仍按上一页做法:先算每个仿射量的均值,再用协方差完成所有两两配对;迹把最后的矩阵乘积汇总成标量。
8.2.5 混合矩:以概率 选中第k个成分,该成分均值mk、协方差Σk。总均值 ,总协方差为:
第一项是成分内部波动,第二项是成分中心之间的波动。不能只平均Σk。
8.3.1 白化: 先去均值,再缩放各方向,使 。反向用 生成有指定协方差的样本。这里选用唯一的对称正定平方根;不加“正定”限制,平方根并不唯一。例如Σ=diag(4,9),白化把两个方向分别除以2和3。
8.3.2 卡方:马氏距离平方 ,是n个独立标准高斯平方之和,因此服从 。
8.3.3 熵:d维高斯的微分熵为 。协方差椭球体积越大,熵越大;均值平移不改变熵。
8.4.1 高斯混合:,其中 ,Σk正定。它是“随机挑一个成分,再从该高斯抽样”,所以可以形成多个峰;它与第42页的高斯密度相乘是两种不同操作。
观察一个样本s,混合密度 。定义第j成分的责任度:
它表示观察到s以后,样本来自成分j的相对权重,所有rj相加为1。链式法则使每个成分参数的梯度都等于“责任度×该成分自己的对数梯度”。
例如rj=0.8、方差1、s−μj=2,均值梯度是1.6;另一个责任度很小的成分受该样本影响也小。
更新参数时还要保持权重非负且和为1、协方差正定。可以用softmax参数化权重,用Cholesky因子参数化协方差。这些要求是模型的一部分。
责任度的乘法可从链式法则展开。任取第 j 个成分的参数 ,令 。只有 随它变化,所以 。 第一个因子是责任度。第二个因子只需对单个成分求导。
例如对均值求导时,记 。单成分对数密度中含均值的项是 。先对 求导得到 ,再乘 ,就得到 。
DFT续:不同复指数频率相互正交,所以 ,从而 。本书的W同时对称,因此共轭与共轭转置在此一致。偶数N时,基本旋转因子的幂平移N/2会变号。循环矩阵可由DFT对角化,因此循环卷积能转成频域逐点乘法;第一行/第一列约定会影响频率顺序。
9.3 Hermitian:,H表示先转置再取复共轭。对实矩阵就是对称。等价的二次型判据是对所有x, 都为实数;其特征值为实数。
“特征值全实”只是一般矩阵成为Hermitian的必要条件,原页式414的反向不成立。例如 特征值1、2都实,却不对称。
任意复方阵可写成 ,其中 、 都是Hermitian,类似把复数拆成实部与虚部。
9.3.1 反Hermitian:,特征值纯虚或0, 为纯虚。Hermitian矩阵乘j就成为反Hermitian。例如 的特征值是±j。实矩阵中,它对应反对称矩阵。
9.4 幂等:,做两次等于做一次,投影是典型例子。由反复代入,;;;转置或共轭转置也保持幂等。若两个幂等矩阵可交换,则 。
幂等矩阵特征值只能0或1,因此rank等于trace。对函数 ,在0方向取f(s),在1方向取f(s+t):
式426的 需要正交投影条件,如 。一般斜投影不成立。例如 幂等,而伪逆为 。
9.4.1 幂零:一般定义是某个正整数k满足 。本页研究特殊的 ,于是泰勒展开二阶及以后全部消失,得到 。
9.4.2 平方为I: 的标准名称是involutory(对合),原页标题写作unipotent。用 、 分出特征值+1与−1方向,就得到式429。
9.5 正交:实方阵Q满足 ,因此 ,保留长度和夹角。特征值模为1,特征向量可归一化。旋转矩阵就是例子:逆操作是反方向旋转。
正交基本性质:、、。取行列式,,所以 。
9.5.1 Ortho-Sym:若Q还对称,则 。所以偶数次幂是I,奇数次幂是Q:
例如diag(1,−1)表示一次反射,反射两次回到原位。式433只是把 改写为 。
9.5.2 Ortho-Skew:实Q同时正交且反对称,则 ,结合 得 。因此幂每4次循环:
二维90°旋转矩阵就是例子,Q、−I、−Q、I依次循环。9.5.3 分解:任意实方阵都能分成对称部分 与反对称部分 ,记它们为 S、K,二者在 Frobenius 内积下始终正交:,因为转置后这个迹变成自身的相反数。这里的“彼此正交”与“一个矩阵满足 ”是不同概念;S、K 通常各自都不是正交矩阵。
9.6.1 正定/半正定:对实对称A,若所有非零x都满足 ,称正定;允许等于0则称半正定。diag(2,1)正定,diag(2,0)半正定。半正定允许某个非零方向的二次型为0。
本页性质按实对称矩阵理解,复数版本相应使用Hermitian和共轭转置。
9.6.12 小扰动:A正定,B对称, 在t足够小时仍正定。一个清楚的界是 。例如A=2I、B=I,只要t<2,仍为正定。
9.6.13 Hadamard行列式不等式:半正定A满足 。二维A= 时,,一眼就能看见非对角关联降低了行列式。
9.6.14 Hadamard乘积:符号 表示对应位置相乘,不是矩阵乘法。若P、Q半正定,则它们的逐元素乘积也半正定。把 展开,取R的各列为 ,就有 ,从而得到证明。
9.7.1 单点矩阵:,只有第(i,j)位置是1,其余全0。例如J23在第2行第3列放1。它用来表示“只改变矩阵的一个元素”。
9.7.2 选行选列:右乘 ,把A的第i列放到结果的第j列,其他列为0;左乘 ,把A的第j行放到结果的第i行,其他行为0。先记住“右乘动列、左乘动行”。
9.8.1 对称:。实对称矩阵有实特征值,并能选择一组正交单位特征向量,写成 。不同特征值的特征向量互相正交。
9.8.2 反对称:。对角元素满足 ,所以都是0。取行列式:
n为奇数时,等式迫使行列式0,因此必有零特征值。实反对称矩阵的其他特征值为纯虚成对出现,例如 的特征值±2j。
9.8.3 分解:任何A都能拆成 、,两者相加恰好恢复A。二次型中反对称部分抵消,所以 。
9.9 Toeplitz:同一条从左上到右下的对角线,元素相同,即 。三阶例子:
它只需2n−1个数表示。它关于反对角线满足相应镜像关系(persymmetric),但不一定关于主对角线对称;若再有 ,才成为对称Toeplitz。
四种结构:对称Toeplitz把主对角线两侧设成相同;循环Toeplitz让每行相对上一行循环平移;上三角Toeplitz在主对角线下方全0;下三角Toeplitz在上方全0。
例如首行(1,2,3)的三阶循环矩阵是 。下三角Toeplitz可把有限冲激响应的卷积写成矩阵乘法。
9.9.1 计算:紧凑表示下相加只操作O(n)个数;矩阵乘向量可借助FFT达到O(n log n);结构化线性系统有O(n²)方法。原页把快速复杂度笼统写成“两Toeplitz矩阵相乘”,读取时要区分矩阵乘向量与输出完整n×n矩阵。一般两个Toeplitz的乘积不必仍是Toeplitz,但两个下三角Toeplitz的乘积仍保持该结构。Toeplitz的逆一般只保持persymmetric,不一定Toeplitz。
9.10 转移矩阵:Pij表示从状态i一步到状态j的概率,所有元素非负,每行和为1。例如:
第一行读作:若现在在状态1,下一步80%仍在1、20%去2。第二行则从状态2出发。概率分布若写成行向量α,一步后就是αP。
转移矩阵续:两步概率是 ,对所有中间状态k相加;k步用Pk。若P每行相同,第一步后已经到同一个分布,所以 对n≥1成立。
平稳分布满足 、、。对上一页例子,令 ,方程 给 ,所以平稳分布为(0.6,0.4)。平稳表示一步以后分布不变。
9.11.1—9.11.2 单位向量:ei只有第i位为1。左乘 取第i行,右乘 取第j列。
9.11.3 置换矩阵:每行每列各有一个1,其余0,所以 。右乘AP重排A的列,左乘PA重排行。本页示例交换第1、2个单位向量,因此交换前两行或前两列。
9.11.4 普通移位:L在次对角线上放1,其他0。对 ,。最前面补0,末尾数据移出;反复乘L会继续向后移。
Kronecker的代数规则:它对加法分配、满足结合律,标量因子可提到外面,但一般 。转置逐个作用:。最有用的混合乘积为:
前提是尺寸匹配。可逆时逆逐个作用,伪逆也有同类公式。秩相乘、迹相乘,特征值是两矩阵特征值的所有两两乘积。
若A为m阶方阵、B为n阶方阵,正确行列式公式是 。式516把指数写成rank,只能在对应满秩情形这样替换;普遍公式应使用矩阵阶数。
10.2.2 vec:把矩阵一列一列往下堆。例如 ,则 ,不是按行的(1,3,2,4)。它满足线性性。
第一式把矩阵未知量方程转为普通向量线性方程;第二式把Frobenius内积变成向量点积。最后的二次型例子,在实数且B对称时可写成式524的形式;一般B应按迹展开使用 对应的Kronecker系数。第67页给出证明思路。
10.3 向量范数:,,(p≥1),。例如x=(3,−4),1范数7,2范数5,无穷范数4,分别表示不同的“大小”。
10.4.1 矩阵范数:满足非负、只有零矩阵范数为0、数乘按绝对值缩放、三角不等式。矩阵也可按这些规则度量大小。
10.4.2 诱导范数:先选一种向量范数,再定义 。含义是A对单位输入最多放大几倍。于是 ,两次放大的倍数相乘给 ,而I不放大,所以 。
10.4.3 常用矩阵范数:
一般诱导p范数应直接写 ,原页式539外面额外的1/p次幂应删去。例如A=diag(3,4),2范数4,而F范数5。
更多范数:最大元素范数 ;本页把全部奇异值之和记为Ky Fan范数,也常称核范数 。
10.4.4 不等式表:按“行范数≤表中系数×列范数”读。对m×n、秩d矩阵,典型关系为:
还可用 、 以及表中的平方根系数换界。维度因子说明不同范数一般不相等。
10.4.5 条件数:可逆A的 。正定对称A可改用最大与最小特征值之比。diag(1,1000)条件数1000,表示某些方向的信息相对弱,求解对误差更敏感。
10.5 秩:A为m×n、B为n×r时:
右界表示乘法不能凭空增加独立方向,左界限制最多能丢失多少方向。
10.6 Dirac积分:方阵A可逆时,。绝对值保证概率非负,原页式547省略了它。高矩阵A若满列秩,输出只分布在A的列空间,体积缩放因子为 ;式548应理解为该子空间上的密度,不是整个高维空间中的普通密度。
A.2.2续:把上一页高斯的四个矩分别按成分加权:
总方差是M2−M1²,,。若每个成分均值都0,奇数矩0,二阶矩是加权σ²,四阶矩是加权3σ⁴。
例:各半概率选 或 ,M2=2.5,M4=25.5。相同方差的单高斯四阶矩为 ,因此两种分布不能只凭方差当成一样。
A.2.3 导数:责任度 。权重梯度是rj/ρj,均值梯度 ,标准差梯度 。它们都是责任度乘单成分梯度。
若 ,则 。代入链式法则后,,自动遵守权重和1。
附录B起点:页末开始证明vec二次型恒等式,并提醒复数情况下H是共轭转置、T只是转置。具体推导接下一页。
展开 softmax 那一步可直接求和。用 乘 ,再对 求和。两个 抵消, 只留下 ,剩下的一项为 。这就得到 。
B.1.1 证明思路:把矩阵中的标量表达式改写成迹,再使用vec公式。对复数形式:
步骤是:①标量等于自己的迹;②循环移动因子,把XH移到前面;③套用 与Frobenius内积。复数内积需要H,普通转置T不能代替共轭转置。
实数时把H改成T,得到一般系数 。若B对称,才可把BT直接写B;这补齐了原式524使用时的条件。
B.1.2 解析矩阵函数:证明 。先从幂开始:;再归纳得 。于是:
前提是相应幂级数收敛。A、B甚至可以是互相匹配的矩形矩阵,因为AB和BA各自仍为方阵。不能把它误读成f(AB)=f(BA)。
B.1.3 起点:页末开始对矩阵幂Xn的某一元素求导。下一页会把“每个因子轮流求导”写成完整求和。
本页是文献[1]—[18],用于追溯前面公式的证明和应用背景。方括号编号是引用编号,不是本书章节或公式编号。
使用时先记下想查的公式编号,再沿正文的引用号找到作者、书名和页码。例如结构Toeplitz矩阵可从[13]继续查,而矩阵数值稳定性更适合查[12]。
本页继续列出文献[19]—[34],补充上一页的来源。
本课程常用的是最小二乘、矩阵梯度和正定性;先按用途找到相应来源,再阅读证明,比从文献表头到尾逐本阅读更有效。
这是全书索引。左边是英文关键词,右边是本书页码。一个主题可能列多个页码,表示定义、性质或应用出现在不同位置。
例如看到 不可逆,先查pseudo-inverse;看到回归损失求梯度,先查linear regression与trace derivative;看到 ,查Schur complement与Gaussian conditional。索引负责定位,使用公式前再看对应页的尺寸、可逆性和对称性条件。