这一讲研究无约束优化:变量可以在整个实数空间里取值,我们要把目标函数降到最低。比如选择一条拟合直线的斜率和截距,让预测误差最小。
先学一个判断办法:当目标函数可微而且凸时,梯度等于零,就找到了全局最小点。然后把这个办法用于线性回归,推导出参数的计算公式,最后用含噪声的数据练习。
共 18 页。按原课件顺序,左侧看原页,右侧读讲解。
现在反过来证明:如果可微函数在无约束点 取得最小值,那么 。这里要仔细看分母的正负。
上一页证明“导数零推出最优”,这一页证明“最优推出导数零”,合起来就是:可微无约束凸函数,最优当且仅当导数为零。
用小数跟一次:取 ,最低点是3。右边取3.1,差商为 ;左边取2.9,差商为 。距离缩到0.01时,两边变成0.01和−0.01;继续靠近,两边都趋向0。这就是“右边非负、左边非正,且必须相等”的具体过程。
当 有多个分量时,梯度就是把所有偏导数排成一列:
对于可微凸函数 ,有 右边的零是一个零向量,意思是每一个偏导数都等于零。
实际解题顺序:先确认凸性,再写梯度,再解“每个分量等于零”的方程组。
两个变量的小例子:令 ,则 。在 ,梯度为 :增加一点 会下降,减少一点 也会下降。令两个分量分别为零,得到 ,此时两个平方都为零。梯度零向量表示两个坐标方向都已经到位。
把每条数据放成设计矩阵 的一行,并在第一列放 1:
的形状是 , 是 ,所以 正好得到 个预测值。
只用两条数据跟算:取 、,从 开始。预测为 ,残差为 ,所以 截距列把两条残差相加;斜率列把残差分别乘输入0和1再相加。沿负梯度取步长0.05,参数变为 ,预测为 ,误差平方和从10降到 。
课件生成 10 条数据,真实关系是 ,再加入随机噪声。下面这段可以直接运行:
import numpy as np
np.random.seed(0)
x = np.linspace(-10, 10, 10)
y = x**2 - 2*x + 3
y = y + np.random.normal(0, 10, size=x.shape)
X = np.column_stack((np.ones_like(x), x, x**2))
beta = np.linalg.lstsq(X, y, rcond=None)[0]
y_hat = X @ beta
mse = np.mean((y_hat - y)**2)
print(beta)
print(mse)
seed(0) 固定随机序列,重复运行得到相同数据。linspace(-10, 10, 10) 在 −10 到 10 之间等间隔取 10 个输入。normal(0, 10, ...) 生成均值为 0、标准差为 10 的噪声;这里 10 是标准差,方差为 100。column_stack 把常数、一次、二次三列拼成 的 。lstsq 找到平方误差和最小的三个系数,@ 代表矩阵乘法。把一行数据对回代码:第一个输入是−10,真实输出为 ,加上本次噪声约17.64052,观测成为140.64052。设计矩阵这一行是 ;用未舍入的拟合参数做点积,得到该条预测 。残差约为 ,平方后约 。X @ beta 一次算出10条预测,MSE 就是包括这项在内的10个平方残差取平均。
上两页最小化的是平方和,本页最后报告的是均方误差。样本数 固定,除以同一个正数会改变误差的数值,最优参数仍是同一组。
运行上一页代码,按“常数项、一次项、二次项”的顺序得到
所以拟合曲线是 。课件按“二次项、一次项、常数项”打印,因此写成约 1.00、−2.77、10.48;两种写法表示同一条曲线。
把拟合曲线和真实关系放在同一个输入上看。当输入为 0 时,真实值为 3,拟合值约为 10.48,两条曲线在这里相差约 7.48。
二次模型用 ,三次模型用 ,九次模型用到 。各阶模型仍然对参数线性,所以都能调用同一个最小二乘求解器。
for degree in range(2, 10):
X = np.column_stack([x**j for j in range(degree + 1)])
beta = np.linalg.lstsq(X, y, rcond=None)[0]
mse = np.mean((X @ beta - y)**2)
print(degree, mse)
range(2, 10) 依次产生 2、3、…、9,不包含 10。range(degree + 1) 产生从 0 到当前阶数的幂。,所以常数列也包含了。[x**j for j in ...] 是列表推导式:先生成每个幂次的整列,再拼在一起。把输入暂时缩成 、阶数取2,列表 [x**j for j in range(3)] 依次生成 、、。column_stack 再把它们拼成 :每一列是一种幂次,每一行对应一个样本。
继续使用相同 10 条含噪声数据,得到以下训练 MSE:
| 多项式阶数 | 训练 MSE |
|---|---|
| 2 | 69.63581 |
| 3 | 64.87556 |
| 4 | 58.06207 |
| 5 | 43.69879 |
| 6 | 35.29209 |
| 7 | 29.69206 |
| 8 | 17.00380 |
| 9 | 约 0 |
输入 位于两个训练输入约 7.78 与 10 之间,本次训练没有用到它。生成数据的无噪声公式给出 。把第17页循环里的各阶 与特征 做点积,得到二次模型约为 66.39,九次模型约为 159.63。九次训练 MSE 约为 0,在这个新输入上的绝对误差却约为 93.63。
在第17页循环中追加 print(np.array([9.0**j for j in range(degree + 1)]) @ beta) 可以复算。