数据科学常从样本中学习规律。本讲把“模型怎样贴合数据”翻译成优化:已知输入和答案,选择模型参数,使预测误差尽量小。
重点是线性回归与逻辑回归。前者预测租金、工资这类数值;后者预测录取、垃圾邮件这类事件的概率。两者最后都要写出目标函数、梯度、Hessian,并检查凸性。
共 42 页。按原课件顺序,左侧看原页,右侧读讲解。
左图所有点都是蓝色,表示数据尚未分组;右图位置不变,但点被分成黄、绿、红三簇。黄簇在左上、绿簇在左下、红簇在右侧。颜色是聚类结果,不是原来给定的答案。
每个点的横、纵坐标是两个特征。距离近,表示在这两个特征上相似。聚类希望同组点相近,不同组点相对分开。
例如 K-means 选择 K 个中心 ,并把每个点 i 分给一个簇 ,最小化:
每项都是点到自己组中心的距离平方。它把“同组紧凑”变成了可以计算的目标。
点在同一条数轴上,坐标为 0、2、7。令两个初始中心为 0、7。点 2 离中心 0 有 2 格,离中心 7 有 5 格,所以先分给左组。左组是 {0, 2},右组是 {7}。
各组把中心换成组内平均值,得到 和 7。平方距离总和从 降到 。随后用新中心重新比较距离。
log 采用自然对数。其导数 ,所以对数常用于描述比例变化。以下将其他变量固定,用 β 表示所讨论的系数。
| 模型 | 边际关系 | 解释 |
|---|---|---|
| x 增 1,y 增 β 个单位 | ||
| x 小幅增 Δx,y 约增 100βΔx% | ||
| x 增约 1%,y 约增 β/100 个单位 | ||
| x 增约 1%,y 约增 β% |
把第二种完整展开:,求导得 ;两边除 y,得相对变化率 β。
有限变化的准确表达式是 ,百分比变化为 。例如 β=0.05、Δx=1,约为 5%,准确为 5.13%。取对数的变量必须为正。
第三种把 x 乘 ,有 。 第四种把同样的差写到 上,得到 ,两边取指数得 。 例如 x 增加 10%、,第四种的 y 变为原来的 ,即增加 21%。
有 n 个样本、m 个原始特征。把每个样本放一行,开头加一个 1,用来乘截距:
X 为 ,β 为 。乘积 Xβ 的第 i 项正好是第 i 个预测。残差向量 ,所以:
中间两项都是标量,互为转置,所以相等。对 β 求导,X 与 y 都当常数:
若对逐项求导仍不熟:,将截距对应的 设为 1,即得到同样的梯度。
对任意 v,,所以凸。令梯度为 0 得正规方程 ;列满秩时解唯一。Week03 录音强调向量化:计算 Hessian 可直接写 2 * X.T @ X,把逐项计算交给矩阵运算。
用第25页演示中的三组观测 。每行是 。按列做内积得到
第一条正规方程是 ,第二条是 。第二条减第一条,得到 ,所以 ,代回得 。预测为 ,残差为 ,平方和是 。
import numpy as np
X = np.array([[1., 0.], [1., 1.], [1., 2.]])
y = np.array([1., 2., 2.])
beta = np.linalg.lstsq(X, y, rcond=None)[0]
r = X @ beta - y
print(beta, r @ r)lstsq 返回的第一项是系数。X @ beta 一次算出三条预测,r @ r 将三个残差各自平方后求和。运行可得约 [1.1667, 0.5] 和 0.1667。
先只看第 i 个样本,按“损失 → 概率 → 得分 → 参数”反向求导。
2. sigmoid 的导数为 。链式法则相乘:
3. 令 ,有 ,故 。相加得到:
4. 再求一次导。y 固定,,因此:
diag 表示把这些数放在对角线上。对任何 v:
所以 Hessian 半正定,损失对 β 凸。也可写成 ,其中 。原页的 表示两个平方根向量逐项相乘,第 i 项正是 。
例如只有一条含截距的样本 x=2、y=1,参数全为 0,则 z=0、p=0.5。梯度为 ,Hessian 为 。负梯度方向会提高得分,从而提高真实标签 1 的概率。
import numpy as np
X = np.array([[1., 2.]])
y = np.array([1.])
beta = np.zeros(2)
z = X @ beta
p = 1 / (1 + np.exp(-z))
gradient = X.T @ (p - y)
H = X.T @ ((p * (1 - p))[:, None] * X)
beta_next = beta - 0.2 * gradient
p_next = 1 / (1 + np.exp(-(X @ beta_next)))
print(gradient, H, beta_next, p_next, sep="\n")
一行两列。[:, None] 把每个样本的权重从一维数组变成一列,再乘 X,等于给 X 每行乘它自己的权重。左乘 X.T 得到两行两列的 Hessian。
这次更新从零参数减去 ,得到 。新得分为 ,模型给标签 1 的概率从 0.5 提高到约 0.6225。