按输入、计算、输出的顺序理解,再逐句对照老师代码。
输入是1000名模拟学生的GPA、论文标记和录取标签。三个待训练系数按“GPA、论文、截距”排列。代码比较的是固定步长、黄金分割精确线搜索、Armijo回溯线搜索三种梯度下降。
每轮先算 、、平均梯度 ,再选步长并更新 。三组实验使用相同数据,而且每组都从零参数重新开始。
| 分支 | 步长办法 | 记录的梯度次数 | 最后梯度范数 |
|---|---|---|---|
| exp=0 | 固定10 | 79871 | 约9.99946×10⁻⁷ |
| exp=1 | 先倍增,再golden搜索 | 21208 | 约9.99617×10⁻⁷ |
| exp=2 | 从50回溯,缩小比例0.5 | 24758 | 约9.99376×10⁻⁷ |
上表含第0次初始梯度检查,参数更新次数各少一次。本次最后一组输出系数约 ;停止阈值为平均梯度范数 。课件牛顿法用更严格阈值时得到的系数约 ,比较前先看清目标归一化与停止精度。
读图时横轴是外层迭代次数,纵轴是梯度范数的对数坐标。精确搜索每轮会多次计算损失,因此轮数少还需要结合耗时判断。代码中的损失可改写为 np.mean(np.logaddexp(0,z)-y*z),减少直接取 的数值问题。对应第35—41页步长比较。
打印细节也要看顺序:第87行先更新参数,而第90行用的是本轮更新前算出的概率,因此这行日志把“更新前的损失”和“更新后的参数”放在一起。若要一一对应,先用新参数重算概率或稳定损失再打印。
固定步长分支的第一轮可手算。零参数给所有样本 ,代码的平均梯度约为 。取 ,第一步变成 。第二轮用这组新参数重算概率。
左侧行号与保存的代码文件一致。空行用于分段。
| 行 | 原代码 | 这一行在做什么 |
|---|---|---|
| 1 | import numpy as np | 导入NumPy,供数据生成与矩阵计算使用。 |
| 2 | import matplotlib.pyplot as plt | 导入绘图接口。 |
| 3 | from scipy.optimize import minimize_scalar | 导入一维函数最小化工具,后面黄金分割线搜索会调用它。 |
| 6 | np.random.seed(0) | 固定随机种子,使三种方法面对相同的模拟数据。 |
| 9 | N = 1000 | 设定样本数N=1000。 |
| 10 | GPA = np.random.normal(80, 10, N).clip(30, 100) / 100 | 产生1000个GPA,均值80、标准差10,裁到30至100,再除以100缩放。 |
| 11 | PAPER = np.random.choice([0, 1], size=N, p=[0.8, 0.2]) | 抽取论文标记,80%概率为0,20%概率为1。 |
| 12 | One = np.ones(N) | 生成1000个1,用于设计矩阵的截距列。 |
| 15 | X = np.column_stack((GPA, PAPER, One)) | 按GPA、PAPER、One顺序拼成1000×3矩阵X。 |
| 16 | weight_real = np.array([1, 0.1, -0.85]) * 100 | 得到数据生成参数(100,10,−85),顺序对应X的三列。 |
| 17 | z = X @ weight_real | 矩阵乘法为每名学生计算生成分数z。 |
| 18 | p = 1 / (1 + np.exp(-z)) | 用sigmoid把分数变为录取概率p。 |
| 19 | y = np.random.binomial(1, p) | 根据各自概率抽取0或1的实际标签,得到固定训练输出y。 |
| 22 | plt.figure(figsize=(8, 5), dpi=500) | 建立8×5绘图窗口,稍后将三种收敛曲线画到同一坐标中。 |
| 25 | for exp in range(3): | 外层循环exp依次取0、1、2,分别代表三种步长策略;下面缩进部分每组重做。 |
| 28 | w = np.zeros(X.shape[1]) | 每组把三个参数重新设为零,保证共同起点。 |
| 31 | num_iterations = 1000000 | 最多允许一百万轮,避免无限迭代。 |
| 33 | Iter = list() | 创建空列表Iter,保存本组每轮的编号。 |
| 34 | Gradient_norm = list() | 创建空列表Gradient_norm,保存每轮平均梯度范数。 |
| 35 | for i in range(num_iterations): | 内层循环i从0开始,逐轮训练当前策略。 |
| 36 | z = X @ w | 用当前参数计算所有学生的分数。 |
| 37 | y_pred = 1 / (1 + np.exp(-z)) | 将分数变成当前预测概率,变量名y_pred表示概率而不是0/1类别。 |
| 39 | gradient = X.T @ (y_pred - y) / N | 用X.T@(预测概率−真实标签)/N计算平均交叉熵的梯度。 |
| 41 | norm = np.linalg.norm(gradient, 2) | 求梯度向量的欧氏长度,得到一个标量norm。 |
| 43 | Iter.append(i) | 把当前轮号追加到Iter列表末尾。 |
| 44 | Gradient_norm.append(norm) | 把对应梯度范数追加到Gradient_norm,两个列表位置一一对应。 |
| 47 | if norm < 1e-6: | 若梯度范数小于10⁻⁶,认为达到本次要求的停止精度。 |
| 48 | break | 退出当前训练循环,随后打印参数并画本组曲线。 |
| 51 | def g(alpha): | 定义本轮的一维线搜索函数g(alpha),它使用本轮固定的w和gradient。 |
| 52 | w_new = w - alpha * gradient | 沿负梯度试走alpha,建立候选参数w_new,还没有覆盖当前w。 |
| 53 | z = X @ w_new | 用候选参数计算候选分数;这是函数g内部的局部变量z。 |
| 54 | y_pred = 1 / (1 + np.exp(-z)) | 算候选概率,也是g内部局部变量。 |
| 55 | return -np.mean(y * np.log(y_pred) + (1 - y) * np.log(1 - y_pred)) | 返回候选参数的平均二元交叉熵,数越小越好。 |
| 58 | if exp == 0: | 第一种策略:exp等于0时进入固定步长分支。 |
| 59 | learning_rate = 10 | 固定步长为10,每一轮都不改变。 |
| 60 | else: | 若不是第一种策略,进入下面的线搜索分支。 |
| 63 | if exp == 1: | 第二种策略:exp等于1,使用黄金分割精确线搜索。 |
| 64 | alpha_m = 20 | 先以20作为候选搜索右端点alpha_m。 |
| 65 | g0 = g(0) | 记录出发点损失g(0),供倍增比较。 |
| 66 | while True: | 开始倍增循环,直到探测到目标回升。 |
| 67 | if g(alpha_m) > g0: | 若当前端点损失高于上一个试探点,就表示右端已经足够大。 |
| 68 | break | 退出倍增循环。 |
| 69 | else: | 否则,当前端点仍在下降,执行后面的更新。 |
| 70 | g0 = g(alpha_m) | 保存当前端点损失,下一次与它比较,而不是一直与g(0)比较。 |
| 71 | alpha_m *= 2 | 端点乘2,向更远的位置继续试探。 |
| 75 | result = minimize_scalar(g, method='golden', bracket=(0, alpha_m)) | 用黄金分割法搜索g的一维最低点,bracket提供初始搜索信息。 |
| 77 | learning_rate = result.x | 从结果对象取出步长result.x,保存为learning_rate。 |
| 79 | if exp == 2: | 第三种策略:exp等于2,采用回溯充分下降条件。 |
| 80 | alpha = 50 | 每轮先试较大的步长50。 |
| 81 | g0 = g(0) | 保存当前参数下的损失g(0)。 |
| 82 | while g(alpha) > g0 - alpha * 0.25 * norm ** 2: | 若候选损失没有低于g0−0.25*alpha*||gradient||²,就继续回退。这里0.25是Armijo下降比例。 |
| 83 | alpha *= 0.5 | 把候选步长减半,50→25→12.5→…,然后重新检查条件。 |
| 84 | learning_rate = alpha | 循环结束时把合格步长保存为learning_rate。 |
| 87 | w -= learning_rate * gradient | 执行当前策略选出的负梯度更新;-=表示从原w中减去右边位移。 |
| 89 | if i % 1000 == 0: | i除以1000余数为0时打印一次,即第0、1000、2000…轮。 |
| 90 | loss = -np.mean(y * np.log(y_pred) + (1 - y) * np.log(1 - y_pred)) | 用本轮更新前的y_pred计算平均损失;如果要与下一行的新w匹配,需要先重算预测。 |
| 91 | print(f"Iteration {i}: Loss = {loss}", w) | 打印轮号、刚算的损失及已经更新后的参数。 |
| 93 | print(w) | 本组训练结束后打印最终参数。 |
| 94 | plt.plot(Iter, Gradient_norm) | 按本组保存的轮号与梯度范数画一条曲线,外层循环三次会画三条。 |
| 95 | plt.legend(['fixed step size', 'exact line search', 'inexact line search']) | 按外层实验的先后顺序设置三条曲线图例。 |
| 96 | plt.yscale('log') | 把纵轴设为对数刻度,便于同时观察不同数量级的梯度范数。 |