DASE 7113 · 课程精讲

逻辑回归的三种步长

按输入、计算、输出的顺序理解,再逐句对照老师代码。

打开老师的完整代码 · Moodle 原页

输入是1000名模拟学生的GPA、论文标记和录取标签。三个待训练系数按“GPA、论文、截距”排列。代码比较的是固定步长、黄金分割精确线搜索、Armijo回溯线搜索三种梯度下降。

每轮先算 z=Xw、p=σ(z)、平均梯度 v=XT(p−y)/N,再选步长并更新 w←w−αv。三组实验使用相同数据,而且每组都从零参数重新开始。

分支步长办法记录的梯度次数最后梯度范数
exp=0固定1079871约9.99946×10⁻⁷
exp=1先倍增,再golden搜索21208约9.99617×10⁻⁷
exp=2从50回溯,缩小比例0.524758约9.99376×10⁻⁷

上表含第0次初始梯度检查,参数更新次数各少一次。本次最后一组输出系数约 (96.79195,9.82779,−82.38932);停止阈值为平均梯度范数 10−6。课件牛顿法用更严格阈值时得到的系数约 (96.88708,9.83687,−82.47006),比较前先看清目标归一化与停止精度。

读图时横轴是外层迭代次数,纵轴是梯度范数的对数坐标。精确搜索每轮会多次计算损失,因此轮数少还需要结合耗时判断。代码中的损失可改写为 np.mean(np.logaddexp(0,z)-y*z),减少直接取 log0 的数值问题。对应第35—41页步长比较。

打印细节也要看顺序:第87行先更新参数,而第90行用的是本轮更新前算出的概率,因此这行日志把“更新前的损失”和“更新后的参数”放在一起。若要一一对应,先用新参数重算概率或稳定损失再打印。

固定步长分支的第一轮可手算。零参数给所有样本 pi=0.5,代码的平均梯度约为 (0.068968,−0.0435,0.128)。取 α=10,第一步变成 w1=(0,0,0)−10(0.068968,−0.0435,0.128)≈(−0.68968,0.435,−1.28)。第二轮用这组新参数重算概率。

从上到下读

逐句讲解

左侧行号与保存的代码文件一致。空行用于分段。

行原代码这一行在做什么
1import numpy as np导入NumPy,供数据生成与矩阵计算使用。
2import matplotlib.pyplot as plt导入绘图接口。
3from scipy.optimize import minimize_scalar导入一维函数最小化工具,后面黄金分割线搜索会调用它。
6np.random.seed(0)固定随机种子,使三种方法面对相同的模拟数据。
9N = 1000设定样本数N=1000。
10GPA = np.random.normal(80, 10, N).clip(30, 100) / 100产生1000个GPA,均值80、标准差10,裁到30至100,再除以100缩放。
11PAPER = np.random.choice([0, 1], size=N, p=[0.8, 0.2])抽取论文标记,80%概率为0,20%概率为1。
12One = np.ones(N)生成1000个1,用于设计矩阵的截距列。
15X = np.column_stack((GPA, PAPER, One))按GPA、PAPER、One顺序拼成1000×3矩阵X。
16weight_real = np.array([1, 0.1, -0.85]) * 100得到数据生成参数(100,10,−85),顺序对应X的三列。
17z = X @ weight_real矩阵乘法为每名学生计算生成分数z。
18p = 1 / (1 + np.exp(-z))用sigmoid把分数变为录取概率p。
19y = np.random.binomial(1, p)根据各自概率抽取0或1的实际标签,得到固定训练输出y。
22plt.figure(figsize=(8, 5), dpi=500)建立8×5绘图窗口,稍后将三种收敛曲线画到同一坐标中。
25for exp in range(3):外层循环exp依次取0、1、2,分别代表三种步长策略;下面缩进部分每组重做。
28 w = np.zeros(X.shape[1])每组把三个参数重新设为零,保证共同起点。
31 num_iterations = 1000000最多允许一百万轮,避免无限迭代。
33 Iter = list()创建空列表Iter,保存本组每轮的编号。
34 Gradient_norm = list()创建空列表Gradient_norm,保存每轮平均梯度范数。
35 for i in range(num_iterations):内层循环i从0开始,逐轮训练当前策略。
36 z = X @ w用当前参数计算所有学生的分数。
37 y_pred = 1 / (1 + np.exp(-z))将分数变成当前预测概率,变量名y_pred表示概率而不是0/1类别。
39 gradient = X.T @ (y_pred - y) / N用X.T@(预测概率−真实标签)/N计算平均交叉熵的梯度。
41 norm = np.linalg.norm(gradient, 2)求梯度向量的欧氏长度,得到一个标量norm。
43 Iter.append(i)把当前轮号追加到Iter列表末尾。
44 Gradient_norm.append(norm)把对应梯度范数追加到Gradient_norm,两个列表位置一一对应。
47 if norm < 1e-6:若梯度范数小于10⁻⁶,认为达到本次要求的停止精度。
48 break退出当前训练循环,随后打印参数并画本组曲线。
51 def g(alpha):定义本轮的一维线搜索函数g(alpha),它使用本轮固定的w和gradient。
52 w_new = w - alpha * gradient沿负梯度试走alpha,建立候选参数w_new,还没有覆盖当前w。
53 z = X @ w_new用候选参数计算候选分数;这是函数g内部的局部变量z。
54 y_pred = 1 / (1 + np.exp(-z))算候选概率,也是g内部局部变量。
55 return -np.mean(y * np.log(y_pred) + (1 - y) * np.log(1 - y_pred))返回候选参数的平均二元交叉熵,数越小越好。
58 if exp == 0:第一种策略:exp等于0时进入固定步长分支。
59 learning_rate = 10固定步长为10,每一轮都不改变。
60 else:若不是第一种策略,进入下面的线搜索分支。
63 if exp == 1:第二种策略:exp等于1,使用黄金分割精确线搜索。
64 alpha_m = 20先以20作为候选搜索右端点alpha_m。
65 g0 = g(0)记录出发点损失g(0),供倍增比较。
66 while True:开始倍增循环,直到探测到目标回升。
67 if g(alpha_m) > g0:若当前端点损失高于上一个试探点,就表示右端已经足够大。
68 break退出倍增循环。
69 else:否则,当前端点仍在下降,执行后面的更新。
70 g0 = g(alpha_m)保存当前端点损失,下一次与它比较,而不是一直与g(0)比较。
71 alpha_m *= 2端点乘2,向更远的位置继续试探。
75 result = minimize_scalar(g, method='golden', bracket=(0, alpha_m)) 用黄金分割法搜索g的一维最低点,bracket提供初始搜索信息。
77 learning_rate = result.x从结果对象取出步长result.x,保存为learning_rate。
79 if exp == 2:第三种策略:exp等于2,采用回溯充分下降条件。
80 alpha = 50每轮先试较大的步长50。
81 g0 = g(0)保存当前参数下的损失g(0)。
82 while g(alpha) > g0 - alpha * 0.25 * norm ** 2:若候选损失没有低于g0−0.25*alpha*||gradient||²,就继续回退。这里0.25是Armijo下降比例。
83 alpha *= 0.5把候选步长减半,50→25→12.5→…,然后重新检查条件。
84 learning_rate = alpha循环结束时把合格步长保存为learning_rate。
87 w -= learning_rate * gradient执行当前策略选出的负梯度更新;-=表示从原w中减去右边位移。
89 if i % 1000 == 0:i除以1000余数为0时打印一次,即第0、1000、2000…轮。
90 loss = -np.mean(y * np.log(y_pred) + (1 - y) * np.log(1 - y_pred))用本轮更新前的y_pred计算平均损失;如果要与下一行的新w匹配,需要先重算预测。
91 print(f"Iteration {i}: Loss = {loss}", w)打印轮号、刚算的损失及已经更新后的参数。
93 print(w)本组训练结束后打印最终参数。
94 plt.plot(Iter, Gradient_norm)按本组保存的轮号与梯度范数画一条曲线,外层循环三次会画三条。
95plt.legend(['fixed step size', 'exact line search', 'inexact line search'])按外层实验的先后顺序设置三条曲线图例。
96plt.yscale('log')把纵轴设为对数刻度,便于同时观察不同数量级的梯度范数。
运行结果

代码画出的图

逻辑回归的三种步长运行结果