DASE 7113 · 课程精讲

正梯度与负梯度

按输入、计算、输出的顺序理解,再逐句对照老师代码。

打开老师的完整代码 · Moodle 原页

目标为 f(x1,x2)=2x12+4x1x2+5x22−8x1−6x2+10,起点为 (2,2)。先求梯度 (8,22),再取反得到负梯度 (−8,−22)。

一维函数 g(α)=f(x+αd) 的横坐标是步长,不是原来的 x1 或 x2。两种方向对应

g1(α)=26+548α+3252α2,g2(α)=26−548α+3252α2.
  1. 正梯度方向随正步长立即上升。
  2. 负梯度方向先下降,在 α≈0.08425584 达到这条线上的最小值约2.91389914。
  3. 步长增到0.2,目标变为46.48,高于起点26,说明方向正确也会走过头。

原代码最后只调用 plot_g(d2),所以生成一张负梯度曲线。要比较正梯度,再增加 plot_g(d1);普通脚本末尾可加 plt.show() 显示窗口。对应讲解见算法课件第12—13页。

从上到下读

逐句讲解

左侧行号与保存的代码文件一致。空行用于分段。

行原代码这一行在做什么
1import numpy as np导入 NumPy,处理二维向量与步长数组。
2import matplotlib.pyplot as plt导入绘图接口。
3import math导入 Python 的 math 数学库;本段后续没有用到它。
6x = np.array([2., 2.])建立浮点二维起点x=(2,2);小数点使数组按浮点数保存。
7d1 = np.array([2 * 4 + 2 * 4 - 8, 2 * 4 + 2 * 10 - 6])把偏导公式代入(2,2),得到梯度d1=(8,22)。这里各项里的2是当前两个坐标。
8d2 = -d1每个分量取负,得到负梯度d2=(−8,−22)。
11f = lambda x: 2 * x[0] ** 2 + 4 * x[0] * x[1] + 5 * x[1] ** 2 - 8 * x[0] - 6 * x[1] + 10lambda定义一个简短函数;x[0]是第一个坐标x1,x[1]是第二个坐标x2,返回原二次目标。
14# def f(x):注释:下面演示f也可以用普通def函数定义,效果与lambda相同。
15# x1 = x[0]注释:把传入向量的第一个元素命名为x1。
16# x2 = x[1]注释:把第二个元素命名为x2。
17# return 2 * x1 ** 2 + 4 * x1 * x2 + ....注释:示意返回目标式;末尾省略号表示未写完的教学示意,不是正在执行的f定义。
20def plot_g(d):定义绘图函数plot_g(d),输入是一个方向向量d。下面的缩进行都属于这个函数。
21 g = lambda alpha: f(x + alpha * d)定义当前方向的一维函数:按步长alpha走到x+alpha*d,再计算f。
22 Alpha = np.linspace(0, 0.2, 100)生成0至0.2之间100个步长,供横轴使用。
23 G = np.zeros_like(Alpha)创建与Alpha形状相同的全零数组G,准备逐项存函数值。
24 for i, alpha in enumerate(Alpha):enumerate同时给出位置编号i和该位置的步长alpha,逐个遍历100个候选值。
25 G[i] = g(alpha)计算当前步长下的目标并存入G的第i个位置。
26 plt.figure(dpi=500)新建一个图形,dpi=500设置绘图分辨率。
27 plt.plot(Alpha, G)用步长Alpha作横轴、目标值G作纵轴,连成曲线。
29plot_g(d2)把负梯度d2传给plot_g,因此这次实际画的是负梯度路径。
运行结果

代码画出的图

正梯度与负梯度运行结果