DASE 7113 · 课程精讲

二次回归

按输入、计算、输出的顺序理解,再逐句对照老师代码。

打开老师的完整代码 · Moodle 原页

输入仍是相同的 10 条含噪声数据。模型写成 y^=ax2+bx+c,待训练参数顺序是二次项、一次项、常数项。

  1. 先把 x2,x,1 三列拼成设计矩阵 X∈R10×3。第一行对应 x=−10,所以是 (100,−10,1)。
  2. 使用最小二乘公式 (XTX)−1XTy 求三个系数。矩阵乘法从右往左看:XTy 为三维向量,左乘 3×3 逆矩阵后仍为三维。
  3. 实际运行得到 (a,b,c)≈(0.99754803,−2.76561209,10.48012679),训练 MSE 为 69.63581005。
  4. 图中蓝点是观测,红线是拟合曲线。画红线时另外取 100 个密集横坐标,使它看起来连续。

这里将三个独立特征用到恰好可逆的矩阵上,可以直接演示公式。自己扩展到更一般数据时,可把第 12 行替换为 np.linalg.lstsq(X, y, rcond=None)[0],直接解最小二乘。

图的范围延伸到 −12.5 至 12.5,而训练输入只有 −10 至 10。两端额外部分展示了模型的外推。换成高阶多项式后,外推往往更容易出现明显摆动。

用打印的系数算第一行。x=−10 时预测约为 0.997548(100)−2.765612(−10)+10.480127=137.8910。对应实际值约 140.6405,残差约 −2.7495,平方约 7.56。十条观测都这样算,再把平方和除以 10,就得到 MSE。

从上到下读

逐句讲解

左侧行号与保存的代码文件一致。空行用于分段。

行原代码这一行在做什么
1import numpy as np导入 NumPy,提供数组、矩阵乘法和线性代数计算。
2import matplotlib.pyplot as plt导入 Matplotlib 的绘图接口,简写为 plt。
5np.random.seed(0)固定随机种子,保证这段与数据设置代码使用同样的噪声。
6x = np.linspace(-10, 10, 10)生成 10 个等间隔输入。
7a_real, b_real, c_real = 1, -2, 3设定产生数据的真实系数:a_real=1、b_real=−2、c_real=3。
8y = a_real * x**2 + b_real * x + c_real + np.random.normal(0, 10, size=x.shape)先计算真实二次曲线,再加 10 个标准差为 10 的噪声,形成观测 y。
11X = np.vstack([x**2, x, np.ones(len(x))]).Tvstack 先把 x²、x、全1各放成一行,得到3×10数组;.T 转置后成为10×3,每行对应一个样本。
12coefficients = np.linalg.inv(X.T @ X) @ X.T @ y@ 表示矩阵乘法。先算 X.T@X,inv 求其逆,再乘 X.T@y,得到最小二乘参数。
13a_est, b_est, c_est = coefficients把三个参数按顺序拆成二次项 a_est、一次项 b_est、截距 c_est。
16print(f"Estimated coefficients: a = {a_est}, b = {b_est}, c = {c_est}")f字符串把变量的数值插进文字后打印出来,便于核对系数。
19# Plot the fitted curve注释:下面开始计算预测并画拟合曲线;注释本身不执行。
20y_predicted = a_est * x ** 2 + b_est * x + c_est在原来的10个训练输入处计算预测值,供计算训练误差。
21MSE = np.sum((y_predicted - y) ** 2) / 10预测减观测、逐项平方、求和,再除以样本数10,得到均方误差MSE。
22print(MSE)打印这次训练的 MSE,约69.63581。
23plt.figure(dpi=500)创建一张绘图窗口;dpi=500设置输出分辨率,不改变计算结果。
24x_plot = np.linspace(-12.5, 12.5, 100)为平滑绘图,另取−12.5至12.5之间的100个横坐标,保存为x_plot。
25y_plot = a_est * x_plot ** 2 + b_est * x_plot + c_est把这100个横坐标代入拟合模型,得到红色曲线的纵坐标。
26plt.scatter(x, y, color='blue', label='Data points')画蓝色散点,每个点是一对训练观测(x_i,y_i),label用于图例。
27plt.plot(x_plot, y_plot, color='red', label='Fitted quadratic curve')把100个预测点连成红线,显示拟合二次曲线。
28plt.title("Quadratic Fit to Data")设置图标题“Quadratic Fit to Data”。
29plt.xlabel("x")给横轴标记 x。
30plt.ylabel("y")给纵轴标记 y。
31plt.legend()显示前面label定义的图例,区分散点与拟合线。
32plt.show()显示图形;在普通脚本里,这行让绘图窗口出现。
运行结果

代码画出的图

二次回归运行结果