DASE 7113 · 课程精讲

数据科学中的优化

共 42 页。按原课件顺序,左侧看原页,右侧读讲解。

逐页目录 · 共 42 页
  1. 这一讲:训练模型就是选参数
  2. 数据工程与数据科学分别做什么
  3. 数据压缩:用更少的符号表示相同内容
  4. 时间序列预测:先分清历史与未来
  5. 推荐系统:空白评分是要预测的内容
  6. 聚类:没有答案标签,按相似性分组
  7. 社交网络聚类:从连接找社区
  8. 嵌入:把复杂对象变成一串有用的数
  9. 监督学习:每个输入有一个对应答案
  10. 猫狗识别:输出是类别
  11. 垃圾邮件:文本也能做监督分类
  12. 租金预测:输出是连续数值
  13. 分类和回归,看的是输出类型
  14. 学习分两步:选模型,再选参数
  15. 线性回归:“线性”首先看参数
  16. 二次曲线为什么仍叫线性回归
  17. 特征变换:平方、对数和交互项
  18. 肥料和产量:边际作用可能递减
  19. 工资模型中的交互:教育回报会随家庭条件变吗
  20. 交互系数 β5 怎么解释
  21. 不知道交互方向时,怎样让数据回答
  22. 二元变量:两组之间的固定水平差
  23. 二元变量交互:两组的教育斜率也能不同
  24. 四种线性回归形式,分别怎么解释系数
  25. 残差:每个点与预测曲线的竖直差
  26. 直线和二次曲线怎样写成训练问题
  27. 为什么线性回归是无约束凸二次优化
  28. 最小二乘的矩阵推导:从样本求和到 Hessian
  29. 从连续输出转向二元结果
  30. 录取例子:三个特征和一个二元标签
  31. 为什么不直接把直线输出当概率
  32. 先计算潜在得分 z
  33. Sigmoid:把实数得分变成概率
  34. 系数改变的是对数赔率
  35. 好预测:真实为 1 时概率高,真实为 0 时概率低
  36. KL 散度:比较两个二元概率分布
  37. 从 KL 推到二元交叉熵
  38. 逻辑回归的优化类别
  39. 逻辑回归向量化:先检查每个量的形状
  40. 逻辑回归梯度与 Hessian:每一层都求导
  41. 深度学习普及后,简单模型仍有什么价值
  42. 工资研究:预测准确和解释关系是两种目标
原第 1 页

这一讲:训练模型就是选参数

原课件第1页
点击原页可打开 PDF。

数据科学常从样本中学习规律。本讲把“模型怎样贴合数据”翻译成优化:已知输入和答案,选择模型参数,使预测误差尽量小。

重点是线性回归与逻辑回归。前者预测租金、工资这类数值;后者预测录取、垃圾邮件这类事件的概率。两者最后都要写出目标函数、梯度、Hessian,并检查凸性。

对应课堂录音Week04 Part01 02:07:39–02:12:31
原第 2 页

数据工程与数据科学分别做什么

原课件第2页
点击原页可打开 PDF。

图中把两个工作区分开:数据工程管理数据,数据科学从数据中学习。数据工程关心采集、存储、清洗、传输,让数据能被可靠使用;数据科学关心预测、分类、发现结构或解释关系。

比如一家店先把每天销售记录收齐、统一日期和金额格式,这是数据工程;再根据历史销量预测下周需求,这是数据科学。两者是前后相接的工作。

原第 3 页

数据压缩:用更少的符号表示相同内容

原课件第3页
点击原页可打开 PDF。

压缩是减少数据表示所需的比特数。bit 是二进制的一位,取 0 或 1。本页给出两种方法。

  • Huffman 编码:频繁出现的字符分配较短编码,少见字符分配较长编码。表格中的 Char 是字符、Freq 是频次、Code 是二进制编码。平均长度为 ∑spsℓs,其中 ps 是字符 s 出现概率,ℓs 为编码长度。
  • 游程编码:连续重复的字符写成“次数+字符”,例如 AAAAA BB 写成 5A2B;重复越长越有机会节省空间。

课件用压缩作比较:减少存储长度,与从数据中学习预测规律,是不同任务。这里先分清“怎样表示数据”和“怎样利用数据”。

原第 4 页

时间序列预测:先分清历史与未来

原课件第4页
点击原页可打开 PDF。

图中横轴是年份,纵轴是销售额,单位为人民币。history 部分是已经观察到的数据,prediction 部分是用模型预测的未来数值。

读图先看历史走势,再看预测接在哪个时间点之后。未来曲线可以延续趋势,也可能因模型与特征不同而改变;它不是新增观测。

例如用 y^t+1=ayt+b 预测下一期销售:yt 是本期已知销售,y^t+1 是预测,a、b 是要学习的参数。训练就是选 a、b,让过去各期的预测尽量接近实际结果。

原第 5 页

推荐系统:空白评分是要预测的内容

原课件第5页
点击原页可打开 PDF。

表格每一行是一位用户,每一列是一款游戏,数字是已知偏好评分。Alice 给第一款 5 分、第四款 3 分;Bob 给第二款 4 分、第五款 5 分;Chuck 给第三款 5 分。

空白表示还没有评分,不代表评分为 0。推荐要估计这些缺失偏好,再从用户尚未接触的项目中挑合适的。

一个常见想法是给用户 u 一个向量 au,给游戏 v 一个向量 bv,预测评分为 r^uv=auTbv。让已知评分上的 ∑(u,v)∈Ω(r^uv−ruv)2 尽量小,就得到优化问题;Ω 是有实际评分的格子集合。

图中数据很稀疏,真正推荐还需要更多评分或游戏内容信息来学习相似性。

原第 6 页

聚类:没有答案标签,按相似性分组

原课件第6页
点击原页可打开 PDF。

左图所有点都是蓝色,表示数据尚未分组;右图位置不变,但点被分成黄、绿、红三簇。黄簇在左上、绿簇在左下、红簇在右侧。颜色是聚类结果,不是原来给定的答案。

每个点的横、纵坐标是两个特征。距离近,表示在这两个特征上相似。聚类希望同组点相近,不同组点相对分开。

例如 K-means 选择 K 个中心 μk,并把每个点 i 分给一个簇 ci,最小化:

∑i‖xi−μci‖22.

每项都是点到自己组中心的距离平方。它把“同组紧凑”变成了可以计算的目标。

跟算一轮 K-means

点在同一条数轴上,坐标为 0、2、7。令两个初始中心为 0、7。点 2 离中心 0 有 2 格,离中心 7 有 5 格,所以先分给左组。左组是 {0, 2},右组是 {7}。

各组把中心换成组内平均值,得到 (0+2)/2=1 和 7。平方距离总和从 02+22+02=4 降到 12+12+02=2。随后用新中心重新比较距离。

原第 7 页

社交网络聚类:从连接找社区

原课件第7页
点击原页可打开 PDF。

网络图中的点表示人,连线表示某种关系,例如朋友或互动。把内部连接密集的人分成一个社区,就是图上的聚类。

这里的相似性主要来自“谁与谁连接”,不一定来自坐标距离。画图时放得近只是显示方式,算法更关心连接结构。

同一社区的人可能兴趣相近,因此社区可帮助推荐内容、研究传播。聚类给出的是一种结构划分,具体解释要回到用户特征和连线代表的含义。

原第 8 页

嵌入:把复杂对象变成一串有用的数

原课件第8页
点击原页可打开 PDF。

Embedding 是把词、商品、用户等对象映射成低维向量。向量中的数字不一定有单独可命名的意义,但整体距离和方向可以表达关系。

图中 man、boy、adult、girl、infant 等词被放在一个空间里。靠近表示某种相似性,方向也可能体现年龄、性别或语义关系。二维图方便观察;实际嵌入可以有几十到几千个分量。

例如把一个用户表示为 (0.8,0.1),另一个为 (0.7,0.2),两者距离 0.12+(−0.1)2≈0.141,说明在这套表示下相近。学习嵌入,就是调这些坐标,让重要关系在向量空间中得到保留。

原第 9 页

监督学习:每个输入有一个对应答案

原课件第9页
点击原页可打开 PDF。

训练数据写成 (xi,yi),i 表示第 i 个样本。xi 是输入,yi 是它对应的标签或目标。输入可以是图片、文本,也可以是多个数。

若每个样本有 m 个特征,就写 xi=(xi1,…,xim)。例如一个房源的面积、楼龄、房间数是一组输入,租金是对应输出。

“监督”指训练时能拿到这些正确输出。模型学完后,面对新输入 xnew,再产生新预测 y^new。训练样本数 n 与每个样本的特征数 m 是不同的计数。

原第 10 页

猫狗识别:输出是类别

原课件第10页
点击原页可打开 PDF。

图中的输入是动物图片,输出分别为 cat、dog、cat。这里答案表示“属于哪一类”,不是某个连续测量值。

计算机里可以把 cat 编成 0、dog 编成 1。数字只用于标记,1 不意味着狗比猫多一单位。模型可以先输出属于狗的概率 p,再按阈值产生类别。

训练时用图片和已知类别学习参数;预测时只输入新图片。要学会的规律应能用于新图片,而不只是记住训练图。

原第 11 页

垃圾邮件:文本也能做监督分类

原课件第11页
点击原页可打开 PDF。

输入是邮件内容,输出是 spam 或 not spam。任务与猫狗分类相同,改变的是输入的表示方式。

例如可以用词出现次数组成向量:x=(“优惠”次数,“点击”次数,…)。也可以把整封邮件转换成一个文本嵌入向量。

标签 y=1 表示垃圾邮件、y=0 表示正常邮件。模型根据输入预测 p,再决定是否归入垃圾箱。误把正常邮件拦截和漏掉垃圾邮件的后果不同,实际使用时阈值也可以不同。

原第 12 页

租金预测:输出是连续数值

原课件第12页
点击原页可打开 PDF。

输入为房屋特征:面积、楼龄、卧室数、浴室数、是否有洗衣机;输出为月租金。面积与楼龄是数值,是否有洗衣机可编码成 0/1。

例如 x=(40,10,1,1,1) 可表示面积 40、楼龄 10、一房一卫、有洗衣机。模型把这些数合起来预测租金,例如 y^=β0+∑jβjxj。

租金可以取许多不同数值,因此是回归任务。输入里即使包含 0/1 特征,也不改变输出为连续值的事实。

原第 13 页

分类和回归,看的是输出类型

原课件第13页
点击原页可打开 PDF。

若 y 是有限类别,例如猫/狗、垃圾/正常、录取/未录取,称为分类。若 y 是连续数值,例如租金、工资、销售额,称为回归。

区分时先看要预测的答案,不要只看输入。两种任务都可以用图片、文本、表格作为输入。

例如同样输入房屋信息,预测“下个月租金多少”是回归;预测“是否超过 2 万元”是分类。任务定义改变,标签和损失函数也会跟着改变。

原第 14 页

学习分两步:选模型,再选参数

原课件第14页
点击原页可打开 PDF。
  1. 选模型 f(x;β),规定输入和输出可以通过什么函数联系。β 是可调参数,分号把输入与参数区分开。
  2. 用训练数据调整 β,使 f(xi;β) 尽量接近 yi。

例如选 f(x;β0,β1)=β0+β1x,就决定使用直线;学习负责决定直线的截距和斜率。

训练时 x、y 已知,参数未知;预测时参数已经固定,新 x 已知,新的 y 未知。把这两个阶段分清,就不会把样本输入也当作需要优化的变量。

原第 15 页

线性回归:“线性”首先看参数

原课件第15页
点击原页可打开 PDF。

本页直线模型是:

y^=β0+β1x.

β0 是截距,β1 是斜率;x 为输入,y^ 是预测。保持其他条件不变,x 每增加 1,预测增加 β1。

图中点大致沿直线分布,可以通过调截距上下移动直线、调斜率改变倾斜角度,让直线贴近数据。

线性回归的关键定义是:模型对未知参数 β 是线性的。参数的一次项可相加,不出现 β12、β1β2、eβ1。输入 x 本身可以先做变换。

对应课堂录音Week03 Part01 00:00:00–00:03:09
原第 16 页

二次曲线为什么仍叫线性回归

原课件第16页
点击原页可打开 PDF。

图中数据呈弯曲趋势,模型改为:

y^=β0+β1x+β2x2.

它对 x 是二次曲线,但对参数仍然线性:当样本 x 已知,1、x、x2 都是固定数,只分别乘 β0,β1,β2。因此仍属于线性回归。

例如 x=2 时,预测为 β0+2β1+4β2。这里没有参数平方,只有参数乘已知特征。

曲线的边际变化为 ∂y^/∂x=β1+2β2x。它会随 x 改变,因此能描述“越增加越快”或“越增加越慢”。

对应课堂录音Week03 Part01 00:00:00–00:03:09
原第 17 页

特征变换:平方、对数和交互项

原课件第17页
点击原页可打开 PDF。

课件把原输入 (x1,x2,x3,x4) 变成六个特征:

ϕ(x)=(x1,x12,logx2,x3,x3x4,x4).

然后用 y^=βTϕ(x) 加权相加。每个特征都是先由已知输入算出的数,所以仍是对参数线性的模型。

  • x12:让 x1 的边际作用随自身大小变化。
  • logx2:让相同比例的 x2 增长,对 y 产生相同大小的变化,要求 x2>0。
  • x3x4:让 x3 的作用随 x4 改变,叫交互项。

例如 ∂y^/∂x3=β4+β5x4:x4 改变时,x3 的边际作用跟着改变。Week03 录音复习的重点就是这些项各自表达的机制。

对应课堂录音Week03 Part01 00:00:00–00:03:09
原第 18 页

肥料和产量:边际作用可能递减

原课件第18页
点击原页可打开 PDF。

设 x 为施肥量,y 为产量。少量施肥时收益明显,继续增加后收益可能变小,因此可以写:

y^=β0+β1x+β2x2.

求边际作用:

∂y^∂x=β1+2β2x.

若 β2<0,施肥越多,额外增加一单位肥料带来的收益越小。例如 y^=10+4x−0.2x2,边际作用是 4−0.4x:x=2 时为 3.2,x=8 时为 0.8。

当 x=10 时边际作用为 0,模型预测产量最高:y^=10+40−20=30。曲线的作用是表达弯曲关系,参数要用相应数据估计。

原第 19 页

工资模型中的交互:教育回报会随家庭条件变吗

原课件第19页
点击原页可打开 PDF。

变量含义:y 为工资;x1 为工作经验年数;x2 为当前雇主处的任职年数;x3 为本人教育年数;x4 为父母教育年数。

基准模型 y=β1x1+β2x2+β3x3+β4x4 假设每个人额外一年教育的回报都为 β3,与父母教育无关。

加入交互项后:

y=β1x1+β2x2+β3x3+β4x4+β5x3x4.

这样就允许家庭背景改变本人教育的回报。例如父母提供的人脉、文化和经济资源,可能使相同学历带来不同收入。这是加入 x3x4 的动机。

原第 20 页

交互系数 β5 怎么解释

原课件第20页
点击原页可打开 PDF。

对本人教育 x3 求偏导,其他特征保持固定:

∂y∂x3=β3+β5x4.

逐项看:β3x3 求导为 β3;β5x3x4 中 x4 当常数,求导为 β5x4;其他项对 x3 的导数为 0。

若 β5>0,父母教育越高,本人多一年教育带来的预测工资增量越大。例如 β3=100,β5=20:父母教育 6 年时,回报为 100+20×6=220;12 年时为 340。

再求一次交叉偏导 ∂2y/(∂x4∂x3)=β5,就直接表示“父母教育每多一年,教育回报改变多少”。

原第 21 页

不知道交互方向时,怎样让数据回答

原课件第21页
点击原页可打开 PDF。

是否应有 β5>0 是一种机制假设,不应在估计前直接当结论。可以在模型中放入 x3x4,用数据估计 β^5。

结果为正,表示模型估计父母教育越高,本人教育对应的工资增量越大;为负则方向相反;接近 0 表示这份数据对额外交互作用支持较弱。

若进一步做统计检验,还要结合标准误判断估计的不确定性。加特征的目的不是让公式更长,而是把一个具体问题变成可用数据检验的参数。

原第 22 页

二元变量:两组之间的固定水平差

原课件第22页
点击原页可打开 PDF。

此页重新定义:x1 是经验,x2 是教育,x3 是性别指示变量,男性取 1、女性取 0。模型为:

y=β1x1+β2x2+β3x3.
  1. 女性代入 x3=0:y^F=β1x1+β2x2。
  2. 男性代入 x3=1:y^M=β1x1+β2x2+β3。
  3. 相同经验与教育下相减:y^M−y^F=β3。

因此 β3 表示控制模型里经验和教育后的预测工资水平差。两组教育斜率目前都是 β2,图像相当于两条平行线。

原第 23 页

二元变量交互:两组的教育斜率也能不同

原课件第23页
点击原页可打开 PDF。

加入 β4x2x3:

y=β1x1+β2x2+β3x3+β4x2x3.

女性 x3=0,得到 y^F=β1x1+β2x2;男性 x3=1,合并教育项得 y^M=β1x1+β3+(β2+β4)x2。因此:

∂y^F∂x2=β2,∂y^M∂x2=β2+β4.

β4 是两组教育回报斜率之差。若为正,模型预测男性教育斜率更大;若为负,女性更大。

同一教育水平下的预测工资差变为 β3+β4x2,不再是处处相同的常数。

试算两组斜率和同学历工资差

固定经验,取 β2=100,β3=300,β4=20。教育每多一年,女性预测工资增加 100,男性增加 100+20=120。在教育年数同为 12 时,两组工资差为 300+20×12=540。斜率差是 20,水平差在这一点是 540。

原第 24 页

四种线性回归形式,分别怎么解释系数

原课件第24页
点击原页可打开 PDF。

log 采用自然对数。其导数 dlogx/dx=1/x,所以对数常用于描述比例变化。以下将其他变量固定,用 β 表示所讨论的系数。

模型边际关系解释
y=a+βxdy/dx=βx 增 1,y 增 β 个单位
logy=a+βx(dy/dx)/y=βx 小幅增 Δx,y 约增 100βΔx%
y=a+βlogxdy/dx=β/xx 增约 1%,y 约增 β/100 个单位
logy=a+βlogx(dy/y)/(dx/x)=βx 增约 1%,y 约增 β%

把第二种完整展开:y=ea+βx,求导得 dy/dx=βea+βx=βy;两边除 y,得相对变化率 β。

有限变化的准确表达式是 ynew/yold=eβΔx,百分比变化为 100(eβΔx−1)%。例如 β=0.05、Δx=1,约为 5%,准确为 5.13%。取对数的变量必须为正。

第三种把 x 乘 1+r,有 Δy=β[log(x(1+r))−logx]=βlog(1+r)。 第四种把同样的差写到 logy 上,得到 log(ynew/yold)=βlog(1+r),两边取指数得 ynew/yold=(1+r)β。 例如 x 增加 10%、β=2,第四种的 y 变为原来的 1.12=1.21,即增加 21%。

原第 25 页

残差:每个点与预测曲线的竖直差

原课件第25页
点击原页可打开 PDF。

图中的虚线 ri 从观测点竖直连到预测线。比较的是同一个输入 xi 下的预测与真实输出:

ri=f(xi;β)−yi.

有的点在曲线上方、有的在下方,直接求和会正负抵消。因此最小二乘采用残差平方和:

L(β)=∑i=1nri2.

例如两个残差为 2 和 −2,直接相加为 0,却明显没有拟合好;平方和为 4+4=8。若都变成 1 和 −1,平方和变为 2,说明更贴近。

绝对值和 ∑i|ri| 也能衡量误差。平方和光滑、方便求导,对大误差惩罚较重;绝对值在 0 不可微,但也可以优化。Week03 录音从这个“怎样定义好拟合”的问题引出目标函数。

动手试 · 自己调一条拟合直线

蓝点是三条观测。调截距和斜率,看每条竖线怎样变长或变短,再试最小二乘解。

对应课堂录音Week03 Part01 00:03:10–00:09:22
原第 26 页

直线和二次曲线怎样写成训练问题

原课件第26页
点击原页可打开 PDF。

直线只有两个参数,训练问题为:

minβ0,β1∑i=1n(β0+β1xi−yi)2.

二次曲线多一个参数:

minβ0,β1,β2∑i=1n(β0+β1xi+β2xi2−yi)2.

两个式子都是“先预测,减实际值,平方,再把全部样本相加”。优化时调整的是 β;每个 xi,yi 已经固定。

例如直线在参数 (β0,β1)=(1,2) 时,对样本 (x,y)=(3,8) 预测 7,残差 −1,这个样本贡献损失 1。改变参数后,要重新计算所有样本的总损失,再判断是否更好。

对应课堂录音Week03 Part01 00:03:10–00:09:22
原第 27 页

为什么线性回归是无约束凸二次优化

原课件第27页
点击原页可打开 PDF。

一般形式是:

minβ∑i[f(xi;β)−yi]2,f 对参数线性.

无约束:此处没有额外限制参数,β 可以取任意实数。二次:每个残差对 β 是仿射的,平方后变成 β 的二次式。凸:仿射函数的平方和具有半正定 Hessian。

以一条线的单个样本为例,令 ui=(1,xi)T,则 ri=uiTβ−yi。二阶导为 2uiuiT。任意方向 v 上:

vT(2uiuiT)v=2(uiTv)2≥0.

全部样本的这些非负项相加仍非负,因此总损失凸。平方的是对 β 线性的残差,这个条件是判断的关键。

对应课堂录音Week03 Part01 00:03:10–00:09:22Week03 Part01 00:40:18–00:46:17Week04 Part01 01:14:31–01:17:06Week07 Part01 00:00:00–00:05:18
原第 28 页

最小二乘的矩阵推导:从样本求和到 Hessian

原课件第28页
点击原页可打开 PDF。

有 n 个样本、m 个原始特征。把每个样本放一行,开头加一个 1,用来乘截距:

X=[1x11⋯x1m⋮⋮⋮1xn1⋯xnm],β=[β0⋮βm],y=[y1⋮yn].

X 为 n×(m+1),β 为 (m+1)×1。乘积 Xβ 的第 i 项正好是第 i 个预测。残差向量 r=Xβ−y,所以:

L=rTr(1)=(Xβ−y)T(Xβ−y)(2)=βTXTXβ−βTXTy−yTXβ+yTy(3)=βTXTXβ−2yTXβ+yTy.(4)

中间两项都是标量,互为转置,所以相等。对 β 求导,X 与 y 都当常数:

∇L=2XTXβ−2XTy=2XT(Xβ−y),∇2L=2XTX.

若对逐项求导仍不熟:∂L/∂βj=2∑irixij,将截距对应的 xi0 设为 1,即得到同样的梯度。

对任意 v,vT∇2Lv=2‖Xv‖22≥0,所以凸。令梯度为 0 得正规方程 XTXβ=XTy;列满秩时解唯一。Week03 录音强调向量化:计算 Hessian 可直接写 2 * X.T @ X,把逐项计算交给矩阵运算。

把设计矩阵与正规方程实际算一次

用第25页演示中的三组观测 (0,1),(1,2),(2,2)。每行是 (1,xi)。按列做内积得到

X=[101112],XTX=[3335],XTy=[56].

第一条正规方程是 3β0+3β1=5,第二条是 3β0+5β1=6。第二条减第一条,得到 2β1=1,所以 β1=1/2,代回得 β0=7/6。预测为 7/6,5/3,13/6,残差为 1/6,−1/3,1/6,平方和是 1/36+1/9+1/36=1/6。

import numpy as np

X = np.array([[1., 0.], [1., 1.], [1., 2.]])
y = np.array([1., 2., 2.])
beta = np.linalg.lstsq(X, y, rcond=None)[0]
r = X @ beta - y
print(beta, r @ r)

lstsq 返回的第一项是系数。X @ beta 一次算出三条预测,r @ r 将三个残差各自平方后求和。运行可得约 [1.1667, 0.5] 和 0.1667。

对应课堂录音Week03 Part01 00:09:23–00:12:00Week03 Part01 00:19:20–00:25:48Week03 Part01 00:25:49–00:27:51Week03 Part01 00:33:02–00:40:18Week03 Part01 00:40:18–00:46:17Week03 Part01 00:46:18–00:51:08
原第 29 页

从连续输出转向二元结果

原课件第29页
点击原页可打开 PDF。

上方图的输出可以在连续数轴上变化,例如工资;下方图只在 0、1 两条水平线上有观测,例如是否录取。

对这样的结果,预测“0.73 个录取”没有直接意义,但“录取概率为 0.73”有意义。逻辑回归因此学习的是:

p(x)=Pr(y=1∣x).

Pr 表示概率,竖线表示给定输入。实际 y 仍是 0 或 1;p 是在看到特征后,对事件发生可能性的数值预测。

原第 30 页

录取例子:三个特征和一个二元标签

原课件第30页
点击原页可打开 PDF。

y=1 表示被大学录取,y=0 表示未录取。输入 x1 是高中 GPA,x2 是 SAT 分数,x3 表示是否属于 legacy,即家长等亲属与该校有校友联系的身份。

x1、x2 是数值特征;x3 可以编码为是 1、否 0。输入类型可以混合,模型目标仍是预测二元结果的概率。

训练集里每名学生对应一行 (xi1,xi2,xi3,yi)。参数要从许多学生的已知申请结果中学习,然后用于新申请者。

原第 31 页

为什么不直接把直线输出当概率

原课件第31页
点击原页可打开 PDF。

若直接写 y^=β1x1+β2x2+β3x3,右侧可以小于 0 或大于 1,而概率必须在 [0,1]。

例如 y^=−0.4 或 1.7 都可能来自线性组合,却不能当录取概率。若把它当硬分类标签,右侧又不能自然只输出 0 和 1。

解决方法是保留线性组合做“得分”,再用一个固定函数把任意实数得分压缩到 0 与 1 之间。逻辑回归选用 sigmoid 完成这个变换。

原第 32 页

先计算潜在得分 z

原课件第32页
点击原页可打开 PDF。

给各特征加权,先形成连续得分:

z=β0+β1x1+β2x2+β3x3.

β0 是基准截距,βj 是第 j 个特征的权重。z 可以是任何实数,分数越大,模型认为录取越可能。

例如参数和输入代入后算得 z=2,只表示较高得分;z=−2 表示较低得分。还没有把它转换成概率,因此不能把 z=2 说成概率 2。

原第 33 页

Sigmoid:把实数得分变成概率

原课件第33页
点击原页可打开 PDF。

定义 sigmoid(logistic)函数:

p=σ(z)=11+e−z.

e 是自然指数的底数,约为 2.718。因为指数永远为正,分母大于 1,所以有限 z 对应 0<p<1。

  1. z=0:p=1/(1+1)=0.5。
  2. z=2:e−2≈0.1353,故 p≈1/1.1353=0.8808。
  3. z=−2:p=1/(1+e2)≈0.1192。

图上横轴 z、纵轴 p,曲线从接近 0 上升到接近 1,中心经过 (0,0.5)。斜率:

σ′(z)=e−z(1+e−z)2=p(1−p)>0.

因此得分越大概率越大,但接近两端时变化越来越慢。

原第 34 页

系数改变的是对数赔率

原课件第34页
点击原页可打开 PDF。

概率为 p,失败概率为 1−p,赔率 odds 定义为 o=p/(1−p)。例如 p=0.8,赔率是 0.8/0.2=4,表示发生与不发生之比为 4:1。

由 sigmoid 公式:

1−p=e−z1+e−z,p1−p=ez,logp1−p=z=β0+∑jβjxj.

所以 x1 增加 Δx1 时,对数赔率增加 β1Δx1,赔率乘上 eβ1Δx1。准确百分比变化是 100(eβ1Δx1−1)%;小变化时近似 100β1Δx1%。

这是赔率变化,不是概率直接增加同样百分比。概率的边际效应为 ∂p/∂x1=β1p(1−p),它还取决于原来的 p。

原第 35 页

好预测:真实为 1 时概率高,真实为 0 时概率低

原课件第35页
点击原页可打开 PDF。

图中先由学生特征算 z,再由 sigmoid 算 p,最后与实际标签 y 对照。每一行都用自己的输入和得分,最后一行是 zn=β0+⋯+β3xn3、pn=1/(1+e−zn)。图中末行沿用了首行下标。显示的好预测是:标签 1 的样本预测 0.9,标签 0 的样本预测 0.1。

若标签 1 却预测 0.1,就把真实发生的事件判得很不可能;若标签 0 却预测 0.9,也相反。训练要调 β,让真实标签对应的概率变大。

本页提出是否仍能用 ∑i(pi−yi)2 衡量误差。它当然能计算,但 sigmoid 套入平方损失后通常不再对 β 凸。逻辑回归采用对数损失,可以得到适合概率的评价,并保留凸结构。

对应课堂录音Week04 Part01 01:45:26–01:50:11Week04 Part01 01:51:54–01:56:11
原第 36 页

KL 散度:比较两个二元概率分布

原课件第36页
点击原页可打开 PDF。

一个二元分布用 (p,1−p) 表示,另一个用 (q,1−q) 表示。KL 散度为:

DKL(p‖q)=plogpq+(1−p)log1−p1−q.

p 是作为参照的分布中事件 1 的概率,q 是另一个分布对应的概率。两项分别比较事件 1 和事件 0。以 p=0.8、q=0.5 为例:

D=0.8log1.6+0.2log0.4≈0.8(0.4700)+0.2(−0.9163)=0.1927.

散度在 p=q 时为 0,否则为正。单项可能负,但总和非负。对 p 求导:

∂D∂p=(logpq+1)−(log1−p1−q+1)=logpq−log1−p1−q.

固定 0<q<1,对上一式再求一次导,得 ∂2D/∂p2=1/p+1/(1−p)>0(0<p<1)。 在 p=q 时两个对数都是 0,一阶导为 0,函数也为 0,所以这是唯一最小点。端点的值用连续极限计算。

KL 一般不对称,交换 p、q 得到的数可能不同,因此称“散度”。训练中要固定真实分布,把模型预测放在第二个位置。

对应课堂录音Week04 Part01 01:45:26–01:50:11Week04 Part01 01:51:54–01:56:11
原第 37 页

从 KL 推到二元交叉熵

原课件第37页
点击原页可打开 PDF。

对样本 i,实际标签 yi∈{0,1} 对应分布 (yi,1−yi),模型预测为 (pi,1−pi)。固定实际标签,最小化:

Di=yilogyipi+(1−yi)log1−yi1−pi(1)=yilogyi+(1−yi)log(1−yi)−yilogpi−(1−yi)log(1−pi).(2)

前两项与模型参数无关;二元标签下按 0log0=0 的连续极限处理,两项都是 0。因此得到二元交叉熵:

ℓi=−yilogpi−(1−yi)log(1−pi).
  • y=1 时,ℓ=−logp,希望 p 接近 1。
  • y=0 时,ℓ=−log(1−p),希望 p 接近 0。

例如真实为 1,预测 0.9 的损失 −log0.9≈0.1053,预测 0.1 的损失约 2.3026。越自信地预测错,惩罚越大。把所有样本损失相加,就是训练目标。

动手试 · 从得分算到一次预测的损失

固定模型得分 z,切换真实标签 y。比较模型给真实标签的概率和对应损失。

原第 38 页

逻辑回归的优化类别

原课件第38页
点击原页可打开 PDF。

训练问题为:

minβL=∑i[−yilogpi−(1−yi)log(1−pi)],pi=σ(zi),zi=f(xi;β).

f 对 β 线性,参数没有额外约束,所以是无约束问题。目标含指数和对数,是非线性函数,但对 β 仍然凸。

先把单样本损失化简。因为 p=ez/(1+ez)、1−p=1/(1+ez),有:

logp=z−log(1+ez),(1)log(1−p)=−log(1+ez),(2)ℓ(z)=−y[z−log(1+ez)]+(1−y)log(1+ez)(3)=log(1+ez)−yz.(4)

其一阶导为 ℓ′(z)=p−y,二阶导为 ℓ″(z)=p(1−p)≥0。再与线性得分 z 组合,就保留凸性。因此这是无约束凸非线性规划,而非二次规划。

对应课堂录音Week07 Part01 00:12:56–00:18:19Week07 Part01 00:18:19–00:22:14Week07 Part01 00:26:35–00:32:16
原第 39 页

逻辑回归向量化:先检查每个量的形状

原课件第39页
点击原页可打开 PDF。

仍有 n 个样本、m 个特征,X 每行是一个样本并含一列 1。计算顺序为:

β ⟶ z=Xβ ⟶ p=σ(z) ⟶ L.
量形状意义
Xn × (m+1)固定训练输入
β(m+1) × 1要学习的参数
z、p、yn × 1每个样本的得分、预测概率、实际标签

sigmoid 分别作用于每个 zi,log 也逐元素计算。因此总损失可写成:

L=−yTlogp−(1−y)Tlog(1−p).

每一项是行向量乘列向量,得到标量,并把 n 个样本相加。1 表示全为 1 的 n 维向量。

原第 40 页

逻辑回归梯度与 Hessian:每一层都求导

原课件第40页
点击原页可打开 PDF。

先只看第 i 个样本,按“损失 → 概率 → 得分 → 参数”反向求导。

  1. 对概率求导:
∂ℓi∂pi=−yipi+1−yi1−pi.

2. sigmoid 的导数为 dpi/dzi=pi(1−pi)。链式法则相乘:

∂ℓi∂zi=[−yipi+1−yi1−pi]pi(1−pi)(1)=−yi(1−pi)+(1−yi)pi=pi−yi.(2)

3. 令 ui=(1,xi1,…,xim)T,有 zi=uiTβ,故 ∇βzi=ui。相加得到:

∇L=∑i(pi−yi)ui=XT(p−y).

4. 再求一次导。y 固定,∇βpi=pi(1−pi)ui,因此:

∇2L=∑ipi(1−pi)uiuiT=XTWX,W=diag(pi(1−pi)).

diag 表示把这些数放在对角线上。对任何 v:

vT∇2Lv=∑ipi(1−pi)(uiTv)2≥0.

所以 Hessian 半正定,损失对 β 凸。也可写成 ATA,其中 A=W1/2X=diag(pi(1−pi))X。原页的 p1/2∘(1−p)1/2 表示两个平方根向量逐项相乘,第 i 项正是 pi1−pi=pi(1−pi)。

例如只有一条含截距的样本 x=2、y=1,参数全为 0,则 z=0、p=0.5。梯度为 (0.5−1)(1,2)T=(−0.5,−1)T,Hessian 为 0.25[1224]。负梯度方向会提高得分,从而提高真实标签 1 的概率。

运行一轮,核对梯度把概率推向哪里
import numpy as np

X = np.array([[1., 2.]])
y = np.array([1.])
beta = np.zeros(2)
z = X @ beta
p = 1 / (1 + np.exp(-z))
gradient = X.T @ (p - y)
H = X.T @ ((p * (1 - p))[:, None] * X)
beta_next = beta - 0.2 * gradient
p_next = 1 / (1 + np.exp(-(X @ beta_next)))
print(gradient, H, beta_next, p_next, sep="\n")

X 一行两列。[:, None] 把每个样本的权重从一维数组变成一列,再乘 X,等于给 X 每行乘它自己的权重。左乘 X.T 得到两行两列的 Hessian。

这次更新从零参数减去 0.2(−0.5,−1),得到 (0.1,0.2)。新得分为 0.1+2(0.2)=0.5,模型给标签 1 的概率从 0.5 提高到约 0.6225。

原第 41 页

深度学习普及后,简单模型仍有什么价值

原课件第41页
点击原页可打开 PDF。

图中是多层神经网络,参数与层数更多,可以表达复杂关系。线性回归和逻辑回归的优势之一是参数容易解释。

线性回归的系数可以表达一个特征增加一单位时,预测值改变多少;逻辑回归的系数可以表达对数赔率如何改变。配合平方、对数与交互项,还能把具体研究问题写成清晰的数学关系。

选择模型时因此要先看任务:如果主要目标是预测复杂模式,可能需要复杂模型;如果主要问题是某因素与结果怎样关联,透明的参数形式很有帮助。

原第 42 页

工资研究:预测准确和解释关系是两种目标

原课件第42页
点击原页可打开 PDF。

劳动经济学使用工资回归时,常想研究教育回报、性别工资差异等问题。需要理解每个系数对应的比较,而不仅是总预测误差。

例如 y=β0+β1经验+β2教育+β3男性,β3 是相同模型特征下的预测工资差;加入“教育 × 男性”后,还可以比较教育回报斜率。

这样的系数首先描述控制已纳入变量后的关联。若要把差异解释成歧视或因果作用,还要考虑职业、工时、行业等遗漏因素,以及研究设计能否排除其他解释。

这一讲的完整链条是:研究问题决定特征与模型 → 损失定义什么叫拟合好 → 优化选择参数 → 参数与预测回到原问题中解释。