DASE7509 · 零基础逐页精讲

Lecture 5 · 集成学习

左右键翻页;“连续阅读”展开整份;搜索可定位概念。

第 1 / 43 页

集成学习:几个模型怎样合作

第 1 / 43 页 原页

点击图片放大。

打开源文件

集成学习把多个模型的预测组合起来,利用它们不同的判断相互补充。本讲先复习CART,再学习Bagging、Stacking和Boosting三种组合方法。

第 2 / 43 页

三条路线先用一句话分清

第 2 / 43 页 原页

点击图片放大。

打开源文件

Bagging反复有放回抽样、分别训练模型,再平均或投票。Stacking把基模型预测当成新特征,训练元模型学习组合。Boosting按轮次增加弱学习器,让后续训练更关注前面处理不好的样本。

第 3 / 43 页

CART:每次一分为二,分类与回归分别算损失

第 3 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part01 00:00:26–00:49:15
CART复习与分裂计算

CART全称Classification and Regression Tree,分类与回归树。结构上每个内部节点只有两个子节点;训练时仍要决定用哪个特征j、哪个阈值s。连续特征常问 xⱼ≤s 与 xⱼ>s,两个条件互补,刚好覆盖输入,不重不漏。

回归预测实数,常选择使子区域平方误差小的分裂;分类预测类别,使用Gini不纯度比较分裂。先根据目标是数值还是类别,选相应的训练标准。

例如,用温度预测电流,可以问“温度≤80°C吗”,左叶输出平均电流3A,右叶输出7A。这是回归树。如果两叶输出“正常/故障”,并用类别组成选分裂,就是分类树。

二叉结构指每次有两个分支;叶子仍可从多个目标类别中选择一个。离散特征也能以“属于某类集合/不属于”二分;本讲后面先举单个值对其余的简单形式。

自测: 三分类任务能用二叉CART吗?答案:能,二叉说的是每个分裂的分支数,不是目标类别数。

第 4 / 43 页

回归树叶子为什么预测平均值

第 4 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part01 00:00:26–00:49:15
CART复习与分裂计算

模型 f(x)=ΣₜcₜI(x∈Rₜ) 把输入空间分成互不重叠的区域Rₜ,每个区域输出一个常数cₜ。指示函数只有在x落入该区域时为1,因此一次预测只会选中一个叶子的常数。

对固定叶子,选c使 Σᵢ∈R(yᵢ−c)² 最小。逐步求导:每项对c导数为 2(c−yᵢ),求和后为 2Nᵣc−2Σyᵢ;令0得到 c=Σyᵢ/Nᵣ,即标签平均值。二阶导数2Nᵣ>0,所以确实是最小点。注意平均的是目标y,不是切分依据的输入x。

例如,一个叶子有电流2、3、7A,平均4A。预测4时平方误差和 (2−4)²+(3−4)²+(7−4)²=4+1+9=14;预测3时为1+0+16=17,较大。

常规MSE为 Σ误差²/N。这里用 Σ误差²/(2N),即一半MSE,方便求导;常数缩放不改变最优预测,但损失数值相差一倍。

自测: 一个叶子有1000RPM与2000RPM输入,但目标电流是3A、5A,叶子输出多少?答案:4A,不是1500RPM。

第 5 / 43 页

选特征与阈值:每个候选都要重算两边均值

第 5 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part01 00:00:26–00:49:15
CART复习与分裂计算

对候选特征j、阈值s,分成 R₁={x:xⱼ≤s}、R₂={x:xⱼ>s}。先按这个分法计算两叶标签均值ĉ₁、ĉ₂,再评价 SSE=Σᵢ∈R₁(yᵢ−ĉ₁)²+Σᵢ∈R₂(yᵢ−ĉ₂)²,选择总平方误差最小的候选。

误差项使用 (yᵢ−ĉ)²,比较真实目标与预测。例如目标和预测都是电流,误差单位是安培;输入速度只用于决定样本走向哪边。

算一遍:输入速度1、2、3、4,对应电流1、2、8、9。阈值2.5时左均值1.5、右均值8.5,SSE=0.25+0.25+0.25+0.25=1。阈值1.5时左只有1,右均值19/3≈6.333,右SSE≈28.667。分组随阈值改变,因此每个候选都重算自己的均值。

训练时需要标签来挑分裂;新样本预测时只检查阈值,再读已保存的叶子均值,不需要重新计算SSE。候选分裂必须让两边都有样本,或满足额外最少叶样本数要求。

自测: 训练目标应把两个子SSE直接相加,还是各自除人数后随意相加?答案:本页用总SSE;若用子MSE,应按人数加权才与同一目标一致。

第 6 / 43 页

前缀和推导左叶SSE:先排序输入,再累计标签

第 6 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part01 00:00:26–00:49:15
CART复习与分裂计算

先把两个步骤分清:按某个输入特征x排序后,同时按同一顺序排列对应标签y₁,…,yᵣ。定义标签前缀和 Sₘ=Σₖ₌₁ᵐyₖ,累计的是目标标签。左边有m条,最优预测 ĉ₁=Sₘ/m。

展开左SSE:Σ(yₖ−ĉ₁)²=Σyₖ²−2ĉ₁Σyₖ+mĉ₁²。代入ĉ₁=Sₘ/m后,第二项是 −2(Sₘ/m)Sₘ=−2Sₘ²/m;第三项是 m(Sₘ/m)²=Sₘ²/m;合并得到 Σₖ≤ₘyₖ²−Sₘ²/m。最后一个m来自有m项相同的ĉ₁²,所以该项为mĉ₁²。

例如,左标签2、4、6,m=3、Sₘ=12、平方和56。公式给 56−144/3=8;直接用均值4计算也是 (2−4)²+0+(6−4)²=8。两种算法应一致。

从空前缀 S₀=0 开始,依次用 Sₘ=Sₘ₋₁+yₘ 算。比如刚算完 S₂=2+4=6,再向右移动一个位置,只用算 S₃=6+6=12,之前两项已经在S₂里。若需要单独左右SSE,也可累计标签平方和;只比较总SSE时,下一页的全局平方和是常数。

自测: m=0能用公式吗?答案:不能,分母为0,而且会产生空叶,候选必须排除。

第 7 / 43 页

合并两叶SSE:常数减去两个平方项

第 7 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part01 00:00:26–00:49:15
CART复习与分裂计算

右叶有r−m条,标签总和 Sᵣ−Sₘ,均值 (Sᵣ−Sₘ)/(r−m)。像左边一样展开并代入,右SSE等于 Σₖ>ₘyₖ²−(Sᵣ−Sₘ)²/(r−m)。两边相加,平方和合成全节点常数 C*=Σₖ₌₁ʳyₖ²。

所以总SSE=C*−Sₘ²/m−(Sᵣ−Sₘ)²/(r−m)。比较同一节点的不同切点时C*完全相同,最小化SSE等价于最大化正分数 Score=Sₘ²/m+(Sᵣ−Sₘ)²/(r−m)。因此选Score最大的一刀。

例如,标签(1,2,8,9),总和20、平方和150;m=2时Sₘ=3,Score=9/2+17²/2=149,SSE=150−149=1。m=1时Score=1+19²/3≈121.333,SSE≈28.667。Score更大者SSE更小。

有了前缀和,每个候选只查几次数并做固定数量运算,是O(1);扫描r−1个位置为O(r)。加上输入排序,当前特征的成本为O(rlog r)+O(r);其他特征也要各自比较。相邻输入值相同时跳过该间隙,因为同一个阈值无法把相等值分开。

自测: 为何右侧分母是r−m?答案:它是右叶样本数,不是右边标签总和。

第 8 / 43 页

六个样本的第3刀和第4刀:分母跟着人数变

第 8 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part01 00:00:26–00:49:15
CART复习与分裂计算

r=6,候选位置m表示左边保留前m条、右边保留后6−m条。m=3时,两边各3条,代价 C*−S₃²/3−(S₆−S₃)²/3;m=4时左4条右2条,代价 C*−S₄²/4−(S₆−S₄)²/2。两个分母始终对应左右样本数。

例如,用电流标签(3.2,4.1,5.0,7.8,8.5,9.1),S₃=12.3、S₄=20.1、S₆=37.7。m=3的Score=12.3²/3+25.4²/3≈265.4833;m=4的Score=20.1²/4+17.6²/2≈255.8825。常数相同,选Score更大的m=3。

阈值s与位置m不同:m决定哪些样本分到两边;s是输入特征上的数值,通常取相邻不同输入值中点。例如第3和4条速度2400与3000,取s=2700RPM。阈值来自输入速度的间隙,叶子均值则来自标签电流。

自测: 六个互不相同输入为什么只有5个内部切点?答案:相邻样本间有5个空隙,切在最左或最右会形成空叶,不属于本例候选。

第 9 / 43 页

用电机速度预测电流:输入与目标

第 9 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part01 00:00:26–00:49:15
CART复习与分裂计算

本例输入速度x为1200、1800、2400、3000、3600、4200RPM,目标电流y为3.2、4.1、5.0、7.8、8.5、9.1A。速度已升序排列,可以直接依相邻速度间隙生成5个候选阈值:1500、2100、2700、3300、3900RPM。

这是一棵单层回归树:选一个阈值,把数据分两组,每组预测一个平均电流。因此模型表示分段常数关系,在阈值处可以跳变。

先整理计算所需的量: 样本数r=6;每个候选两边人数必须加到6;总标签和37.7A;所有标签平方和单位A²。切分阈值单位RPM,叶子输出单位A,平方误差单位A²。

例如切在2400与3000之间,前3条进左叶,后3条进右叶。选择中点 (2400+3000)/2=2700 后,新速度2700走左叶,2701走右叶。

自测: 新速度2500RPM时,需要知道该次真实电流才能预测吗?答案:不需要,比较训练好的阈值后输出左叶均值。

第 10 / 43 页

逐一计算五个候选,选出最佳阈值

第 10 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part01 00:00:26–00:49:15
CART复习与分裂计算

依标签累计:S₁=3.2、S₂=7.3、S₃=12.3、S₄=20.1、S₅=28.6、S₆=37.7;平方和 C*=10.24+16.81+25+60.84+72.25+82.81=267.95。

使用 Score=Sₘ²/m+(37.7−Sₘ)²/(6−m),五个结果为:

m 阈值RPM Score 总SSE=267.95−Score
1 1500 248.2900 19.6600
2 2100 257.6850 10.2650
3 2700 265.4833 2.4667
4 3300 255.8825 12.0675
5 3900 246.4020 21.5480

例如m=3,左边和12.3,右边和 37.7−12.3=25.4。两组各3条,左项 12.3²/3=50.43,右项 25.4²/3≈215.0533,相加得265.4833。五个Score中它最大,SSE最小,阈值为2700RPM。

用Python扫描五个切点。 rows 存每个候选的阈值和SSE。

x = [1200, 1800, 2400, 3000, 3600, 4200]
y = [3.2, 4.1, 5.0, 7.8, 8.5, 9.1]
n = len(y)
total = sum(y)
sum_squares = sum(value ** 2 for value in y)

left_sum = 0
rows = []
for m in range(1, n):
    left_sum += y[m - 1]
    if x[m - 1] == x[m]:
        continue
    right_sum = total - left_sum
    score = left_sum ** 2 / m + right_sum ** 2 / (n - m)
    threshold = (x[m - 1] + x[m]) / 2
    rows.append((threshold, sum_squares - score))

threshold, sse = min(rows, key=lambda row: row[1])
print(threshold, round(sse, 4))  # 2700.0 2.4667

代码中的m表示左边人数。列表从0编号,所以新进左叶的标签是 y[m−1]。比较的是 x[m−1] 和 x[m] 之间的空隙。若两值相同,continue 只跳过这个候选,已累计的 left_sum 会带到下一个位置。最后的 row[1] 选中每个候选元组的第二项SSE,让 min 按SSE找最优阈值。

自测: 为什么选最大Score而非最小?答案:SSE等于固定常数减Score,二者方向相反。

第 11 / 43 页

叶子预测、总SSE和MSE分开计算

第 11 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part01 00:00:26–00:49:15
CART复习与分裂计算

最佳阈值2700RPM,左边标签3.2、4.1、5.0,均值 (3.2+4.1+5.0)/3=4.1A。右边7.8、8.5、9.1,总和25.4,均值 25.4/3≈8.4667A。模型为速度≤2700输出4.1,否则输出8.4667。

左SSE (−0.9)²+0²+0.9²=1.62;右SSE (-0.6667)²+0.0333²+0.6333²≈0.846667;总SSE≈2.466667A²,常规MSE除6,得0.411111A²。若沿第4页半MSE定义,还需再除2,得到0.205556A²。计算时保留右均值的精度,最后才四舍五入。

再算无分裂的基准: 全局均值37.7/6≈6.283333A,无分裂MSE=[267.95−37.7²/6]/6≈5.178056A²。相对下降 1−0.411111/5.178056≈92.06%。

自测: 预测5000RPM会输出更大电流吗?答案:这棵单层树仍输出右叶8.4667A,回归树在叶内是常数,不能自动外推线性趋势。

第 12 / 43 页

Gini不纯度:不用对数也能衡量类别混杂

第 12 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part01 00:00:26–00:49:15
CART复习与分裂计算

对K类分布p,Gini=Σₖpₖ(1−pₖ)=1−Σₖpₖ²。第一种写法展开为Σpₖ−Σpₖ²,因为所有类别概率和为1,得到第二种。注意每个pₖ先平方,再把平方相加;若先求和再平方,就会因Σpₖ=1而恒得0。

例如,二分类各半,Gini=1−0.5²−0.5²=0.5;若概率0.9、0.1,Gini=1−0.81−0.01=0.18;纯类(1,0)给0。混杂越多值越大。也可把它理解为按同一类别分布独立抽两次,两次标签不一样的概率。

为什么平均分配时Gini最大?展开平方差 Σₖ(pₖ−1/K)²=Σₖpₖ²−1/K≥0。所以 Σₖpₖ² 的最小值为1/K,恰好在每类概率都是1/K时达到。代入得到Gini的最大值 1−1/K,二分类上限0.5,三分类上限2/3。

熵使用负对数,Gini使用概率平方;例如二分类各半时,熵为1bit,Gini为0.5。

自测: 某节点3类概率(1/3,1/3,1/3),Gini多少?答案:1−3×1/9=2/3。

第 13 / 43 页

分类CART:比较分裂后加权Gini

第 13 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part01 00:00:26–00:49:15
CART复习与分裂计算

在当前节点数据D中,类别k频数为|Dₖ|,概率 pₖ=|Dₖ|/|D|,代入 Gini(D)=1−Σpₖ²。对特征j与候选s分成D₁、D₂后,评价 Gsplit=(|D₁|/|D|)Gini(D₁)+(|D₂|/|D|)Gini(D₂),选最小者。

例如,父节点10条、两类各5,Gini0.5。某分裂左4条全正类,Gini0;右6条1正5负,Gini=1−(1/6)²−(5/6)²=10/36≈0.2778;总体 4/10×0+6/10×0.2778≈0.1667。若另一分裂总体为0.3,前者更好。比较Gini下降量也一样,因为父节点0.5对所有候选相同。

连续特征用≤s和>s;离散特征可以用“等于某值/不等于该值”,这是一个二分形式,多类别特征也可比较类别集合的二分,具体候选由算法实现决定。无论比较单值还是类别集合,每次都保持两条分支。

分类叶子一般输出该叶多数类,或保存类别比例供后续使用;这和回归叶子对数值标签求平均不同。Gini用于评价分裂,叶子类别由该叶的标签组成确定。

自测: 左右子集大小不同时能直接把两个Gini除以2吗?答案:不能,应按样本占比加权。

第 14 / 43 页

振动分裂的Gini完整计算

第 14 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part01 00:00:26–00:49:15
CART复习与分裂计算

父节点8F/8N,Gini(D)=1−(8/16)²−(8/16)²=0.5。High振动9条,7F/2N:GiniHigh=1−49/81−4/81=28/81≈0.345679。Low振动7条,1F/6N:GiniLow=1−1/49−36/49=12/49≈0.244898。

按人数加权:Gsplit=9/16×28/81+7/16×12/49。先约分,第一项为7/36≈0.194444,第二项为3/28≈0.107143;合计19/63≈0.301587。相对父节点下降 0.5−0.301587≈0.198413。保留四位小数分别为0.3016与0.1984。

0.3016是分裂后的总体Gini,使用全部类别比例计算。本例一层振动树判错3条,误分类率为3/16=0.1875,使用错分条数计算。

再比较一个同为二叉的候选。按“信噪比High吗”会分成6条(5F/1N)和10条(3F/7N),加权Gini为 (6/16)×[1−(5/6)²−(1/6)²]+(10/16)×[1−(3/10)²−(7/10)²]≈0.3667。它高于振动的0.3016,因此在这两个候选中选择振动。

自测: Low组Gini小于High组,是否说明整个模型只要保留Low组?答案:不是,两组都覆盖实际输入,必须一起保留并按频率评价。

第 15 / 43 页

进入集成学习:CART将作为可组合的基模型

第 15 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part02 00:00:04–00:32:34
Bagging、bootstrap/OOB、偏差方差与相关性

现在把多棵树组合起来,例如三棵回归树预测4、6、5A,等权平均得到5A。接下来用Bagging的抽样过程与偏差—方差分解,解释平均为何能抵消部分预测波动。

第 16 / 43 页

多数投票:有用的是错误不完全重合

第 16 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part02 00:00:04–00:32:34
Bagging、bootstrap/OOB、偏差方差与相关性

对二分类基模型 hᵢ(x)∈{−1,+1},多数投票可写 H(x)=sign(Σᵢhᵢ(x))。每个+1相当于一票正类,每个−1相当于一票负类。模型数为奇数时不会出现票数相同;偶数时需要规定和为0怎样处理。

表中四条记录A–D的结果是:模型1对A、C、D,模型2对A、B、D,模型3对B、C。三者分别准确75%、75%、50%,但每条至少两模型正确,因而多数票四条全对。勾叉表示每个模型是否预测正确;投票使用的是它们实际预测的类别。

如果三个模型都只错A,各自准确率都是75%,A却仍会被三票一致判错。回到原表,A由模型1、2纠正,B由2、3纠正,C由1、3纠正,D由1、2纠正。逐条数票便能看出不同模型如何补上彼此的错误。

自测: 三模型输出(−1,+1,+1),和为多少、预测何类?答案:和1,预测+1。

第 17 / 43 页

Bootstrap:每次抽完放回,重复与遗漏都正常

第 17 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part02 00:00:04–00:32:34
Bagging、bootstrap/OOB、偏差方差与相关性

Bagging是bootstrap aggregation。有N条原样本,每个bootstrap训练集抽N次,每次从原N条中等概率选择并放回。抽取次数仍为N,但不同原样本的数量一般少于N,因为有些重复、有些没抽到。

原数据A、B、C、D、E,抽到A、A、C、D、E是一份合法5行训练集:A出现2次,B完全没出现。B对这一个模型是OOB(out-of-bag,袋外)样本,换一个模型的抽样中B可能又被抽到。同一条记录相对于不同基模型,可以分别是袋外或袋内。

遗漏概率逐步推导。 某条样本一次没被抽到的概率 1−1/N;独立抽N次都没抽到的概率 (1−1/N)^N,N较大时接近e^(−1)≈0.368。因此大样本时约63.2%的不同原记录至少出现一次。N=5时精确遗漏概率 (4/5)^5=0.32768。每条记录被抽到至少一次的概率都是 1−0.32768=0.67232,把5条记录各自的概率加起来,得到不同记录的期望数量 5×0.67232=3.3616。一次抽样可能看到3条或4条等整数数量,3.3616是反复抽样后的平均数。

各bootstrap样本之间可以重叠。重复出现的记录会在该模型的训练中多贡献几次,这正是抽样产生的权重差异。

自测: 五条数据抽五次,是否必须每条各出现一次?答案:不是,那是无放回全取;这里有放回,允许重复。

第 18 / 43 页

Bagging训练与OOB评价:一条记录只能用没见过它的树评

第 18 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part02 00:00:04–00:32:34
Bagging、bootstrap/OOB、偏差方差与相关性

完整过程是:生成B份有放回重采样数据;每份各训练一个基模型;回归通常平均B个数,分类可多数投票或平均类别概率。这里N数原样本,B数基模型。

OOB评价对每条原样本单独做:收集训练时没有抽中它的那些模型,只用这些模型给它预测,再与其真实标签比较。比如B样本对模型1是袋外、对模型2是袋内,这条样本的OOB预测就使用模型1。

例如,三个模型的抽样分别遗漏B、C、B。模型1、2、3对B给出的正类概率分别为0.7、0.2、0.9,其中模型2训练时见过B。B的袋外概率只取模型1和3的平均 (0.7+0.9)/2=0.8,再用B的真实标签计分。相同方法用模型2评C。如果某行没有袋外模型,这一行暂时没有OOB预测。

平均概率与多数票有区别:概率(0.99,0.49,0.49)对正类平均约0.657,会判正;硬类别是(正、负、负),多数票判负。选哪种聚合方式要预先约定。

自测: 某记录对模型1、3是袋外,对模型2是袋内,应使用哪些模型计算它的OOB预测?答案:模型1与3。

第 19 / 43 页

平方误差分解:偏差²、方差、不可约噪声

第 19 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part02 00:00:04–00:32:34
Bagging、bootstrap/OOB、偏差方差与相关性

固定输入x,假设真实观测 y=f(x)+ε,噪声Eε=0、Varε=σ²ε,训练得到的随机预测为f̂(x)。期望E要对训练集/训练随机性及新的观测噪声取平均,并假设新的噪声与预测误差独立或相应交叉期望为0。

记 m=E[f̂(x)],在误差里加上再减去m,得到 y−f̂=(f−m)+(m−f̂)+ε。平方后,除了三项各自的平方,还有三项两两乘积。逐项对它们取平均:

交叉项 为什么期望为0
2(f−m)(m−f̂) f−m在固定x时是常数,E(m−f̂)=m−m=0
2(f−m)ε Eε=0
2(m−f̂)ε 新观测噪声与预测独立,所以 E[(m−f̂)ε]=E(m−f̂)Eε=0

剩下 E[(y−f̂)²]=(f−m)²+E[(f̂−m)²]+Eε²,依次是偏差²、模型方差、不可约噪声方差。

偏差是平均预测朝真实函数偏离多少;方差是换训练数据/随机过程后预测有多不稳定;噪声是输入x相同、观测y仍会出现的随机变化。分解描述反复训练与观测后的平均平方误差。

例如f=10,两次等可能的训练结果给6和10,故平均8、偏差平方4、方差 [(6−8)²+(10−8)²]/2=4。独立的测量噪声等概率为−1或+1,方差1,三项加得9。直接核对也一样。观测是9或11,和预测6或10组合,四个同概率平方误差为9、25、1、1,平均 36/4=9。

自测: 偏差2在误差分解里贡献2还是4?答案:4,因为分解包含偏差的平方。

第 20 / 43 页

平均模型的方差:相关性决定能降多少

第 20 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part02 00:00:04–00:32:34
Bagging、bootstrap/OOB、偏差方差与相关性

设B个基模型在固定x处有相同方差σ²、共同偏差μ,任意不同模型对的相关系数为ρ。平均预测 f̂bag=(1/B)Σf̂ᵢ。按课件的符号记 f(x)−E[f̂ᵢ]=μ。平均预测的偏差是 f(x)−E[f̂bag]=(1/B)Σᵢ(f(x)−E[f̂ᵢ])=(1/B)×Bμ=μ。

给每个预测减去自身均值,记 zᵢ=f̂ᵢ−E[f̂ᵢ]。两个模型的平均方差是 E[((z₁+z₂)/2)²]=(E[z₁²]+2E[z₁z₂]+E[z₂²])/4。此处 E[zᵢ²] 就是单模型方差,E[z₁z₂] 就是协方差,反映两个预测是否一起在均值上下波动。推广到B个模型:

Var(f̂bag)=(1/B²)[ΣᵢVar(f̂ᵢ)+Σᵢ≠ⱼCov(f̂ᵢ,f̂ⱼ)]。第一部分有B项,各σ²;有序不同模型对共B(B−1)项,各为 ρ×σ×σ=ρσ²,因为相关系数乘两个模型的标准差,就是协方差。于是 =[Bσ²+B(B−1)ρσ²]/B²=σ²/B+(B−1)ρσ²/B=ρσ²+(1−ρ)σ²/B。

例如,B=10、σ²=4、ρ=0.2,平均方差 0.2×4+0.8×4/10=1.12;若ρ=0则0.4,若ρ=1仍4。可见相关性让“越多越好”的收益受到限制。

这个公式允许模型相关。若预测彼此独立,ρ=0,便简化为σ²/B;若它们共享数据规律而一起波动,ρ>0,就要保留协方差项。

自测: 为何协方差项不是只有B−1项?答案:求和覆盖每个i与其他B−1个j,共B(B−1)个有序对。

第 21 / 43 页

Bagging为什么适合高方差模型,也为什么有上限

第 21 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part02 00:00:04–00:32:34
Bagging、bootstrap/OOB、偏差方差与相关性

把单模型方差写成两份:σ²=ρσ²+(1−ρ)σ²。在0≤ρ≤1的公式里,共同波动的部分 ρσ² 留下来,另一部分平均后只剩 (1−ρ)σ²/B。B=1时两项相加仍是σ²,B增加时第二项缩小。

当B越来越大,第二项趋近0,但第一项ρσ²留下。因此若模型错误高度相关,只增加树的数量会出现收益递减;需要让模型以不同方式看数据或特征,才可能进一步降低相关性。这引出下一页随机森林的“每次分裂随机选候选特征”。

例如,σ²=9、ρ=0.5,B=1时9,B=10时 4.5+4.5/10=4.95,B=100时4.545,无穷多也只能逼近4.5。若所有模型都因为遗漏重要变量而平均低估电流2A,平均后偏差仍2A,平方贡献4不变。

深树对训练样本变化敏感,通常有较大的方差,适合通过平均减少波动。这里的分解针对平方误差回归;分类投票则直接统计最终类别是否正确。

自测: ρ=1时训练1000个完全同向波动的模型,平均方差会变成σ²/1000吗?答案:不会,仍为σ²。

第 22 / 43 页

随机森林:抽样本之外,每个节点再抽特征

第 22 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part02 00:32:35–00:55:34
随机森林、Stacking与OOF

随机森林在树的Bagging基础上增加第二种随机性:每棵树用bootstrap样本训练;每个分裂节点只从随机选出的少数候选特征里找最好分裂。每个节点都可重新抽一组候选,因此整棵树仍可能用到多种不同特征。

例如,一台泵有振动、温度、电流、压力、速度、流量六个特征。某节点候选可能只有振动、电流、流量;即使温度在全数据上最强,这次也不能选它。这样能避免所有树反复沿同一个强特征走近乎相同的路径,从而降低树之间的相关性。

例如,总特征M=100,分类任务常见起点是每节点候选数m≈√M=10。√M是一个常用起点,随后可以用验证数据选择m。m过小可能错过有用特征,单树变弱;m过大则树可能更相似,需要验证权衡。

最终预测对树结果平均或投票,具体与任务类型有关。两种随机性要分开记:样本抽样在每棵树构造训练集时做,特征子集通常在每个节点选分裂时做。

自测: 每节点抽10个候选特征,是否最终模型只能包含10种特征?答案:不是,不同节点、不同树可选不同子集。

第 23 / 43 页

休息页:能分清抽样和平均的两个作用吗

第 23 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part02 00:32:35–00:55:34
随机森林、Stacking与OOF

休息15分钟。

第 24 / 43 页

目录转场:从固定平均走向学习组合

第 24 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part02 00:32:35–00:55:34
随机森林、Stacking与OOF

接下来学习Stacking:让另一个模型学习怎样组合各基模型的预测。重点是用折外预测构造元训练数据,让组合器看到基模型面对未参与拟合样本时的表现。

第 25 / 43 页

Stacking:把模型预测变成新特征

第 25 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part02 00:32:35–00:55:34
随机森林、Stacking与OOF

设n个基学习器 f₁,…,fₙ,对输入x得到n个预测,组成向量 s=(f₁(x),…,fₙ(x));元学习器g把s变成最终输出:F(x)=g(s)。f负责把原始输入变成各自判断,g负责学怎样组合判断。图上所有分支最终汇到g,再给出最终预测。

例如,三个回归模型预测电流(4,6,5)A,元模型为 g(s)=0.2s₁+0.6s₂+0.2s₃,输出 0.8+3.6+1=5.4A。若再加偏置b,就可能校正一定系统偏移。这些组合系数由元训练数据学习,下一页说明如何生成这份数据。

分类时s可以包含每个模型的类别概率,未必只有一个硬类别。若每基模型输出10类概率,3模型原始可提供30个概率特征。元输入维数等于实际提供的预测特征总数。

g使用原任务标签y作监督,学习从这些预测特征到真实结果的映射。

自测: 三个基模型分别输出一个数,元学习器的输入有几维?答案:3维,每个数是一种基模型的预测。

第 26 / 43 页

用折外预测训练组合器

第 26 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part02 00:32:35–00:55:34
随机森林、Stacking与OOF

如果基模型用全部训练数据(xᵢ,yᵢ)拟合,再对同一xᵢ输出预测作为元特征,预测可能包含对yᵢ的记忆。元学习器看到这些过于漂亮的成绩,会误以为某基模型在新样本上同样可靠,学到错误信任程度。这就是Stacking特别容易出现的训练数据泄漏。

看一个反例: 一棵很深的树把训练样本全部记住,训练内预测100%正确;另一个简单模型训练内只有90%正确,但新样本更稳定。若直接用训练内输出,g会几乎只信那棵深树。部署时深树不再有记过的标签,表现下降,g却仍给它过高权重。

元学习器继续用y训练;产生某行元特征的基模型,则在训练时留出这一行及其标签。下一页使用k折方法,既利用训练数据,又让每一行元特征来自相应折外模型。

同样,标准化、特征选择等有拟合步骤的预处理也应在该折的训练部分完成,再应用到留出折。这样,从预处理到基模型的整条拟合流程都只使用该折的训练部分。

自测: 元模型能用这行的真实y作监督吗?答案:能。先用未训练该行的基模型生成元特征,再将这个特征向量与真实y配对训练g。

第 27 / 43 页

k折生成折外预测:训练k次,每行只填一次

第 27 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part02 00:32:35–00:55:34
随机森林、Stacking与OOF

把原训练集分成k份D₁,…,Dₖ。对某一类基学习器fᵢ,第j次用除Dⱼ以外的k−1份训练版本 fᵢ⁽ʲ⁾,只把它对Dⱼ的预测填入这些样本对应的元特征列。轮流留出每份后,所有训练样本各得到一个没有见过自己的模型预测。

六条数据分三折,原标签依次为[2, 4, 6, 8, 10, 12]。为看清填表过程,假设基模型只预测它在训练行上看到的标签均值。

版本 训练用的原表行号 留下预测的行号 把预测填回原表
1 3、4、5、6 1、2 (6+8+10+12)/4=9,填第1、2行
2 1、2、5、6 3、4 (2+4+10+12)/4=7,填第3、4行
3 1、2、3、4 5、6 (2+4+6+8)/4=5,填第5、6行

最终这一列折外特征是[9, 9, 7, 7, 5, 5]。代码里原表从0编号,所以第一折行号写成[0, 1]。

y = [2, 4, 6, 8, 10, 12]
folds = [[0, 1], [2, 3], [4, 5]]
oof = [None] * len(y)
for held_out in folds:
    train = [i for i in range(len(y)) if i not in held_out]
    prediction = sum(y[i] for i in train) / len(train)
    for i in held_out:
        oof[i] = prediction

print(oof)  # [9.0, 9.0, 7.0, 7.0, 5.0, 5.0]

train 决定这轮均值能用哪些标签。最后两行循环只向 held_out 对应的原位置写值。换成回归树时,用 train 的输入和标签拟合,再把树对每条留出输入的预测填回相同位置。

对测试样本,用k个折模型分别预测,再平均,得到这个基学习器提供的一列测试元特征。它与训练列的区别是:训练行只用留出自己的那一个版本,测试行使用所有k个版本的平均。

自测: 每条原训练样本的折外特征应平均所有k个模型吗?答案:不能,其中k−1个模型见过它;训练元特征只用那一个留出它的模型。

第 28 / 43 页

五折Stacking:每个版本留出一折

第 28 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part02 00:32:35–00:55:34
随机森林、Stacking与OOF

取k=5。fᵢ⁽¹⁾用D₂+D₃+D₄+D₅训练,预测D₁;fᵢ⁽²⁾用D₁+D₃+D₄+D₅训练,预测D₂;第三个版本留D₃,第四个留D₄,第五个留D₅。上标表示模型版本。

若样本x₇在D₃,它的第i个元特征来自 fᵢ⁽³⁾(x₇),因为版本3训练时留出了D₃。每行采用哪个版本,由它所在的折决定。

每类基学习器都完成这套过程。例如3种基模型、5折,需要至少训练15个折模型来生成三列折外元特征。各模型类型应使用同一折分与同一行顺序,方便把每行预测对齐成向量。若有同一机器多次测量或时间顺序,还要按实际评估场景设计分组/时间划分,例如把同一台机器的记录放在同一折,用来评价面对其他机器时的预测。

例如第i个基学习器的五个版本对同一测试样本分别给出0.2、0.4、0.6、0.4、0.4。这一行的第i列填 (0.2+0.4+0.6+0.4+0.4)/5=0.4。其余基学习器也各自平均自己的五个值,分别填到其余各列。

自测: x在D₄,能否用fᵢ⁽¹⁾作其折外特征?答案:不能,fᵢ⁽¹⁾训练用了D₄,只有fᵢ⁽⁴⁾才留出了它。

第 29 / 43 页

组装元训练矩阵:列是模型,行还是原样本

第 29 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part02 00:32:35–00:55:34
随机森林、Stacking与OOF

假设三类基学习器各输出一个数。对原样本i,得到折外向量 sᵢ=(f₁,OOF(xᵢ),f₂,OOF(xᵢ),f₃,OOF(xᵢ)),保留原标签yᵢ。N条原训练记录变成N×3的元特征矩阵S,标签长度仍为N。

例如,第一条元特征是(0.8,0.6,0.9),真实标签1;第二条是(0.2,0.4,0.1),标签0。g用这些预测数字学习标签关系。数字是概率时应保持每一列含义一致,例如第一列始终填模型1的正类概率。多类概率可扩成更多列,但每个样本的列数必须一致。

测试阶段先按本图办法为每类基模型平均其折版本预测,形成测试元向量,再交给已经训练好的g。若g训练时接收三维向量,测试时也给它同样含义的三维向量。

按原样本行号取第i行,训练对就是(sᵢ,yᵢ)。如果代码已有 oof1、oof2、oof3 三个对齐的列表,用 S = list(zip(oof1, oof2, oof3)) 就会逐行取三列,生成给g的输入。上面的前两行会得到 [(0.8, 0.6, 0.9), (0.2, 0.4, 0.1)]。

自测: 原训练集100行、3模型各一个输出,元训练有多少行列?答案:100行3列,标签100个。

第 30 / 43 页

目录转场:Boosting是按轮次修正的集成

第 30 / 43 页 原页

点击图片放大。

打开源文件

最后学习Boosting:第m轮样本权重由前面组合的表现决定,模型按顺序加入。wᵢ表示第i条训练样本的重要程度,αₘ表示第m个学习器在最终投票中的权重。记住“i数样本、m数模型”,就能分清接下来的两个更新过程。

第 31 / 43 页

Boosting:新模型重点看旧组合的困难样本

第 31 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part02 01:04:55–01:33:03
Boosting与弱学习器的顺序更新

Boosting把弱学习器依次加入组合。这里“弱”通常表示模型比较简单、在当前加权数据下比随机猜测好一点;不要求每个都单独达到很高准确率。后续样本权重由之前组合的预测决定。

训练流程是: 先训练f₁;根据它的错分调整w;用新的w训练f₂;再根据目前组合调整w;继续训练f₃。最终模型含f₁、f₂、f₃的加权贡献。新模型可以在之前容易的样本上稍差一点,只要更有效地处理当前加权困难,就可能改善组合。

与Bagging比较:Bagging各模型通常独立生成并训练,适合并行;Boosting第m轮需要前轮信息,存在顺序依赖。与Stacking比较:Stacking把基模型预测作为元输入训练g;这里则把各轮分数累加,并通过损失推导样本权重与学习器权重。

持续重视错分样本也解释了AdaBoost对误标数据的敏感性:误标样本可能反复被错分、反复升权,逐渐占据较大的训练权重。

自测: f₂训练完以后最终模型是否只剩f₂?答案:不是,它加入已有组合,通常保留之前学习器的贡献。

第 32 / 43 页

加性模型与指数损失:符号对不对,置信程度多大

第 32 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part02 01:04:55–01:33:03
Boosting与弱学习器的顺序更新

定义实数分数 F(x)=Σₘ₌₁ᴹαₘfₘ(x),最后预测 ŷ=sign(F(x))。二分类标签y与离散弱学习器输出fₘ均为±1;F是保留各轮置信强度的实数总分,完成求和后再取sign。

乘积 yF(x)叫有符号间隔:正数表示符号正确,越大通常越有把握;负数表示符号错误。指数损失 ℓ=e^(−yF)。若yF=2,损失e^(−2)≈0.1353;若yF=−2,损失e²≈7.389;若yF=0,损失1。零分处按预先规定的平局规则输出类别。

例如,三个弱模型输出(+1,−1,+1),权重(0.8,0.3,0.2),总分0.7,预测+1。若真实y=+1,损失e^(−0.7)≈0.4966;若真实y=−1,损失e^0.7≈2.0138。同一个F因真实标签不同,会得到不同处罚。

目标是最小化训练分布上的平均指数损失。它对“自信但错”的负间隔样本尤其敏感,因此自然导出后面的样本重加权。

自测: y=−1、F=−2时,预测是否正确、指数损失多少?答案:预测正确,yF=2,损失e^(−2)≈0.1353。

第 33 / 43 页

前向分步学习:旧模型固定,只找这一轮新项

第 33 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part02 01:04:55–01:33:03
Boosting与弱学习器的顺序更新

假设前m−1轮已有 Fₘ₋₁(x)=Σⱼ<ₘαⱼfⱼ(x)。本轮加 αₘfₘ(x),得到 Fₘ=Fₘ₋₁+αₘfₘ,先固定所有旧项,只优化新学习器和它的系数。这叫forward stagewise(前向分步):保留旧组合,逐步加入新项。

把它代入指数损失:e^(−yFₘ)=e^[−y(Fₘ₋₁+αₘfₘ)]=e^(−yFₘ₋₁)e^(−yαₘfₘ)。指数“和变积”的性质把旧组合贡献单独拆出来。定义旧权重 wᵢ∝e^(−yᵢFₘ₋₁(xᵢ)),旧组合错得越厉害,权重越大;本轮优化变成这些样本上的加权指数损失。

把未归一权重记作uᵢ,令 U=Σuᵢ、wᵢ=uᵢ/U。原平均损失 C=(1/N)Σuᵢe^(−yᵢαₘfₘ) 就等于 (U/N)Σwᵢe^(−yᵢαₘfₘ)。U/N在本轮固定,因此最小化原损失与最小化归一化的加权损失会选出相同的新项。

例如,两样本旧间隔分别2、−1,未归一权重约0.1353、2.7183;归一后约0.0474、0.9526,下一轮更在意第二条。真实标签保持不变,第二条在本轮损失中贡献更大。

自测: w是等于旧模型的预测类别吗?答案:不是,它由真实标签与旧分数的乘积通过指数计算而来。

第 34 / 43 页

把损失拆成“分对”和“分错”两组

第 34 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part02 01:04:55–01:33:03
Boosting与弱学习器的顺序更新

假设本轮wᵢ已归一化、和为1,弱学习器fₘ(x)输出±1。分对时yᵢ=fₘ,乘积yf=1,所以 e^(−yαf)=e^(−α);分错时yf=−1,所以指数为+α,损失 e^α。两组只有这两个可能因子。

定义加权错误率 err=ΣᵢwᵢI(yᵢ≠fₘ(xᵢ)),分错样本权重和err,分对权重和1−err。把两组的权重分别相加,组内共有的指数因子可以提到求和外:L(α)=e^(−α)Σ分对wᵢ+e^αΣ分错wᵢ=(1−err)e^(−α)+err e^α。

例如,四样本权重(0.1,0.2,0.3,0.4),只错第4条,则加权err=0.4;按普通条数计算的错误率则为1/4。若α=0.5,目标 0.6e^(−0.5)+0.4e^0.5≈1.0234。下一页继续对α求导,找到当前err对应的最优系数。

当Σwᵢ=1时,加权准确率为1−err;若权重总和为U,则正确样本的权重和为U减去错误样本的权重和。

自测: 对y=−1、f=+1的错分样本,−yαf等于什么?答案:+α,所以因子e^α。

第 35 / 43 页

学习器权重α:每一步求导都展开

第 35 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part02 01:04:55–01:33:03
Boosting与弱学习器的顺序更新

固定本轮弱模型与err,最小化 L(α)=(1−err)e^(−α)+err e^α。对α求导,第一项因指数−α再带一个负号,得到 L′=−(1−err)e^(−α)+err e^α。令0后,err e^α=(1−err)e^(−α);两边乘e^α,得 err e^(2α)=1−err;再除err、取自然对数,得 α=½ln[(1−err)/err]。

二阶导 L″=(1−err)e^(−α)+err e^α>0(0<err<1),所以这个驻点是最小点。这里使用自然对数ln,因为它是前面指数函数e的反函数。

例如,err=0.1时α=½ln9≈1.0986,学习器贡献较大;err=0.5时α=0,没有贡献;err=0.6时α≈−0.2027,说明在当前权重分布下比随机还差,二分类可翻转其预测得到错误率0.4。每轮评价的是该学习器在当前权重分布下的错误率。

err=0表示当前弱模型在有权重样本上全对,可提前结束;err=1表示全错,二分类时翻转输出即可得到全对。对数公式直接适用于0<err<1。

自测: err=0.25时α多少?答案:½ln3≈0.5493。

第 36 / 43 页

为什么选择加权错误率最小的弱学习器

第 36 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part02 01:04:55–01:33:03
Boosting与弱学习器的顺序更新

先用二阶Taylor展开理解选f的方向。取t=−yαf,eᵗ≈1+t+t²/2。因为y²=1、f²=1,t²=α²,所以加权目标近似 Ew[1−yαf+α²/2]。固定α>0时,1与α²/2不随候选f变化,最小化近似损失等价于最大化Ew[yf]。

把它和错误率联系起来:分对yf=1,分错yf=−1,所以 Ew[yf]=(1−err)−err=1−2err。最大化它就等价于最小化加权err。这里argmin的搜索对象是候选弱学习器f,选出的结果才记作fₘ。

还可以直接从精确目标推出同一结论:从上一页精确式出发,固定α>0,L=e^(−α)+err(e^α−e^(−α));括号系数严格为正,所以精确目标也随err增大而增大。所以在当前离散二分类设定下,最小化err正好也最小化这个精确目标。

例如,当前权重(0.1,0.1,0.3,0.5),模型A错前两条,err=0.2;模型B只错第4条,err=0.5。A错了2条,但错分样本总权重仅0.2,小于B错1条的0.5,因此本轮选A。

自测: 只比较普通错分条数能选出本轮最佳弱学习器吗?答案:不一定,必须考虑样本权重。

第 37 / 43 页

样本权重更新:把新项从指数中拆出来

第 37 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part02 01:04:55–01:33:03
Boosting与弱学习器的顺序更新

动手试试 · 点选错分样本,看权重怎样变

第m轮前权重可写 wᵢ⁽ᵐ⁾∝e^[−yᵢFₘ₋₁(xᵢ)];加入新学习器后,下一轮未归一权重 w̃ᵢ⁽ᵐ⁺¹⁾=wᵢ⁽ᵐ⁾e^[−yᵢαₘfₘ(xᵢ)]。这是将 Fₘ=Fₘ₋₁+αₘfₘ 代入指数,再用 e^(a+b)=eᵃeᵇ 拆开得到的。

再算归一化常数 Zₘ=Σᵢwᵢ⁽ᵐ⁾e^[−yᵢαₘfₘ(xᵢ)],用每个未归一权重除Zₘ,使新权重和为1。归一化保证加权错误率仍能解释为0到1之间的比例,也让数值更稳定。

把一轮完整算出来: 四样本原权重各0.25,弱模型错1条,err=0.25,α=½ln3。正确样本乘e^(−α)=1/√3,未归一各0.144337;错分样本乘e^α=√3,未归一0.433013。总和Z≈0.866025;归一后正确各1/6,错分为1/2。三条正确样本总质量1/2,一条错分也占1/2,下一轮它变得很重要。

wᵢ控制第i条样本对下一轮目标函数的贡献;αₘ控制第m个模型对最终分数的贡献。更新w时,xᵢ和yᵢ保持不变。

自测: 归一化时能否每条各除自己原来的权重?答案:不能,所有新权重都除同一个总和Z。

第 38 / 43 页

错分升权、分对降权的计算

第 38 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part02 01:04:55–01:33:03
Boosting与弱学习器的顺序更新

更新因子是 e^(−yᵢαₘfₘ)。αₘ>0且分对时,yf=1,乘e^(−α)<1;分错时yf=−1,乘e^α>1。归一化后仍是错分样本相对正确样本更被重视,二者权重比的变化因子为e^(2α)。

错分条件是 yᵢ≠fₘ(xᵢ)。例如y=−1、f=+1,代入指数得 −(−1)α(+1)=+α,因此乘数为e^α>1;正确分类时则乘e^(−α)<1。

例如,α=½ln3,错/对权重比会乘e^(2α)=3。原来一条错分与一条正确样本权重相同,更新后错分就是正确的3倍;共同归一化不会改变这个比值。实际的新权重由“原权重×更新因子÷Z”共同决定。

用本轮最优α代入,可以验证错分组为何恰好占新权重的一半。第35页的求导式给出 err×e^α=(1−err)×e^(−α)。左边是错分组未归一权重总和,右边是分对组未归一权重总和。二者相等,除以共同总和后,两组各占1/2。

自测: α=0时正确与错误样本的权重会因为本轮改变吗?答案:不会,指数因子全为1;若原权重已归一,Z也为1。

第 39 / 43 页

离散AdaBoost的完整流程

第 39 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part02 01:04:55–01:33:03
Boosting与弱学习器的顺序更新

输入训练对(xᵢ,yᵢ),yᵢ为±1,计划M轮。①初始化 wᵢ=1/N。②第m轮在当前w下训练弱模型fₘ。③计算 errₘ=ΣwᵢI(yᵢ≠fₘ(xᵢ))。④算 αₘ=½ln[(1−errₘ)/errₘ]。⑤乘 e^(−yᵢαₘfₘ) 并归一化,作为下一轮样本权重。⑥最终 ŷ=sign(Σₘαₘfₘ(x))。

例如,第一轮四样本等权、错1条,则err=0.25、α≈0.5493,新权重为错样本0.5、其余各1/6。第二轮按新权重训练,错分的那一条占训练权重的一半。若第二轮err=1/3,α₂=½ln2≈0.3466。新测试样本若f₁=+1、f₂=−1,总分约0.2027,最后仍预测+1。

下面把第一轮的弱模型预测当成已知,复现由 err 到 next_weights 的计算。

from math import exp, log

y = [1, 1, -1, -1]
prediction = [1, 1, -1, 1]
weights = [0.25] * len(y)

err = sum(w for w, label, pred in zip(weights, y, prediction)
          if label != pred)
alpha = 0.5 * log((1 - err) / err)
raw = [w * exp(-label * alpha * pred)
       for w, label, pred in zip(weights, y, prediction)]
normalizer = sum(raw)
next_weights = [w / normalizer for w in raw]
print(round(alpha, 4), [round(w, 4) for w in next_weights])
## 0.5493 [0.1667, 0.1667, 0.1667, 0.5]

zip 每次取同一行的旧权重、真实标签和预测标签。第四行 label=-1、pred=1,所以计算 exp(+alpha)。把 next_weights 交给下一轮拟合。给新样本预测时,依次调用保存的弱模型、乘各自α再求和,最后取符号。

err=0时可结束训练;err=0.5时该模型α=0;err>0.5时,二分类可先翻转预测方向。轮数M控制最终加入多少弱学习器,可根据验证表现选择。

自测: 若两个模型投票数量一比一,就一定平局吗?答案:不一定,离散AdaBoost是按α加权投票,α较大的模型可决定符号。

第 40 / 43 页

Real AdaBoost:弱模型给概率,再转为实数置信分数

第 40 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part02 01:04:55–01:33:03
Boosting与弱学习器的顺序更新

离散AdaBoost的每个fₘ只输出±1,然后由外部系数αₘ决定该模型整体的贡献。Real AdaBoost让弱模型给出当前加权训练分布下的正类概率 pₘ(x)=P(y=+1|x),再定义实数分数 fₘ(x)=½ln[pₘ(x)/(1−pₘ(x))]。

先算odds(几率)p/(1−p),再取自然对数,最后除2。p>0.5时比值>1、ln为正,支持正类;p<0.5时分数为负;p=0.5时ln1=0,表示没有偏向。p越接近0或1,绝对分数越大,表示该轮给出的置信强度越大。

例如,p=0.9,几率9,f=½ln9≈1.0986;p=0.1给−1.0986;p=0.6给½ln1.5≈0.2027。它能对不同x给不同强度,不像离散版本同一模型的硬输出只有±1。

p=0或1会使对数发散,数值实现要明确概率裁剪或平滑。f已经包含置信强度,最终直接累加各轮f。

这个½也能由损失推出。固定x,正类概率为p、负类概率为1−p。输出实数a时,两类的平均指数损失为 p·e^(−a)+(1−p)·e^a。对a求导并令0,得到 −p·e^(−a)+(1−p)·e^a=0,于是 e^(2a)=p/(1−p),取自然对数即 a=½ln[p/(1−p)]。

自测: p=0.5的弱模型对最终分数贡献多少?答案:0,因为½ln(0.5/0.5)=½ln1=0。

第 41 / 43 页

Real AdaBoost更新:把实数分数直接放进指数

第 41 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part02 01:04:55–01:33:03
Boosting与弱学习器的顺序更新

按 wᵢ,new∝wᵢ,old exp[−yᵢfₘ(xᵢ)] 更新,再除总和Z使权重和为1。与离散版本结构相同,但置信强度已经放在实数fₘ里,因此公式不再另乘αₘ。训练M轮后 Fᴹ(x)=Σₘfₘ(x),最后取sign。

算一遍:弱模型对某样本给p=0.9,于是f=½ln9=ln3≈1.0986。若真实y=+1,因子 e^(−ln3)=1/3,权重下降;若真实y=−1,这是自信但错,因子 e^(+ln3)=3,权重上升。若p=0.6,分数较小,乘数就没有这么极端,体现对置信强度的使用。

对新样本两轮分数为0.8与−0.3,总分0.5,预测+1。先累加实数分数,保留每轮的置信强度,最后对总分取sign;这里0.5是总分。

归一化Z由所有训练样本的新未归一权重共同求和;后续弱模型要用更新后的权重重新拟合。真实标签不变,变的是训练重要性。

自测: 某负类样本本轮f=−2,是分对还是分错,指数因子多少?答案:分对,yf=2,因子e^(−2)≈0.1353。

第 42 / 43 页

目录回看:三种策略的训练数据与合并规则

第 42 / 43 页 原页

点击图片放大。

打开源文件

课堂补充

Week05课堂讲解 · Part02 01:04:55–01:33:03
Boosting与弱学习器的顺序更新

Bagging通过重采样分别训练模型,再平均或投票;Stacking用折外预测训练组合器;AdaBoost依次训练模型,并在轮次间调整样本权重。复习时把每种方法的“数据怎样准备→模型怎样训练→预测怎样合并”连起来。

第 43 / 43 页

本讲结束

第 43 / 43 页 原页

点击图片放大。

打开源文件

下一讲学习多层感知机的前向计算与训练。

返回总目录