12-集成学习.pptx

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2020/1/12,#,集成学习,Bagging,Boosting and Stacking,王秋月,中国人民大学信息学院,问题,:,决策树容易过拟合,剪枝有助于将方差（,variance,）减少到一定程度,通常使模型泛化的效果并不显著,决策树：高方差,改进：使用多棵树,创建许多棵不同的树,改进：使用多棵树,结合所有树的预测来降低方差,什么是集成学习,训练多个学习器来完成预测任务（分类或回归），然后通过,结合,多个学习器的预测结果而得到最终的结果。,简单平均,投票：硬投票、软投票,“三个臭皮匠，顶个诸葛亮”？,Francis Galton,（,1822-1911,）,英国科学家、探险家,问题简单，且有唯一正确答案；,独立、有差异的个体,为什么？,如何构建多个有差异的学习器,不同的机器学习模型,相同的机器学习模型，,不同的训练数据集,不同的特征选择,不同的超参数,bagging,如何创建多棵树,使用,bootstrapping,，即,有放回的随机抽样,如何创建多棵树,创建多个,bootstrapped,样本,如何创建多棵树,使用每个,bootstrapped,样本构建一棵决策树,样本中的数据分布,(,1,-1,/,n,),n,0,0,.25,0,.30,0,.35,0,.40,2,0,4,0,6,0,8,0,100,Number,of,Bootstrapped,Samples,(n),给定一个包含,n,条记录的数据集，创建,n,个,b,ootstrapped,样本,对于给定的一条记录,x,每个,bootstrap,ped,样本包含大约,2/3,条记录,Vote,to,Form,a,Single,Classifier,聚集结果,多棵树的结果通过,投票,或者取,平均,得到每个样例点的最终结果,Vote,to,Form,a,Single,Classifier,Data,Point,聚集结果,多棵树的结果通过,投票,或者取,平均,得到每个样例点的最终结果,Vote,to,Form,a,Single,Classifier,Results,聚集结果,多棵树的结果通过,投票,或者取,平均,得到每个样例点的最终结果,Vote,to,Form,a,Single,Classifier,聚集结果,多棵树的结果通过,投票,或者取,平均,得到每个样例点的最终结果,Vote,to,Form,a,Single,Classifier,Bagging,=,Bootstrap,Aggregating,聚集结果,多棵树的结果通过,投票,或者取,平均,得到每个样例点的最终结果,Bagging,集成学习,b,ootstrapped,样本为每棵决策树提供了内置的错误率估算,在数据子集上创建决策树,用未使用的样例来计算那棵树的错误率,Bagging,错误率的计算,b,ootstrapped,样本为每棵决策树提供了内置的错误率估算,在数据子集上创建决策树,用未使用的样例来计算那棵树的错误率,Bagging,错误率的计算,b,ootstrapped,样本为每棵决策树提供了内置的错误率估算,在数据子集上创建决策树,用未使用的样例来计算那棵树的错误率,称作“袋外（,out-of-bag,）”错误率,Bagging,错误率的计算,拟合一个,袋装模型不能像逻辑回归一样产生系数,特征的重要性因而要用袋外错误率（,oob,error,）,来估算,为某一特征随机地排列数据，并计算精度的变化，用以衡量其重要性,特征重要度的计算,RF,：袋外数据排列检验。具体是打乱袋外数据中的特征项（加入噪声），打乱前后误差的绝对值反映了该特征的重要性。,GBDT,：特征的全局重要性是所有树中该特征重要性的均值，而单棵树中特征重要性等于该特征分裂导致的基尼不纯度减少之和。,XGB,：根据特征被选中为分裂节点的次数和来判断特征重要性。,特征重要度的计算,B,agging,模型的性能随着树的数目增大而改进,一般在大约,50,棵树时获得最大的改进,RMSE,(Cross-Validated),0,10,0,20,0,30,0,40,0,500,Number,of,Bagged,Trees,拟合多少棵树？,同决策树：,易于解释和实现,输入数据可以是异构的，不要求预处理,特有的：,比决策树的方差低,可以并行地构建多棵树,Bagging,的优势,导入包含分类方法的类：,from sklearn.ensemble import,BaggingClassifier,创建该类的一个对象：,BC,=,BaggingClassifier,(n_estimators=50),拟合训练数据，并预测：,BC,=,BC,.,fit,(X_train,y_train)y_predict=,BC,.,predict,(X_test),使用交叉验证调参。回归用,BaggingRegressor,。,Bagging,分类器的语法,scikit-learn.org/stable/modules/generated/sklearn.ensemble.BaggingClassifier.html,BaggingClassifier,参数设置,base_estimator,基学习器,在采样得到的数据子集上训练的基学习器。,缺省值是,None,。等于,None,时，则使用决策树做基学习器。,n_estimators,基学习器个数,用于集成的基学习器的个数。,缺省值是,10,。,max_samples,最大样例个数,从训练集中随机抽取的，用于训练每个基学习器的样例数目。,缺省值是,1.0,。整数值表示抽取样例的个数；小数值表示抽取样例数占训练集的总样例数的比。,max_features,最大特征数,从训练集中随机抽取的，用于训练每个基学习器的特征数目。,缺省值是,1.0,。整数值表示抽取特征的个数；小数值表示抽取特征数占训练集的总特征数的比。,有,棵独立的决策树，每棵树的方差是,2,则,bagged,方差是：,2,然而，,bootstrap,样本是相关的,（,）,:,RMSE,(Cross-Validated),0,10,0,20,0,30,0,40,0,500,Number,of,Bagged,Trees,Bagging,减少的方差,解决方案：进一步消除树之间的相关性,每棵树使用一组随机抽取的特征：,分类：,回归：,/3,RMSE,(Cross-Validated),0,10,0,20,0,30,0,40,0,500,Number,of,Bagged,Trees,引入更多的随机性,Why,？,引入更多的随机性,RMSE,(Cross-Validated),0,10,0,20,0,30,0,40,0,500,Number,of,Bagged,Trees,Bagging,Random,Forest,解决方案：进一步消除树之间的相关性,每棵树使用一组随机抽取的特征：,分类：,回归：,/3,称作“随机森林”,相对于,Bagging,，随机森林的错误率会进一步降低。,增加足够的树直到错误率不再变化为止,新增加树不会改善结果了。,RMSE,(Cross-Validated),0,10,0,20,0,30,0,40,0,500,Number,of,Bagged,Trees,Bagging,Random,Forest,随机森林多少棵树？,导入包含分类方法的类：,from sklearn.ensemble import,RandomForestClassifier,创建该类的一个对象：,RC,=,RandomForestClassifier,(n_estimators=100,max_features=10),拟合训练数据，并预测：,RC,=,RC,.,fit,(X_train,y_train)y_predict=,RC,.,predict,(X_test),使用交叉验证调参数。回归用,RandomForestRegressor,。,随机森林的语法,scikit-learn.org/stable/modules/generated/sklearn.ensemble.RandomForestClassifier.html,随机森林参数设置,n_estimators,基学习器个数,，,森林中树的个数。,缺省值是,10,。,criterion,分裂条件选择标准,RandomForestClassifier,的缺省值是“,gini,”，即用基尼指数作为衡量指标，也可以是“,entropy,”，即使用熵作为衡量指标；,RandomForestRegressor,的缺省值是“,mse,”，即使用均方差作为衡量指标，也可以是“,mae,”，即使用平均绝对值误差作为衡量指标。,max_features,选择分裂条件时考虑的最大特征数,有以下多种可能的取值：,整数，即可考虑的特征的最多个数；,小数，即可考虑的特征的最多个数占总的特征数的比例；,“,auto,”，即最多考虑（总的特征数）个特征；,“,log2,”，即最多考虑（,）个特征；,“,sqrt,”，即最多考虑（总的特征数）个特征；,缺省值是“,auto,”。,直到找到一个有效的分裂为止，即使需要考虑多于,max_features,个特征。,max_depth,决策树的最大深度,缺省值是,None,。如果为,None,，则节点会一直分裂下去直到每个叶子节点都纯了或者叶子节点包含的样例个数少于,min_samples_split,。,有时需要比随机森林更多的随机性,解决方案：随机选择特征，并创建,随机划分,-,即不使用贪婪划分,称作“超随机森林”,引入更多的随机性,导入包含分类方法的类：,from sklearn.ensemble import,ExtraTreesClassifier,创建该类的一个对象：,EC,=,ExtraTreesClassifier,(n_estimators=100,max_features=10),拟合训练数据，并预测：,EC,=,EC,.,fit,(X_train,y_train)y_predict=,EC,.,predict,(X_test),使用交叉验证调参。回归用,ExtraTreesRegressor,。,超随机森林分类器的语法,scikit-learn.org/stable/modules/generated/sklearn.ensemble.ExtraTreesClassifier.html,Boosting,起源,PAC,（,Probably Approximately Correct,）学习框架,Valiant&Kearns(1984),弱可学习,强可学习,Valiant&Kearns(1989),证明了弱可学习和强可学习的等价性,Schapire(1990),第一次提出一个多项式时间的,Boosting,算法,Freund(1991),提出一种效率更高的,Boosting,算法,Freund&Schapire(1995),提出,AdaBoost,（,Adaptive Boosting,）算法,Friedman(1999),提出,梯度提升,（,Gradient Boosting,）算法,Boosting,模型的基本思路,相继,地训练多个弱学习器，每个弱学习器力图纠正前面学习器的错误，最后将多个弱学习器加权结合起来。,AdaBoost,Temperature 50,F,决策树桩：,Boosting,算法的基学习器,Temperat,ure,Temperature 50,F,决策树桩：,Boosting,算法的基学习器,Temperat,ure,Temperature 50,F,Humidity,50,F,Humidity,30%,Humi,d,ity,决策树桩：,Boosting,算法的基学习器,创建初始的决策树桩,Boosting,概述,拟合数据并计算残差,x,x,x,x,x,x,x,x,x,x,Boosting,概述,调整样例点的权重,x,x,x,x,x,x,x,x,x,x,Boosting,概述,发现新的决策树桩来拟合加权残差,x,x,x,x,x,x,x,x,x,x,Boosting,概述,+,用新的决策树桩来拟合当前残差,x,x,x,x,x,x,x,x,x,x,Boosting,概述,+,x,x,x,x,x,x,x,x,x,x,x,计算误差，并修改数据点的权重,x,x,x,x,x,x,x,x,x,x,Boosting,概述,+,x,x,x,x,x,x,x,x,x,x,x,发现新的决策树桩来拟合加权残差,x,x,x,x,x,x,x,x,x,x,Boosting,概述,+,x,x,x,x,x,x,x,x,x,x,x,+,用新的决策树桩来拟合当前残差,x,x,x,x,x,x,x,x,x,x,Boosting,概述,+,x,x,x,x,x,x,x,x,x,x,x,+,x,x,x,x,x,x,x,x,x,x,x,将多个决策树桩结合成一个分类器,x,x,x,x,x,x,x,x,x,x,Boosting,概述,+,x,x,x,x,x,x,x,x,x,x,x,+,x,x,x,x,x,x,x,x,x,x,x,=,将多个决策树桩结合成一个分类器,x,x,x,x,x,x,x,x,x,x,Boosting,概述,+,x,x,x,x,x,x,x,x,x,x,x,+,x,x,x,x,x,x,x,x,x,x,x,=,x,x,x,x,x,x,x,x,x,x,x,+,=,+,Boosting,概述,预测结果等于多个分类器结果的加权和,+,=,+,Boosting,概述,相继的分类器加权,（学习率）,+,=,+,Boosting,概述,使用,1.0,的学习率有助于防止过拟合（正则化）,AdaBoost,伪码,给定包含,n,个样本的训练集,x,1,x,2,x,n,，初始化每个样本的权重,w,i,=1/n,。,分别设,m=1,2,M,，重复下面的步骤：,在当前训练集上训练一个弱学习器：,用训练出的弱学习器预测训练集中每个样例的类别：,；,计算该弱学习器的加权错误率：,其中,是指示函数，当,成立时，值为,1,，否则为,0,。,计算该弱学习器的权重值,：,其中,是学习率。,修改训练集中每个样例的权重,：,，,i=1,2,n,归一化,w,i,：,将,M,个训练好的弱学习器用加权投票法结合起来，得到最终的集成学习器,C,：,导入包含分类方法的类：,from sklearn.ensemble import,AdaBoostClassifier,from sklearn.tree import,DecisionTreeClassifier,创建该类的一个对象：,ABC,=,AdaBoostClassifier,(base_estimator=DecisionTreeClassifier(),learning_rate=0.1,n_estimators=200),基学习器可以被手工设置,AdaBoost,分类器的语法,导入包含分类方法的类：,from sklearn.ensemble import,AdaBoostClassifier,from sklearn.tree import,DecisionTreeClassifier,创建该类的一个对象：,ABC,=,AdaBoostClassifier,(base_estimator=DecisionTreeClassifier(),learning_rate=0.1,n_estimators=200),这里也可以设置最大深度,AdaBoost,分类器的语法,导入包含该分类方法的类：,from sklearn.ensemble import,AdaBoostClassifier,from sklearn.tree import,DecisionTreeClassifier,创建该类的一个对象：,ABC,=,AdaBoostClassifier,(base_estimator=DecisionTreeClassifier(),learning_rate=0.1,n_estimators=200),拟合训练数据，并预测：,ABC,=,ABC,.,fit,(X_train,y_train),y_predict=,ABC,.,predict,(X_test),使用交叉验证调节参数。回归用,AdaBoostRegressor,AdaBoost,分类器的语法,scikit-learn.org/stable/modules/generated/sklearn.ensemble.AdaBoostClassifier.html,AdaBoost,参数设置,base_estimator,基学习器,缺省是使用决策树做基学习器。要求基学习器支持样本加权。,n_estimators,基学习器个数,缺省值是,50,。,集成的基学习器的最大个数。或者说算法的最大迭代次数，如果已经完美拟合数据了，则会提前停止。,learning_rate,学习率,缺省值是,1.0,。一般设为,0,到,1,之间的值，收缩每个基学习器对最终结果的贡献量，也即每个基学习器的权重缩减系数。它和,n_estimators,之间存在一个折衷，一起来决定算法的拟合效果。如果要达到一定的拟合效果，更小的学习率意味着要训练更多的弱学习器。,algorithm,AdaBoost,分类算法（,仅用于,AdaBoostClassifier,）,可能取值：“,SAMME,”或“,SAMME.R,”，缺省值是“,SAMME.R,”。,Scikit-Learn,中实现的,AdaBoost,分类算法实际是一个被称作,SAMME,的多分类算法版本，当只有两个类别时，,SAMME,就等同于,AdaBoost,。如果基学习器可以估算类别概率值（即它们有一个,predict_prob(),方法），则可以使用,SAMME,的一个变体,SAMME.R,（,R,表示“,real,”，即实数），它基于类别概率值而不是类别标签来计算弱学习器的权重。通常它比,SAMME,算法收敛更快，且测试错误率更低，但要求基学习器必须支持类别概率值的计算。,loss,损失函数（,仅用于,AdaBoostRegressor,）,可能取值：“,linear,”，“,square,”或“,exponential,”，缺省值是“,linear,”。,每一轮调整样本权重时需要用到的损失函数，用于计算每一轮训练出的弱学习器在训练集中每个样本上的预测值与真实值之间的误差，可以是线性误差，平方误差或指数误差。,Gradient Boosting,加性模型（,additive model,）：,前向分步式构建加性模型：,Gradient Boosting,每一步弱学习器,h,m,(x),的训练目标是减少当前模型的预测值,F,(m-1),(x),和目标值,y,之间的差距，更一般地，即最小化损失函数,L(y,F,(m-1),(x)+h,m,(x),：,如果,L,是平方误差，则,对于任意可微的损失函数,L,，数值化地近似求解最小化问题,残差,伪残差,Gradient Boosting,Gradient Boosting,伪码,初始化弱学习器为一个常数值：,分别设,m=1,2,M,，重复下面的步骤：,计算伪残差,（,pseudo residuals,）：,训练一个弱学习器,拟合伪残差,，即用训练集,训练,求解下面的一维优化问题得到,：,更新模型：,输出最终模型：,Boosting,是递加的，所以可能过拟合,使用交叉验证来设置决策树的个数,Test,Set,Error,Random,Forest,Boosting,0,2004006008001000,Boosting,Iterations,调节,Gradient Boosting,模型,学习率（,）：,设为,1.0,用于正则化。又称作“,shrinkage,”,0,Base,=0.1,2004006008001000,Boosting,Iterations,Test,Set,Error,调节,Gradient Boosting,模型,学习率（,）：,设为,1.0,用于正则化。又称作“,shrinkage,”,子采样：设为,1.0,，只使用部分数据用于训练基学习器（,stochastic gradient boosting,）,0,Base,=0.1 s,ubsample,=0.5,2004006008001000,Boosting,Iterations,Test,Set,Error,调节,Gradient Boosting,模型,0,Base,=0.1 s,ubsample,=0.5,=0.1,s,ubsample,=0.5,2004006008001000,Boosting,Iterations,Test,Set,Error,调节,Gradient Boosting,模型,学习率（,）：,设为,1.0,用于正则化。又称作“,shrinkage,”,子采样：设为,1.0,，只使用部分数据用于训练基学习器（,stochastic gradient boosting,）,0,Base,=0.1 s,ubsample,=0.5,=0.1,s,ubsample,=0.5,=0.1,max_features=2,2004006008001000,Boosting,Iterations,Test,Set,Error,调节,Gradient Boosting,模型,学习率（,）：,设为,1.0,用于正则化。又称作“,shrinkage,”,子采样：设为,1.0,，只使用部分数据用于训练基学习器（,stochastic gradient boosting,）,最大特征数：基学习器分裂时考虑的特征数目,导入包含分类方法的类：,from sklearn.ensemble import,GradientBoostingClassifier,创建该类的一个对象：,GBC,=,GradientBoostingClassifier,(learning_rate=0.1,max_features=1,subsample=0.5,n_estimators=200),拟合训练数据，并预测：,GBC,=,GBC,.,fit,(X_train,y_train),y_predict=,GBC,.,predict,(X_test),Gradient Boosting,分类器的语法,使用交叉验证调节参数，回归用,GradientBoostingRegressor,scikit-learn.org/stable/modules/generated/sklearn.ensemble.GradientBoostingClassifier.html,GradientBoostingClassifier,参数设置,loss,损失函数,分类和回归的损失函数不同。,对于分类，可以是对数似然损失“,deviance,”或者指数损失“,exponential,”，缺省值是“,deviance,”。使用“,exponential,”则等同于,AdaBoost,算法。,对于回归，可以是平方损失“,ls,”、绝对损失“,lad,”、,Huber,损失“,huber,”或分位数损失“,quantile,”，缺省值是“,ls,”。一般来说，如果数据的噪音点不多，用默认的“,ls,”比较好。如果噪音点较多，则推荐使用抗噪音的“,huber,”损失函数。如果我们需要对训练集进行分段预测时，则采用“,quantile,”损失函数。,n_estimators,基学习器个数,集成的基学习器的个数。或者说算法的迭代次数。,缺省值是,100,。,learning_rate,学习率,缺省值是,0.1,。一般设为,0,到,1,之间的值，缩减每个基学习器对最终结果的贡献量，即每个基学习器的权重缩减系数，也称步长。它和,n_estimators,之间存在一个折衷，一起来决定算法的拟合效果。如果要达到一定的拟合效果，更小的学习率意味着要训练更多的弱学习器。,subsample,子采样,用于训练每个基学习器的样本数量占整个训练集的比例。,缺省值是,1.0,，即用全部数据训练基学习器。小于,1.0,则是随机梯度提升。小于,1.0,的值会降低系统的方差，防止过拟合，但会增大系统的偏差。,Boosting,使用不同的损失函数,每一步，为每个数据点确定分类间距（,margin,）,正确分类的点，间距是正的；错误分类的点，间距是负的,损失函数的值从间距计算得到,Incorrectly Classified Points,Correctly Classified Points,Lo,s,s,0,M,argin,Boosting,的损失函数,例如二分类的,margin,：,，其中,y=1,-1,错误分类的点损失值为,1,正确分类的点被忽略,理论上“理想的”损失函数,实际难以优化,非平滑和非凸函数,Lo,s,s,0-1,Loss,Misclassified,M,argin,Cor,re,c,t,0-1,损失函数,AdaBoost=Adaptive Boosting,损失函数是,指数函数,：,(),使,AdaBoost,比其他类型的,Boosting,算法对离群点更敏感,Lo,s,s,0-1,Loss,Misclassified,M,argin,Cor,re,c,t,AdaBoost,AdaBoost,的损失函数,一般化的,boosting,方法，可以使用不同的损失函数,常见的实现使用,二项式对数似然损失函数,（偏差）：,log(1+,(),),比,AdaBoost,对离群值更鲁棒,Lo,s,s,0-1,Loss,Misclassified,M,argin,Cor,re,c,t,AdaBoost,Deviance,(Gradient,Boos,ting),Gradient Boosting,的损失函数,Bagging vs.Boosting,boosting,bagging,Bootstrap,产生的样本,独立,创建的基本树,只考虑数据点,不使用权重,多余的树不会造成过拟合,主要关注降低,方差,拟合全部数据集,相继,创建的基本树,利用前面创建的模型的残差,增加错误分类点的权重,当心过拟合,主要关注降低,偏差,Bagging vs.Boosting,stacking,不同类型的模型可以结合起来构建,stacked,模型,类似,bagging,，但不局限于决策树,Test,Labeled Data,Meta,F,eat,u,res,Train,Base Learners,Logistic Regression,SVM,Random Forest,Final Prediction,Meta Learner,Stacking:,结合多个异构的分类器,Stacking:,结合多个异构的分类器,不同类型的模型可以结合起来构建,stacked,模型,类似,bagging,，但不局限于决策树,基学习器的输出产生的特征，可以和数据特征结合在一起,Test,Labeled Data,Meta,F,eat,u,res,Train,Base Learners,Logistic Regression,SVM,Random Forest,Final Prediction,Meta Learner,基学习器的输出可以用多数投票或加权和等方式结合起来,如果元学习器有参数，则需要另外取出的数据做预测,当心增加的模型复杂度,Stacking:,结合多个异构的分类器,Test,Labeled Data,Meta,F,eat,u,res,Train,Base Learners,Logistic Regression,SVM,Random Forest,Final Prediction,Meta Learner,多层堆叠,导入包含该分类方法的类,:,from sklearn.ensemble import,VotingClassifier,创建该类的一个对象：,VC,=,VotingClassifier,(estimator_list,voting=hard,weights=estimator_weight_list),拟合训练数据，并预测：,VC,=,V,C,.,fit,(X_train,y_train),y_predict=,VC,.,predict,(X_test),用新增一层的交叉验证或另外取出的数据集调参,投票分类器的语法,一组拟合的模型，以及如何结合,scikit-learn.org/stable/modules/generated/sklearn.ensemble.VotingClassifier.html,演示,第,12,章,-,集成学习,.ipynb,