周志华机器学习ppt Chap02模型评估与选择课件.pptx
20,16,南,京,大,学,机,器,学,习,导,论,课,程,专,用,所,有,权,保,留,机器学习导论,(2016 春季学期),二、模型评估与选择主讲教师：周志华,权,学,机,16,南,京,大,保,20,器,学,习,导,论,课,程,专,用,所,有,留,典型的机器学习过程什么模型好？,能很好地适用于 unseen instance,泛化能力强！,例如，错误率低、精度高然而，我们手上没有 unseen instance，,权,所,有,20,16,南,京,大,学,机,器,学,习,导,论,课,程,专,用,保,留,泛化误差 vs. 经验误差,泛化误差：在“未来”样本上的误差,经验误差：在训练集上的误差，亦称“训练误差”, 泛化误差越小越好, 经验误差是否越小越好？,NO! 因为会出现“过拟合”(overfitting),20,16,南,京,大,学,机,器,学,习,导,论,课,程,专,用,所,有,权,保,留,过拟合,(overfitting),vs. 欠拟合,(underfitting),20,16,南,京,大,学,机,器,学,习,导,论,课,程,用,专,所,有,权,保,留,模型选择,(model selection),三个关键问题:, 如何获得测试结果？ 如何评估性能优劣？ 如何判断实质差别？,评估方法性能度量比较检验,权,专,用,20,16,南,京,大,学,机,器,学,习,导,论,课,程,所,有,保,留,评估方法,关键：怎么获得“测试集”(test set) ？,测试集应该与训练集“互斥”,常见方法：, 留出法 (hold-out), 交叉验证法 (cross validation) 自助法 (bootstrap),权,20,16,南,京,大,学,机,器,学,习,导,论,课,程,专,用,所,有,保,留,训练集,测试集,留出法拥有的数据集,注意： 保持数据分布一致性 （例如: 分层采样) 多次重复划分 (例如: 100次随机划分) 测试集不能太大、不能太小 (例如：1/51/3),20,16,南,京,大,学,机,器,学,习,导,论,课,程,专,用,所,有,权,保,留,k-折交叉验证法,若 k = m，则得到“留一法”,(leave-one-out, LOO),权,保,器,学,习,导,论,课,学,机,20,16,南,京,大,程,专,用,所,有,留,自助法基于“自助采样” (bootsrap sampling)亦称“有放回采样”、“可重复采样”,约有 36.8% 的样本不出现,训练集与原样本集同规模,数据分布有所改变“包外估计”(out-of-bag estimation),权,专,用,20,16,南,京,大,学,机,器,学,习,导,论,课,程,所,有,保,留,“调参”与最终模型,算法的参数：一般由人工设定，亦称“超参数”模型的参数：一般由学习确定,参数调得好不好对性能往往对最终性能有关键影响,调参过程相似：先产生若干模型，然后基于某种评估方法进行选择,区别：训练集 vs. 测试集 vs. 验证集 (validation set),算法参数选定后，要用“训练集+验证集”重新训练最终模型,20,16,南,京,大,学,机,器,学,习,导,论,课,程,用,专,所,有,权,保,留,模型选择,(model selection),三个关键问题:, 如何获得测试结果？ 如何评估性能优劣？ 如何判断实质差别？,评估方法性能度量比较检验,20,16,南,京,大,学,机,器,学,习,导,论,课,程,专,用,所,有,权,保,留,性能度量,性能度量(performance measure)是衡量模型泛化能力的评价标准，反映了任务需求,使用不同的性能度量往往会导致不同的评判结果,什么样的模型是“好”的，不仅取决于算法和数据，,还取决于任务需求, 回归(regression) 任务常用均方误差：,20,16,南,京,大,学,机,器,学,习,导,论,课,程,专,用,所,有,权,保,留,错误率 vs. 精度, 错误率：, 精度：,权,20,16,南,京,大,学,机,器,学,习,导,论,课,程,专,用,所,有,保,留, 查准率：,查准率 vs. 查全率, 查全率：,权,所,用,专,有,程,课,机,器,学,习,导,论,大,学,20,16,南,京,保,留,(BEP),PR图： 学习器 A 优于 学习器 C 学习器 B 优于 学习器 C 学习器 A ? 学习器 BBEP： 学习器 A 优于 学习器 B 学习器 A 优于 学习器 C 学习器 B 优于 学习器 C,PR图, BEP根据学习器的预测结果按正例可能性大小对样例进行排序，并逐个把样本作为正例进行预测,权,20,16,南,京,大,学,机,器,学,习,导,论,课,程,专,用,所,有,保,留,F1,若对查准率/查全率有不同偏好：,比 BEP 更常用的 F1 度量：,权,20,16,南,京,大,学,机,器,学,习,导,论,课,程,专,用,所,有,保,留,宏xx vs. 微xx若能得到多个混淆矩阵:(例如多次训练/测试的结果，多分类的两两混淆矩阵),宏(macro-)查准率、查全率、F1,微(micro-)查准率、查全率、F1,权,保,用,导,论,课,程,20,16,南,京,大,学,机,器,学,习,专,所,有,留,ROC Curve,ROC, AUCAUC: Area Under the ROC CurveROC (Receiver OperatingCharacteristic) Curve Green Spackman,IWML89Area Under,The bigger, the better,权,用,程,专,所,有,20,16,南,京,大,学,机,器,学,习,导,论,课,保,留,非均等代价,犯不同的错误往往会造成不同的损失,此时需考虑“非均等代价”,(unequal cost), 代价敏感(cost-sensitive)错误率：,20,16,南,京,大,学,机,器,学,习,导,论,课,程,用,专,所,有,权,保,留,模型选择,(model selection),三个关键问题:, 如何获得测试结果？ 如何评估性能优劣？ 如何判断实质差别？,评估方法性能度量比较检验,权,20,16,南,京,学,机,器,学,习,导,大,论,课,程,专,用,所,有,保,留,比较检验在某种度量下取得评估结果后，是否可以直接比较以评判优劣？NO ! 因为： 测试性能不等于泛化性能 测试性能随着测试集的变化而变化 很多机器学习算法本身有一定的随机性,机器学习,“概率近似正确”,程,专,用,所,有,课,权,学,习,20,16,南,京,大,学,机,器,导,论,保,留,(莱斯利 维利昂特)(1949- )2010年图灵奖,机器学习的理论基础计算学习理论Computational learning theoryLeslie Valiant,PAC (Probably Approximately Correct),learning model,Valiant, 1984,20,16,南,京,大,学,机,器,学,习,导,论,课,程,专,所,用,有,权,保,留, 两学习器比较, 交叉验证 t 检验 (基于成对 t 检验)k 折交叉验证； 5x2交叉验证 McNemar 检验 (基于列联表，卡方检验) 多学习器比较 Friedman + Nemenyi Friedman检验 (基于序值，F检验; 判断”是否都相同”) Nemenyi 后续检验 (基于序值，进一步判断两两差别),常用方法统计假设检验 (hypothesis test) 为学习器性能比较提供了重要依据,统计显著性,20,16,南,京,大,学,机,器,学,习,导,论,课,程,专,用,所,有,权,保,留,Friedman 检验图,横轴为平均序值，每个算法圆点为其平均序值，线段为临界阈值的大小,若两个算法有交叠 (A 和 B)，则说明没有显著差别;否则有显著差别 (A 和 C)，算法 A 显著优于算法 C,20,16,南,京,大,学,机,器,学,习,导,论,课,程,专,用,所,有,权,保,留,“误差”包含了哪些因素 ?,换言之，从机器学习的角度看，,“误差”从何而来?,20,16,南,京,大,学,机,器,学,习,导,论,课,程,专,用,所,有,权,保,留,偏差-方差分解,(bias-variance decomposition),对回归任务，泛化误差可通过“偏差-方差分解”拆解为：期望输出与真实输出的差别同样大小的训练集的变动，所导致的,性能变化,训练样本的标记与,真实标记有区别表达了当前任务上任何学习算法所能达到的期望泛化误差下界泛化性能是由学习算法的能力、数据的充分性以及学习任务本身的难度共同决定,20,16,南,京,大,学,机,器,学,习,导,论,课,程,专,用,所,有,权,保,留,偏差-方差窘境,(bias-variance dillema),一般而言，偏差与方差存在冲突：训练不足时，学习器拟合能力不强，偏差主导随着训练程度加深，学习器拟合能力逐渐增强，方差逐渐主导训练充足后，学习器的拟合能力很强，方差主导,20,16,南,京,大,学,机,器,学,习,导,论,课,程,专,用,所,有,权,保,留,前往第三站,
