簡介《機(jī)器學(xué)習(xí)之模型評估與模型選擇》PPT課件面向機(jī)器學(xué)習(xí)初學(xué)者、算法工程師及相關(guān)面試準(zhǔn)備者系統(tǒng)講解模型評估與選擇的核心流程聚焦如何獲取可靠測試結(jié)果、評估性能優(yōu)劣、判斷模型間實(shí)質(zhì)差別。內(nèi)容先區(qū)分泛化誤差與經(jīng)驗(yàn)誤差剖析過擬合與欠擬合的成因再介紹留出法、K-折交叉驗(yàn)證、自助法等常用評估方法。性能度量部分覆蓋回歸中的平均絕對值誤差、均方誤差、R平方值分類中的錯誤率、精度、查準(zhǔn)率、查全率、F1、ROC與AUC。此外還梳理Boosting、Bagging、Random Forest等集成學(xué)習(xí)方式闡明如何通過組合多個學(xué)習(xí)器進(jìn)一步增強(qiáng)模型的泛化能力。整個壓縮包僅包含1個PPT文件約3MB圖表清晰、結(jié)構(gòu)完整便于教學(xué)與自學(xué)已有146人瀏覽學(xué)習(xí)可按頁對照掌握模型評估與選擇的完整框架。1. 模型評估這件事別讓訓(xùn)練誤差騙了你泛化誤差才是模型選擇的關(guān)鍵一個很常見的翻車現(xiàn)場模型在訓(xùn)練集上跑出97%的準(zhǔn)確率一上真實(shí)業(yè)務(wù)數(shù)據(jù)就掉到60%。問題出在哪大概率是你把經(jīng)驗(yàn)誤差當(dāng)成了泛化誤差在做判斷。機(jī)器學(xué)習(xí)里的模型評估與模型選擇核心就是把“訓(xùn)練誤差低”和“泛化能力強(qiáng)”這兩件事分開看待。這份PPT把評估方法、性能度量、比較檢驗(yàn)串成了一條完整鏈路先用留出法、交叉驗(yàn)證或自助法拿到可靠的測試結(jié)果再用性能度量來衡量好壞最后用比較檢驗(yàn)判斷這種好壞是真實(shí)能力還是抽樣運(yùn)氣。內(nèi)容框架和周志華《機(jī)器學(xué)習(xí)》第2章是同一套體系信息密度不低適合正在補(bǔ)機(jī)器學(xué)習(xí)基礎(chǔ)、準(zhǔn)備期末復(fù)習(xí)或者要從零搭評估流程的從業(yè)者照著捋一遍。2. 評估方法三件套留出法、交叉驗(yàn)證與自助法怎么選PPT把評估方法放在最前面是因?yàn)楹竺嫠小澳Ｐ秃脡摹钡慕Y(jié)論都建立在測試結(jié)果之上。評估方法的核心就一句話怎么拿到一份可信的測試集。原則也很明確——測試集與訓(xùn)練集互斥也就是說測試集里的樣本絕不能參與模型訓(xùn)練。這條底線一旦破掉后面所有指標(biāo)都失去意義。2.1 留出法分層采樣和劃分比例是兩個決定成敗的細(xì)節(jié)留出法是最直觀的評估方式把整個數(shù)據(jù)集按比例切成兩塊一塊訓(xùn)練一塊測試。操作上有一個容易忽略的前提——劃分前先保證訓(xùn)練集和測試集的類別分布一致。以二分類為例如果原始數(shù)據(jù)里正例占30%、負(fù)例占70%那劃分后的訓(xùn)練集和測試集最好各自也保持這個比例這就是分層采樣。不做分層的問題在于劃分出來的測試集可能恰好全是某一類評估結(jié)果會被嚴(yán)重扭曲。PPT里強(qiáng)調(diào)“多次重復(fù)劃分”常見做法是跑100次隨機(jī)劃分每次計(jì)算評估指標(biāo)后取平均。這樣做能大幅降低單次劃分帶來的方差因?yàn)椴煌S機(jī)種子下的劃分結(jié)果可能差異很大。我在實(shí)際項(xiàng)目里一般這么落from sklearn.model_selection import train_test_split # test_size0.2 對應(yīng)約 1/5 的測試集占比 # stratifyy 按類別比例分層采樣random_state 固定劃分結(jié)果 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, stratifyy, random_state42 )這里最關(guān)鍵的是stratifyy它保證劃分前后正負(fù)樣本比例一致random_state固定種子讓實(shí)驗(yàn)可復(fù)現(xiàn)換不同的種子多跑幾次就能看出評估結(jié)果的波動范圍。劃分完之后我還會主動檢查一下訓(xùn)練集和測試集的類別比例確認(rèn)和原始數(shù)據(jù)對得上。關(guān)于測試集大小PPT給出的經(jīng)驗(yàn)區(qū)間是1/5到1/3。這個區(qū)間有講究測試集太小評估結(jié)果的置信度低兩個模型對比時(shí)無法區(qū)分是真實(shí)差異還是隨機(jī)波動測試集太大訓(xùn)練數(shù)據(jù)不足模型學(xué)到的規(guī)律不充分。我在處理中小數(shù)據(jù)集時(shí)習(xí)慣取20%出頭但數(shù)據(jù)量極大時(shí)哪怕測試集只占5%絕對樣本數(shù)也已經(jīng)足夠支撐穩(wěn)定評估不必死守1/5。2.2 K-折交叉驗(yàn)證K值影響偏差與方差的平衡點(diǎn)K-折交叉驗(yàn)證把數(shù)據(jù)等分成K份逐一拿一份當(dāng)驗(yàn)證集、剩余K-1份當(dāng)訓(xùn)練集。這樣做的好處是每個樣本都有一次成為驗(yàn)證樣本的機(jī)會評估結(jié)果比留出法更穩(wěn)定同時(shí)幾乎全部數(shù)據(jù)都被用于訓(xùn)練沒有浪費(fèi)。K默認(rèn)取10是多年實(shí)踐沉淀下來的經(jīng)驗(yàn)值它在偏差和方差之間找到了一個相對平衡的位置。K取大訓(xùn)練數(shù)據(jù)更多、每次訓(xùn)練的模型偏差更小但K次評估結(jié)果之間的相關(guān)性也會升高最終平均值的方差反而偏大K取小訓(xùn)練數(shù)據(jù)少、模型偏差上升評估結(jié)果更容易被數(shù)據(jù)劃分方式左右。所以K值并不是越大越好。平時(shí)做實(shí)驗(yàn)數(shù)據(jù)量中等、訓(xùn)練速度快的模型我用K10數(shù)據(jù)量小或者模型訓(xùn)練一次要花很久我會降到K5先確保能跑完。代碼上交叉驗(yàn)證我一般直接用sklearn封裝好的接口from sklearn.model_selection import cross_val_score, StratifiedKFold from sklearn.ensemble import RandomForestClassifier model RandomForestClassifier(n_estimators100, random_state42) cv StratifiedKFold(n_splits10, shuffleTrue, random_state42) scores cross_val_score(model, X, y, cvcv, scoringaccuracy) print(scores.mean(), scores.std())注意這里用的是StratifiedKFold而不是普通KFold它會在每一折里保持類別比例避免某些折恰好缺了一類樣本。cross_val_score返回的是每一折的分?jǐn)?shù)我從來不會只記一個平均值——每折分?jǐn)?shù)都留著后面做模型比較檢驗(yàn)時(shí)還要用。當(dāng)K等于樣本總數(shù)m時(shí)就是留一法。每個樣本單獨(dú)做一次測試集其余m-1個樣本做訓(xùn)練集循環(huán)m次。留一法的優(yōu)勢在于訓(xùn)練集和測試集都“用到極致”特別適合樣本量極小的場景但代價(jià)是計(jì)算開銷成倍放大并且對某些對單個樣本敏感的模型來說評估結(jié)果的方差反而可能比K-折更大。我在實(shí)際工作中只在樣本量少于幾百時(shí)才考慮留一法。2.3 自助法36.8%的樣本為何始終“隱身”自助法走的是另一條路有放回采樣。每次從原始數(shù)據(jù)中隨機(jī)抽一個樣本放入訓(xùn)練集抽完放回再繼續(xù)抽直到湊夠m個樣本。因?yàn)槭欠呕夭蓸油粋€樣本可能被抽中多次另一些樣本可能一次都沒出現(xiàn)。當(dāng)樣本量m足夠大時(shí)某個樣本始終沒被抽中的概率約等于36.8%這個數(shù)字來源于極限(1-1/m)^m趨近于e^{-1}。那36.8%沒被抽中的樣本正好可以拿來當(dāng)測試集這就是包外估計(jì)。自助法的最大優(yōu)點(diǎn)是小數(shù)據(jù)量下不用為“訓(xùn)練集和測試集如何分配”發(fā)愁訓(xùn)練集規(guī)模和原數(shù)據(jù)一致測試集也有足夠樣本。代價(jià)是自助采樣會改變原始數(shù)據(jù)的分布——有放回采樣帶來的重復(fù)樣本讓訓(xùn)練集里某些樣本被過度代表評估結(jié)果會引入一定偏差。三種方法怎么選我自己的判斷邏輯如下評估方法訓(xùn)練集測試集主要優(yōu)點(diǎn)主要缺點(diǎn)首選場景留出法按比例切分互斥留出簡單直接適合快速驗(yàn)證單次劃分方差大數(shù)據(jù)量充足快速看基線K-折交叉驗(yàn)證K-1份輪流訓(xùn)練1份輪流驗(yàn)證穩(wěn)定、數(shù)據(jù)利用率高計(jì)算開銷大中小數(shù)據(jù)集的標(biāo)準(zhǔn)做法自助法有放回采樣m條未被抽中的36.8%小樣本下訓(xùn)練數(shù)據(jù)不縮水?dāng)?shù)據(jù)分布被改變樣本量少、評估方差優(yōu)先注意交叉驗(yàn)證得到的每折分?jǐn)?shù)都保存下來不要只留平均值。比較兩個模型時(shí)配對數(shù)據(jù)比總平均值有價(jià)值得多。3. 性能度量從錯誤率到AUC先定標(biāo)準(zhǔn)再看數(shù)字PPT里有一句話很關(guān)鍵性能度量是衡量模型泛化能力的評價(jià)標(biāo)準(zhǔn)反映了任務(wù)需求。也就是說同一個模型用不同指標(biāo)去衡量結(jié)論可能完全相反。所以先想清楚業(yè)務(wù)要什么再決定看哪個數(shù)字。3.1 回歸任務(wù)三大指標(biāo)MAE、MSE與R2回歸任務(wù)的評估指標(biāo)有三個最常用平均絕對誤差MAE、均方誤差MSE和R2。MAE就是預(yù)測值與真實(shí)值差的絕對值的平均單位與原始數(shù)據(jù)一致解釋起來最直接——比如預(yù)測房價(jià)MAE是3萬元意味著平均每套房預(yù)測偏差3萬。MSE是誤差平方的期望值因?yàn)樽隽似椒酱笳`差會貢獻(xiàn)更大的損失所以MSE對離群點(diǎn)特別敏感。如果業(yè)務(wù)里預(yù)測失誤的代價(jià)與誤差大小非線性相關(guān)MSE更合適如果只是想知道“平均差多少”MAE更直觀。R2的本質(zhì)是回歸平方和占總平方和的比例衡量模型對觀測值變異的解釋程度。R20.9可以理解為模型解釋了90%的變異。但R2有一個讓新手反復(fù)糾結(jié)的坑它在訓(xùn)練集上會隨著特征數(shù)量增加而單調(diào)上升哪怕加進(jìn)去的是無用特征。所以很多教科書推薦看調(diào)整后的R2。更關(guān)鍵的是R2描述的是“擬合程度”不是“泛化能力”一個在訓(xùn)練集上R2很高的模型可能在新數(shù)據(jù)上表現(xiàn)很差還得回到評估方法那一層去約束。3.2 查準(zhǔn)率與查全率誤報(bào)和漏報(bào)哪個代價(jià)更高分類任務(wù)的評估起點(diǎn)是混淆矩陣四個基本量真正例TP、假正例FP、真負(fù)例TN、假負(fù)例FN。查準(zhǔn)率PTP/(TPFP)回答的是“預(yù)測成正例的樣本里有多少是真的正例”查全率RTP/(TPFN)回答的是“真實(shí)正例里有多少被找出來了”。這兩個指標(biāo)天然互斥想提高查全率往往要把閾值調(diào)低于是更多負(fù)例被誤判為正例查準(zhǔn)率下降。業(yè)務(wù)場景決定了哪個指標(biāo)該優(yōu)先。垃圾郵件過濾更看重查準(zhǔn)率因?yàn)檎`殺一封正常工作郵件比漏收幾封垃圾郵件更讓人惱火而疾病篩查場景反而更看重查全率漏掉一個陽性病人可能耽誤治療。PPT里提到的P-R曲線和平衡點(diǎn)BEP就是在可視化管理這個權(quán)衡曲線越靠右上模型越好。如果兩個學(xué)習(xí)器的PR曲線相交沒法直接判斷誰更優(yōu)就得用BEP或F1這類綜合指標(biāo)來定。3.3 F1、ROC與AUC綜合指標(biāo)的適用邊界F1是查準(zhǔn)率和查全率的調(diào)和平均公式為2PR/(PR)。調(diào)和平均對較小值更敏感所以當(dāng)P和R差距懸殊時(shí)F1會明顯偏小這正好反映了一個“偏科”的模型并不是好模型。F1還有一個變體F-beta通過調(diào)整beta值來給P或R更高權(quán)重beta1更重視查全率beta1更重視查準(zhǔn)率。實(shí)際業(yè)務(wù)中如果需要精確控制“誤報(bào)還是漏報(bào)哪個更不能忍”用F-beta比默認(rèn)F1更合理。ROC曲線和AUC是另一套評估體系。ROC的橫軸是假正率FPR縱軸是真正率TPR。它和PR曲線最大的區(qū)別是ROC在樣本類別不平衡時(shí)仍然顯得樂觀而PR曲線會明顯暴露不平衡問題。比如正例只占1%的數(shù)據(jù)集FPR即使從0.01漲到0.1對ROC的影響也很小但PR曲線上查準(zhǔn)率會劇烈下跌。所以做分類時(shí)我通常會同時(shí)看PR曲線和AUC不平衡場景以PR曲線為主。4. 模型選擇鏈路評估方法、性能度量與比較檢驗(yàn)怎么閉環(huán)PPT反復(fù)強(qiáng)調(diào)模型選擇的三個關(guān)鍵問題如何獲得測試結(jié)果、如何評估性能優(yōu)劣、如何判斷實(shí)質(zhì)差別。短一點(diǎn)說就是“拿到數(shù)字、看懂?dāng)?shù)字、驗(yàn)證數(shù)字”。這三環(huán)缺一不可很多人的項(xiàng)目恰恰死在最后一環(huán)——只比大小不做顯著性檢驗(yàn)。4.1 過擬合與欠擬合模型選擇要解決的根本矛盾過擬合和欠擬合并不是兩個需要背下來的名詞而是模型選擇問題的根源。經(jīng)驗(yàn)誤差低、泛化誤差高說明模型把訓(xùn)練集的噪聲也學(xué)進(jìn)去了經(jīng)驗(yàn)誤差本身就高說明模型連訓(xùn)練數(shù)據(jù)的內(nèi)在規(guī)律都沒抓住。實(shí)際操作中欠擬合好在能直接通過訓(xùn)練誤差看出來給模型加容量、加特征即可過擬合則隱蔽得多因?yàn)橛?xùn)練集上它表現(xiàn)優(yōu)異只有拿到新數(shù)據(jù)才暴露。PPT里的這句話值得反復(fù)想“什么樣的模型是好的不僅取決于算法和數(shù)據(jù)還取決于任務(wù)需求?！蓖粋€數(shù)據(jù)集上隨機(jī)森林可能比線性回歸的MSE低10%但如果你要的是一個可以用系數(shù)解釋業(yè)務(wù)的模型線性回歸仍然可能是更好的選擇。模型選擇不只是“跑分選最高”還要參考可解釋性、訓(xùn)練成本、穩(wěn)定性和維護(hù)難度。4.2 比較檢驗(yàn)兩個模型看起來有差別統(tǒng)計(jì)學(xué)上真的有嗎“如何判斷實(shí)質(zhì)差別”對應(yīng)的是比較檢驗(yàn)。為什么需要這一步因?yàn)槊看卧u估都有隨機(jī)性數(shù)據(jù)劃分不同、初始化不同評估結(jié)果自然有小幅波動。A模型的AUC是0.83B模型是0.82這個0.01的差可能是真實(shí)水平高低也可能是隨機(jī)擾動。不檢驗(yàn)就下結(jié)論等于把決策建立在噪聲之上。常見做法是一組模型在同一套K-折交叉驗(yàn)證下重復(fù)多次評估對每折的兩模型性能差值做配對t檢驗(yàn)也可以借助調(diào)整后的配對檢驗(yàn)因?yàn)楦髡壑g并不是獨(dú)立樣本直接t檢驗(yàn)會低估方差需要修正。教科書里還會提McNemar檢驗(yàn)以及基于排序的Friedman檢驗(yàn)。項(xiàng)目里我的經(jīng)驗(yàn)是先做多折交叉驗(yàn)證拿到每折的指標(biāo)再對差值做配對檢驗(yàn)如果p值大于0.05我不會急著說“A比B好”而是回去檢查是不是評估設(shè)置的方差太大了。提示判斷“互斥”是否做到位的標(biāo)準(zhǔn)很簡單——從測試集樣本里能推算出的任何信息都不應(yīng)該出現(xiàn)在模型訓(xùn)練所用到的輸入中。4.3 集成學(xué)習(xí)模型組合如何改變選擇策略PPT在最后帶出了集成學(xué)習(xí)這不是偶然。Boosting、Bagging、隨機(jī)森林之所以有效本質(zhì)上也是在處理“單個模型不穩(wěn)定”的問題——通過組合多個學(xué)習(xí)器降低方差或偏差。Bagging是并行訓(xùn)練多個個體學(xué)習(xí)器再平均核心就是降方差對高方差模型效果尤其明顯Boosting是串行地訓(xùn)練、每輪加大前一輪中被分錯樣本的權(quán)重核心是降偏差對欠擬合的模型更有幫助。為什么寫模型評估的PPT要引入集成學(xué)習(xí)因?yàn)樗鼈児餐赶蛞粋€目的選出一個對未來數(shù)據(jù)表現(xiàn)穩(wěn)定的模型。單次評估得到的高分只有當(dāng)你確認(rèn)它來自真實(shí)泛化能力而不是訓(xùn)練集記憶時(shí)才有意義。集成學(xué)習(xí)的底層邏輯提醒我們看一個學(xué)習(xí)器時(shí)不僅要看它自己的表現(xiàn)還要看它與其它學(xué)習(xí)器的差異程度——差異越大的個體組合起來整體提升往往越大。5. 避坑清單PPT里沒細(xì)說的五個實(shí)操陷阱5.1 訓(xùn)練集和測試集“互斥”沒做干凈現(xiàn)象訓(xùn)練時(shí)評估指標(biāo)很好測試集上指標(biāo)也不錯但上線后立刻崩。排查后發(fā)現(xiàn)預(yù)處理階段是在合并整個數(shù)據(jù)集上做的測試集信息已經(jīng)泄漏到訓(xùn)練過程里。原因嚴(yán)格來說互斥不僅是“樣本不參與訓(xùn)練”還包括“從數(shù)據(jù)中學(xué)到的任何統(tǒng)計(jì)量都不能來自測試集”。標(biāo)準(zhǔn)化用的均值和標(biāo)準(zhǔn)差如果是在全量數(shù)據(jù)上算的就屬于信息泄漏。解決所有預(yù)處理參數(shù)都只用訓(xùn)練集擬合再用同一套參數(shù)轉(zhuǎn)換測試集。把訓(xùn)練和預(yù)測路徑保持一致避免“線下效果好、線上現(xiàn)原形”。5.2 留出法劃分比例拍腦袋現(xiàn)象測試集取50%結(jié)果訓(xùn)練集上表現(xiàn)一般測試集取10%評估結(jié)果波動極大兩次隨機(jī)劃分差出好幾個點(diǎn)。原因比例不對。測試集太大訓(xùn)練數(shù)據(jù)不足模型欠擬合測試集太小評估方差大。PPT給的1/5到1/3是經(jīng)驗(yàn)區(qū)間但這個區(qū)間也要結(jié)合數(shù)據(jù)總量來判斷。解決數(shù)據(jù)量小時(shí)提高訓(xùn)練比例或改用交叉驗(yàn)證數(shù)據(jù)量很大時(shí)測試集比例可以低于1/5但要保證測試集的絕對樣本數(shù)足夠。劃分時(shí)固定隨機(jī)種子并把劃分方式記錄下來備查。5.3 K值選錯導(dǎo)致評估方差偏大現(xiàn)象同樣的數(shù)據(jù)和模型K5和K10跑出來的平均準(zhǔn)確率差2%而且K5每次重跑的波動更大。原因K值影響偏差方差平衡也影響每次訓(xùn)練子集的重疊程度。K5每次訓(xùn)練數(shù)據(jù)占比只有80%而K10占比90%后者訓(xùn)練更充分單折波動更小。解決默認(rèn)用K10數(shù)據(jù)量極小或訓(xùn)練極慢時(shí)用K5樣本量非常小且模型對單樣本敏感時(shí)考慮留一法。記錄每折的評估結(jié)果不要只留一個平均值。5.4 查準(zhǔn)率與查全率用錯業(yè)務(wù)場景現(xiàn)象某分類模型查準(zhǔn)率0.95、查全率只有0.4團(tuán)隊(duì)認(rèn)為“準(zhǔn)確率挺高就上線了”結(jié)果把大量真實(shí)正例漏掉業(yè)務(wù)方投訴。原因只看一個指標(biāo)。查準(zhǔn)率高可以靠“少預(yù)測正例”實(shí)現(xiàn)比如模型只挑最有把握的幾個樣本預(yù)測為正例其余全判負(fù)查準(zhǔn)率自然高但大量真實(shí)正例被漏掉。解決先把業(yè)務(wù)目標(biāo)拆成“誤報(bào)代價(jià)”和“漏報(bào)代價(jià)”哪個更高再決定優(yōu)化P還是R然后用F1或F-beta做綜合判斷。記錄混淆矩陣的完整四個格子而不是只看一個比例。5.5 跳過比較檢驗(yàn)把隨機(jī)波動當(dāng)成模型差距現(xiàn)象新模型比舊模型AUC高0.01匯報(bào)里寫“提升顯著”上線后換了幾次數(shù)據(jù)劃分優(yōu)勢消失了。原因單次劃分的評估結(jié)果包含抽樣誤差沒有做多次重復(fù)評估并檢驗(yàn)差異是否可能來自隨機(jī)波動。解決固定同一套K-折劃分跑兩個模型記錄每折結(jié)果對差值做配對檢驗(yàn)只有p值小于0.05的差異才當(dāng)真實(shí)提升。日常習(xí)慣是每次對比都保存劃分索引保證多個模型在完全相同的數(shù)據(jù)劃分上比較減少外部變量。6. 落地技巧把整套知識點(diǎn)壓成一份可復(fù)用的評估流程我現(xiàn)在做一個項(xiàng)目第一件事不是選模型而是先把評估流程定下來。流程大致是四步劃分?jǐn)?shù)據(jù)、定指標(biāo)、選候選模型、做比較檢驗(yàn)。劃分?jǐn)?shù)據(jù)優(yōu)先用分層K-折交叉驗(yàn)證K10把劃分索引保存下來指標(biāo)選擇先和業(yè)務(wù)確認(rèn)誤報(bào)/漏報(bào)代價(jià)再確定主指標(biāo)和輔助指標(biāo)候選模型先跑一遍基線再往上加復(fù)雜度最后對所有候選模型在多折結(jié)果上跑配對檢驗(yàn)差異不顯著就選更簡單的。下面是我常用的一張工作參數(shù)表供你落地時(shí)參考環(huán)節(jié)默認(rèn)參數(shù)/做法何時(shí)調(diào)整數(shù)據(jù)劃分分層K-折交叉驗(yàn)證K10數(shù)據(jù)量小/訓(xùn)練慢降為K5類別不平衡同時(shí)看PR曲線與AUC以PR為準(zhǔn)正例比例極低時(shí)回歸評估MAEMSE一起看離群點(diǎn)影響大時(shí)加看R2分類主指標(biāo)按業(yè)務(wù)代價(jià)選P或RF1做輔助代價(jià)不明時(shí)用F1模型比較配對檢驗(yàn)p0.05視為顯著折數(shù)少時(shí)用調(diào)整后的檢驗(yàn)驗(yàn)證方法上有個小技巧每次評估固定隨機(jī)種子并在不同種子上多跑幾次。如果多次運(yùn)行結(jié)果的方差超過了兩個模型之間的差距那這個差距基本是噪聲——這時(shí)候該做的不是繼續(xù)調(diào)模型而是先加大驗(yàn)證集或增加折數(shù)把評估本身做穩(wěn)。我從那次“97%訓(xùn)練準(zhǔn)確率上線崩盤”之后就把這一整套流程寫進(jìn)了自己項(xiàng)目的啟動模板里每到一個新數(shù)據(jù)集都強(qiáng)制走一遍先定評估協(xié)議再談模型效果。這份PPT里的知識點(diǎn)和當(dāng)前很多機(jī)器學(xué)習(xí)課程的評估章節(jié)是互通的你把評估方法選對、指標(biāo)定準(zhǔn)再去追模型提升路徑會順很多。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取