翻當(dāng)時(shí)的學(xué)習(xí)筆記的時(shí)候看到這么一頁(yè)寫(xiě)得很潦草數(shù)據(jù)清洗、標(biāo)準(zhǔn)化、特征工程、編碼、過(guò)采樣欠采樣、6:2:2、網(wǎng)格搜索、貝葉斯優(yōu)化、泛化能力……每個(gè)詞單獨(dú)拎出來(lái)我都能說(shuō)出個(gè)大概但當(dāng)時(shí)有個(gè)問(wèn)題一直沒(méi)想通這些東西到底誰(shuí)先誰(shuí)后我記得最清楚的畫(huà)面是第一次做課程項(xiàng)目我把SMOTE過(guò)采樣跑完了才想起來(lái)劃分訓(xùn)練集導(dǎo)師看了一眼說(shuō)你這是把答案提前告訴模型了。后來(lái)自己動(dòng)手跑了幾個(gè)項(xiàng)目才算把這頁(yè)筆記串成一條線(xiàn)。它其實(shí)是一條流水線(xiàn)前后順序有明確的道理亂了就出事。這篇文章就是把這條線(xiàn)從頭到尾捋一遍配一份復(fù)制就能跑的完整代碼。如果你是剛上完課、準(zhǔn)備動(dòng)手做第一個(gè)項(xiàng)目的階段應(yīng)該能少踩幾個(gè)坑。一、先把全貌看清楚整個(gè)流程就三件事但三件事花的時(shí)間完全不成比例數(shù)據(jù)預(yù)處理吃掉整個(gè)項(xiàng)目 6~7 成的工作量。一個(gè)反直覺(jué)的事實(shí)是換算法帶來(lái)的提升通常遠(yuǎn)不如把數(shù)據(jù)弄好帶來(lái)的提升。同樣的數(shù)據(jù)邏輯回歸和 XGBoost 的差距可能是三五個(gè)點(diǎn)但把特征工程做對(duì)可能是二十個(gè)點(diǎn)。所以第一階段別偷懶。一個(gè)反直覺(jué)的事實(shí)換算法帶來(lái)的提升通常遠(yuǎn)不如把數(shù)據(jù)弄好帶來(lái)的提升。同樣的數(shù)據(jù)邏輯回歸和 XGBoost 的差距可能是三五個(gè)點(diǎn)但把特征工程做對(duì)可能是二十個(gè)點(diǎn)。所以第一階段別偷懶。二、數(shù)據(jù)預(yù)處理最臟最累但最值錢(qián)2.1 數(shù)據(jù)清洗原始數(shù)據(jù)基本都是臟的。常見(jiàn)四類(lèi)問(wèn)題問(wèn)題類(lèi)型典型表現(xiàn)常見(jiàn)處理缺失值NaN、空字符串、-999、0刪行 / 填中位數(shù)眾數(shù) / 填業(yè)務(wù)默認(rèn)值異常值年齡 250、月消費(fèi) 999999業(yè)務(wù)規(guī)則修正 / 當(dāng)缺失處理 / 保留重復(fù)值完全重復(fù)、主鍵重復(fù)去重類(lèi)型錯(cuò)誤數(shù)字存成字符串、日期格式不統(tǒng)一轉(zhuǎn)類(lèi)型缺失值這里有個(gè)容易忽略的細(xì)節(jié)空字符串不是 NaN。pandas讀進(jìn)來(lái)的空單元格才是 NaN業(yè)務(wù)系統(tǒng)里導(dǎo)出的空字符串往往原樣保留df.isna().sum()查不出來(lái)。處理前先統(tǒng)一一下df[contract_type] df[contract_type].replace(, np.nan)異常值我想多說(shuō)一句因?yàn)檫@是我踩過(guò)的坑。我第一次處理一張電商用戶(hù)表用 3σ 把月消費(fèi)字段的離群點(diǎn)全刪了結(jié)果把那批消費(fèi)五萬(wàn)以上的 VIP 全干掉了——模型是變干凈了但業(yè)務(wù)上最值錢(qián)的那群人沒(méi)了。所以判斷異常值統(tǒng)計(jì)方法3σ、IQR 箱線(xiàn)圖只是給你一個(gè)候選名單刪不刪要回到業(yè)務(wù)里問(wèn)。我的習(xí)慣是明顯是錄入錯(cuò)誤的年齡 250改成缺失值交給填充器處理數(shù)值雖然極端但真實(shí)的高消費(fèi)用戶(hù)保留或者用分位數(shù)截?cái)郬insorize而不是刪掉。還有個(gè)工程上的建議清洗邏輯寫(xiě)成函數(shù)別在 Excel 里手動(dòng)改。手動(dòng)改過(guò)一次下個(gè)月數(shù)據(jù)刷新你還得手動(dòng)改一遍而且改的還不一定是同一套規(guī)則。2.2 數(shù)據(jù)轉(zhuǎn)換筆記上我在這條旁邊寫(xiě)了個(gè)類(lèi)似蒸餾當(dāng)時(shí)沒(méi)聽(tīng)清老師具體指的啥。后來(lái)理解了大概意思是把量綱千差萬(wàn)別的原始值蒸餾到同一把尺子上。具體來(lái)說(shuō)就兩種標(biāo)準(zhǔn)化Standardization / Z-scorex (x - 均值) / 標(biāo)準(zhǔn)差結(jié)果均值 0、方差 1。歸一化Normalization / Min-Maxx (x - min) / (max - min)結(jié)果壓到 [0, 1]。區(qū)別在于歸一化對(duì)異常值很敏感一個(gè)極端值就能把其他所有樣本擠到很窄的區(qū)間里標(biāo)準(zhǔn)化因?yàn)橛玫氖蔷岛蜆?biāo)準(zhǔn)差抗干擾能力強(qiáng)一些而且不要求數(shù)據(jù)服從正態(tài)分布這點(diǎn)經(jīng)常被人誤解。沒(méi)有特殊需求的話(huà)默認(rèn)用標(biāo)準(zhǔn)化。哪些算法必須做轉(zhuǎn)換判斷標(biāo)準(zhǔn)其實(shí)很簡(jiǎn)單你只需要看這個(gè)算法會(huì)不會(huì)算距離或者用梯度。必須做KNN、SVM、神經(jīng)網(wǎng)絡(luò)、帶正則化的線(xiàn)性模型、PCA、K-Means不用做決策樹(shù)、隨機(jī)森林、XGBoost、LightGBM樹(shù)模型只看分裂閾值跟量綱無(wú)關(guān)不做會(huì)怎樣舉個(gè)直觀(guān)的例子特征里同時(shí)有年齡18-75和年收入0-1000000KNN 算歐氏距離的時(shí)候收入那一項(xiàng)的差值會(huì)完全主導(dǎo)結(jié)果年齡這個(gè)特征等于沒(méi)用。2.3 特征工程這是我認(rèn)為最見(jiàn)功力的地方。筆記里寫(xiě)的構(gòu)建特征字典一開(kāi)始我以為是某種數(shù)據(jù)結(jié)構(gòu)后來(lái)發(fā)現(xiàn)是工程習(xí)慣——給每個(gè)特征建一份檔案。做項(xiàng)目的時(shí)候我都會(huì)先列這么一張表字段名類(lèi)型業(yè)務(wù)含義取值范圍缺失率處理方式來(lái)源age數(shù)值用戶(hù)年齡18-756%中位數(shù)填充 標(biāo)準(zhǔn)化user_profilecontract_type類(lèi)別合約類(lèi)型月付/年付/兩年付3%眾數(shù)填充 獨(dú)熱order_infotenure_months數(shù)值已使用月數(shù)0-720%標(biāo)準(zhǔn)化user_profile看著像形式主義實(shí)際上有幾個(gè)很實(shí)在的用處一是強(qiáng)迫你想清楚每個(gè)字段到底是干嘛的經(jīng)常填著填著就發(fā)現(xiàn)這個(gè)字段模型不該看后面會(huì)說(shuō)的泄露問(wèn)題二是別人接手你的代碼時(shí)不至于抓瞎三是上線(xiàn)的時(shí)候這張表就是特征服務(wù)的接口文檔。至于怎么造特征幾個(gè)我常用的套路# 1. 比值 / 人均絕對(duì)值往往不如相對(duì)值有區(qū)分度 df[tickets_per_month] df[support_tickets] / (df[tenure_months] 1) # 工單總數(shù) 10 單對(duì)用了 3 個(gè)月和用了 3 年的用戶(hù)含義天差地別 # 2. 時(shí)間差注冊(cè)到現(xiàn)在多久、上次登錄距今天數(shù) df[days_since_last_login] (pd.Timestamp.now() - df[last_login]).dt.days # 3. 分箱把連續(xù)值離散化能捕捉非線(xiàn)性關(guān)系 df[age_bin] pd.cut(df[age], bins[18, 25, 35, 50, 100], labelsFalse) # 4. 交叉組合兩個(gè)特征單獨(dú)看沒(méi)用組合起來(lái)有用 df[high_value_new_user] ((df[monthly_charges] 200) (df[tenure_months] 3)).astype(int) # 5. 聚合統(tǒng)計(jì)從明細(xì)表造出用戶(hù)粒度的行為特征 # 近 30 天登錄次數(shù)、近 7 天平均停留時(shí)長(zhǎng) 這類(lèi)表格數(shù)據(jù)里收益最高的一類(lèi)特征第 5 類(lèi)聚合統(tǒng)計(jì)在真實(shí)業(yè)務(wù)里收益最高但有個(gè)前提只能用預(yù)測(cè)時(shí)點(diǎn)之前的數(shù)據(jù)算。你要預(yù)測(cè)用戶(hù)下個(gè)月會(huì)不會(huì)流失那近 30 天登錄次數(shù)必須是截止到預(yù)測(cè)時(shí)點(diǎn)的 30 天不能把未來(lái)數(shù)據(jù)算進(jìn)去。這是時(shí)序特征最容易犯的錯(cuò)。2.4 編碼模型只認(rèn)數(shù)字類(lèi)別特征得先翻譯一下。三種情況有序類(lèi)別—— 用標(biāo)簽編碼順序本身攜帶信息# 學(xué)歷高中 本科 碩士 博士 edu_map {高中: 0, 本科: 1, 碩士: 2, 博士: 3} df[education] df[education].map(edu_map)無(wú)序類(lèi)別—— 用獨(dú)熱編碼One-Hot。注意別用標(biāo)簽編碼瞎編順序微信0、支付寶1、銀行卡2會(huì)讓模型誤以為微信和支付寶的距離比微信和銀行卡近這純屬無(wú)中生有。from sklearn.preprocessing import OneHotEncoder # handle_unknownignore 一定要加 enc OneHotEncoder(handle_unknownignore, sparse_outputFalse)handle_unknownignore這個(gè)參數(shù)值得單獨(dú)提。不加的話(huà)訓(xùn)練集沒(méi)見(jiàn)過(guò)、測(cè)試集出現(xiàn)的類(lèi)別會(huì)直接報(bào)錯(cuò)。真實(shí)業(yè)務(wù)里新類(lèi)別太常見(jiàn)了新上線(xiàn)的支付方式、新開(kāi)的城市不加就是給自己埋雷。加了以后未知類(lèi)別會(huì)編碼成全 0模型不會(huì)因?yàn)橐粋€(gè)沒(méi)見(jiàn)過(guò)的取值直接崩掉。高基數(shù)類(lèi)別—— 取值特別多比如城市、商品 SKU、用戶(hù) ID獨(dú)熱編碼會(huì)把維度撐爆。這時(shí)候用目標(biāo)編碼Target Encoding用該類(lèi)別對(duì)應(yīng)的目標(biāo)變量均值來(lái)替代。但目標(biāo)編碼有嚴(yán)重的泄露風(fēng)險(xiǎn)它用到了標(biāo)簽信息必須在交叉驗(yàn)證的每一折內(nèi)部單獨(dú)計(jì)算不能先算好再劃分?jǐn)?shù)據(jù)集。sklearn 里對(duì)應(yīng)的是TargetEncoder1.3 版本或者用category_encoders這個(gè)庫(kù)。2.5 類(lèi)別不平衡這個(gè)坑我印象最深。第一次做二分類(lèi)任務(wù)跑出來(lái)準(zhǔn)確率 95%我還挺高興結(jié)果一看混淆矩陣——正樣本一個(gè)都沒(méi)預(yù)測(cè)對(duì)。因?yàn)檎龢颖局徽?5%模型只要無(wú)腦預(yù)測(cè)全是負(fù)樣本準(zhǔn)確率就是 95%。所以遇到不平衡數(shù)據(jù)第一件事是把準(zhǔn)確率這個(gè)指標(biāo)拉黑。三種應(yīng)對(duì)方式過(guò)采樣復(fù)制或者合成少數(shù)類(lèi)樣本。SMOTE 是經(jīng)典方法它不只是復(fù)制而是在少數(shù)類(lèi)樣本之間插值合成新樣本from imblearn.over_sampling import SMOTE from imblearn.pipeline import Pipeline as ImbPipeline # 注意用 imblearn 的 Pipeline不是 sklearn 的 pipe ImbPipeline([ (prep, preprocessor), (smote, SMOTE(random_state42)), (clf, RandomForestClassifier()), ])欠采樣刪掉一部分多數(shù)類(lèi)樣本。數(shù)據(jù)量大的時(shí)候挺好用缺點(diǎn)是丟信息。改權(quán)重最省事不動(dòng)數(shù)據(jù)直接告訴模型少數(shù)類(lèi)更重要。sklearn 里大部分分類(lèi)器都支持RandomForestClassifier(class_weightbalanced) LogisticRegression(class_weightbalanced) XGBClassifier(scale_pos_weight負(fù)樣本數(shù)/正樣本數(shù))我個(gè)人習(xí)慣先試class_weightbalanced一行代碼幾乎零成本還不用擔(dān)心過(guò)擬合。這不是偷懶我在同一份數(shù)據(jù)上對(duì)比過(guò)一行class_weightbalanced能拿到測(cè)試集 ROC-AUC 0.8395 / PR-AUC 0.5577換成 SMOTE 反而只有 0.8198 / 0.4751。不是說(shuō) SMOTE 沒(méi)用而是它合成的樣本會(huì)引入噪聲在類(lèi)別邊界重疊嚴(yán)重的表格數(shù)據(jù)上容易幫倒忙。所以我的順序永遠(yuǎn)是先試零成本的權(quán)重法效果不夠再考慮采樣。這里有個(gè)必須記住的順序問(wèn)題采樣只能在訓(xùn)練集上做。先劃分?jǐn)?shù)據(jù)集再對(duì)訓(xùn)練集過(guò)采樣。如果先過(guò)采樣再劃分同一個(gè)樣本的合成兄弟會(huì)同時(shí)出現(xiàn)在訓(xùn)練集和測(cè)試集里測(cè)試成績(jī)會(huì)虛高這就是為什么我第一次做項(xiàng)目被導(dǎo)師說(shuō)的那個(gè)點(diǎn)。三、模型訓(xùn)練3.1 數(shù)據(jù)集劃分為什么非要分三份因?yàn)槿滦枰莶煌臄?shù)據(jù)訓(xùn)練集喂給模型學(xué)習(xí)參數(shù)驗(yàn)證集用來(lái)選模型、調(diào)超參數(shù)測(cè)試集只在最后評(píng)估一次模擬真實(shí)上線(xiàn)后遇到的新數(shù)據(jù)比例用 6:2:2 還是 8:1:1看數(shù)據(jù)量數(shù)據(jù)量小幾千條6:2:2驗(yàn)證集和測(cè)試集都需要足夠樣本指標(biāo)才穩(wěn)定數(shù)據(jù)量大十萬(wàn)以上8:1:1 甚至 98:1:11% 也夠用了多留點(diǎn)給訓(xùn)練數(shù)據(jù)特別小幾百條別硬分三份直接用 K 折交叉驗(yàn)證劃分的時(shí)候記得加stratify保持各集合里類(lèi)別比例一致X_train, X_temp, y_train, y_temp train_test_split( X, y, test_size0.2, stratifyy, random_state42 ) X_val, X_test, y_val, y_test train_test_split( X_temp, y_temp, test_size0.5, stratifyy_temp, random_state42 )不加stratify運(yùn)氣不好會(huì)出現(xiàn)某一折里正樣本特別少的情況訓(xùn)練出來(lái)的模型指標(biāo)會(huì)飄得厲害。還有一種情況要特別注意時(shí)間序列數(shù)據(jù)不能隨機(jī)劃分。你要用 1-6 月的數(shù)據(jù)預(yù)測(cè) 7 月那就嚴(yán)格按時(shí)間切訓(xùn)練集是 1-4 月驗(yàn)證集 5 月測(cè)試集 6 月。隨機(jī)打亂會(huì)讓模型看到未來(lái)線(xiàn)下指標(biāo)好看得離譜上線(xiàn)一塌糊涂。3.2 算法選擇我的順序是先跑基線(xiàn)再上復(fù)雜模型?；€(xiàn)不是走過(guò)場(chǎng)它有兩個(gè)作用一是告訴你這個(gè)問(wèn)題至少能做到什么程度二是如果復(fù)雜模型打不過(guò)基線(xiàn)說(shuō)明你的數(shù)據(jù)或特征有問(wèn)題。表格數(shù)據(jù)也就是大多數(shù)業(yè)務(wù)場(chǎng)景里的結(jié)構(gòu)化數(shù)據(jù)的一個(gè)經(jīng)驗(yàn)結(jié)論梯度提升樹(shù)基本是天花板。多說(shuō)一句很多剛?cè)腴T(mén)的同學(xué)包括當(dāng)時(shí)的我覺(jué)得深度學(xué)習(xí)一定比隨機(jī)森林強(qiáng)。在圖像、文本這些非結(jié)構(gòu)化數(shù)據(jù)上確實(shí)如此但在幾千到幾十萬(wàn)行的表格數(shù)據(jù)上LightGBM 通常又快又好深度網(wǎng)絡(luò)大概率打不過(guò)它還更難調(diào)。選算法之前先認(rèn)清數(shù)據(jù)類(lèi)型。3.3 超參數(shù)調(diào)優(yōu)先分清兩個(gè)概念參數(shù)是模型自己學(xué)出來(lái)的比如線(xiàn)性回歸的系數(shù)超參數(shù)是你提前指定的比如樹(shù)的最大深度。調(diào)參調(diào)的是后者。網(wǎng)格搜索把所有候選值排列組合窮舉一遍。param_grid { clf__max_depth: [6, 10, None], clf__min_samples_leaf: [1, 5, 20], clf__n_estimators: [300], } # 3 × 3 × 1 9 種組合配合 5 折交叉驗(yàn)證 45 次訓(xùn)練問(wèn)題在于組合爆炸3 個(gè)參數(shù)各 3 個(gè)候選值是 27 次5 個(gè)參數(shù)各 5 個(gè)候選值就是 3125 次配上交叉驗(yàn)證直接跑到天荒地老。隨機(jī)搜索在候選范圍內(nèi)隨機(jī)采樣 N 組。Bergstra 和 Bengio 2012 年那篇論文的核心結(jié)論是——通常只有少數(shù)幾個(gè)超參數(shù)真正重要隨機(jī)搜索因?yàn)椴蓸痈稚⒃谕瑯拥挠?jì)算預(yù)算下反而更容易找到好的組合。from sklearn.model_selection import RandomizedSearchCV from scipy.stats import randint, uniform param_dist { clf__max_depth: randint(3, 20), clf__min_samples_leaf: randint(1, 30), clf__subsample: uniform(0.6, 0.4), } search RandomizedSearchCV(pipe, param_dist, n_iter50, scoringaverage_precision, cv5, n_jobs-1)我的實(shí)際做法先用隨機(jī)搜索大范圍掃一遍鎖定大致區(qū)間再用網(wǎng)格搜索在小區(qū)間里精調(diào)。貝葉斯優(yōu)化它會(huì)根據(jù)歷史試驗(yàn)結(jié)果推測(cè)下一組最值得試的參數(shù)而不是瞎試。適合單次訓(xùn)練很貴的情況深度學(xué)習(xí)、大數(shù)據(jù)集。常用庫(kù)是 Optuna代碼量比 GridSearchCV 多一點(diǎn)點(diǎn)但省時(shí)間import optuna def objective(trial): params { n_estimators: trial.suggest_int(n_estimators, 100, 500), max_depth: trial.suggest_int(max_depth, 3, 15), learning_rate: trial.suggest_float(learning_rate, 0.01, 0.3, logTrue), } model LGBMClassifier(**params) score cross_val_score(model, X, y, cv5, scoringaverage_precision).mean() return score study optuna.create_study(directionmaximize) study.optimize(objective, n_trials50)不管用哪種都記得配合交叉驗(yàn)證。用單次的訓(xùn)練集-驗(yàn)證集劃分來(lái)調(diào)參結(jié)果會(huì)受這一次劃分的運(yùn)氣影響交叉驗(yàn)證取平均才穩(wěn)。四、模型評(píng)估4.1 先把混淆矩陣背下來(lái)所有分類(lèi)指標(biāo)都是從這四個(gè)數(shù)推出來(lái)的精確率 Precision TP / (TP FP)你報(bào)出來(lái)的正例里有多少是真的召回率 Recall TP / (TP FN)真正的正例里你抓住了多少F1上面兩個(gè)的調(diào)和平均想要一個(gè)綜合數(shù)字的時(shí)候用怎么選取決于業(yè)務(wù)代價(jià)癌癥篩查、金融風(fēng)控、故障預(yù)警——寧可錯(cuò)殺不可放過(guò)要召回率。漏掉一個(gè)早期癌癥患者的代價(jià)遠(yuǎn)大于讓一個(gè)健康人多做一次檢查。垃圾郵件過(guò)濾、推薦系統(tǒng)——誤殺代價(jià)高要精確率。把老板的重要郵件扔進(jìn)垃圾箱比收一封廣告嚴(yán)重多了。4.2 ROC-AUC 和 PR-AUC這兩個(gè)都是評(píng)估排序能力的指標(biāo)不受閾值選擇影響。ROC-AUC0.5 是隨機(jī)瞎猜1.0 是完美。但它有個(gè)毛病——類(lèi)別嚴(yán)重不平衡時(shí)會(huì)虛高。正樣本只占 1% 的時(shí)候模型只要不給正樣本排太低AUC 就能輕松上 0.9看著很漂亮實(shí)際抓正樣本的能力一塌糊涂。PR-AUCaverage precision只看正樣本的表現(xiàn)在不平衡場(chǎng)景下比 ROC-AUC 誠(chéng)實(shí)得多。所以我的習(xí)慣不平衡數(shù)據(jù)上主看 PR-AUCROC-AUC 當(dāng)輔助?；貧w任務(wù)就三個(gè)常用指標(biāo)MAE平均絕對(duì)誤差好解釋、RMSE對(duì)大誤差更敏感、R2擬合優(yōu)度越接近 1 越好。4.3 泛化能力到底在看什么泛化能力說(shuō)白了就是模型在沒(méi)見(jiàn)過(guò)的數(shù)據(jù)上還能不能打。判斷方法很直接——比訓(xùn)練集和測(cè)試集的分?jǐn)?shù)訓(xùn)練集分?jǐn)?shù)測(cè)試集分?jǐn)?shù)診斷怎么辦很高很低過(guò)擬合加數(shù)據(jù)、簡(jiǎn)化模型、加正則、減特征很低很低欠擬合換復(fù)雜模型、加特征、減少正則高高差距小正常挺好可以上線(xiàn)了比訓(xùn)練集還高—有泄露檢查數(shù)據(jù)劃分和特征構(gòu)造最后一行我加了條有泄露的情況看著違反直覺(jué)但真遇到的時(shí)候特別有提示性測(cè)試集分?jǐn)?shù)比訓(xùn)練集還高八成是哪里出了問(wèn)題最常見(jiàn)的是先做采樣/標(biāo)準(zhǔn)化再劃分?jǐn)?shù)據(jù)或者特征里混進(jìn)了未來(lái)信息。順便說(shuō)下學(xué)習(xí)曲線(xiàn)。橫軸是訓(xùn)練樣本數(shù)縱軸是分?jǐn)?shù)如果兩條線(xiàn)訓(xùn)練集分?jǐn)?shù)、驗(yàn)證集分?jǐn)?shù)之間有一條明顯的鴻溝且不收斂就是過(guò)擬合如果兩條線(xiàn)都低且貼在一起就是欠擬合。比看單個(gè)數(shù)字直觀(guān)。五、串起來(lái)一份完整可運(yùn)行的代碼場(chǎng)景是某 SaaS 產(chǎn)品的用戶(hù)流失預(yù)測(cè)二分類(lèi)且類(lèi)別不平衡。數(shù)據(jù)是我用代碼模擬的會(huì)故意塞入缺失值、異常值和重復(fù)行這樣你復(fù)制過(guò)去直接就能跑不用下載任何數(shù)據(jù)集。依賴(lài)pip install pandas scikit-learn# -*- coding: utf-8 -*- 機(jī)器學(xué)習(xí)標(biāo)準(zhǔn)工作流程 —— 完整可運(yùn)行示例 場(chǎng)景用戶(hù)流失預(yù)測(cè)二分類(lèi)類(lèi)別不平衡 依賴(lài)pip install pandas scikit-learn import numpy as np import pandas as pd from sklearn.model_selection import train_test_split, GridSearchCV, StratifiedKFold from sklearn.pipeline import Pipeline from sklearn.compose import ColumnTransformer from sklearn.impute import SimpleImputer from sklearn.preprocessing import StandardScaler, OneHotEncoder from sklearn.linear_model import LogisticRegression from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import ( classification_report, confusion_matrix, roc_auc_score, average_precision_score, ) RANDOM_STATE 42 rng np.random.default_rng(RANDOM_STATE) # ---------------------------------------------------------------------- # 0. 造一份臟數(shù)據(jù)這樣你復(fù)制過(guò)去就能跑不用下載任何數(shù)據(jù)集 # ---------------------------------------------------------------------- def make_dirty_churn_data(n8000): age rng.normal(38, 12, n).clip(18, 75) tenure rng.exponential(20, n).clip(0, 72) monthly rng.normal(120, 45, n).clip(20, 400) tickets rng.poisson(1.6, n) contract rng.choice([月付, 年付, 兩年付], n, p[0.55, 0.28, 0.17]) payment rng.choice([微信, 支付寶, 銀行卡, 對(duì)公轉(zhuǎn)賬], n, p[0.4, 0.35, 0.2, 0.05]) # 讓標(biāo)簽和特征之間有真實(shí)的因果關(guān)系否則模型學(xué)不到東西 contract_risk np.select( [contract 月付, contract 年付, contract 兩年付], [1.3, -0.5, -1.1] ) logit ( -2.6 0.070 * (age - 38) - 0.070 * tenure 0.015 * (monthly - 120) 0.60 * tickets contract_risk rng.normal(0, 0.5, n) ) churn rng.binomial(1, 1 / (1 np.exp(-logit))) df pd.DataFrame( { age: age, tenure_months: tenure, monthly_charges: monthly, support_tickets: tickets, contract_type: contract, payment_method: payment, churn: churn, } ) # --- 動(dòng)手把數(shù)據(jù)弄臟模擬真實(shí)業(yè)務(wù)表的樣子 --- # (1) 數(shù)值列隨機(jī)缺失 for col, ratio in [(age, 0.06), (monthly_charges, 0.04)]: df.loc[rng.choice(n, int(n * ratio), replaceFalse), col] np.nan # (2) 類(lèi)別列缺失業(yè)務(wù)系統(tǒng)里經(jīng)常是空字符串而不是 NaN df.loc[rng.choice(n, int(n * 0.03), replaceFalse), contract_type] np.nan # (3) 異常值年齡錄成了 3 歲和 250 歲 idx rng.choice(n, 12, replaceFalse) df.loc[idx[:6], age] 3 df.loc[idx[6:], age] 250 # (4) 重復(fù)行 df pd.concat([df, df.sample(30, random_stateRANDOM_STATE)], ignore_indexTrue) return df raw make_dirty_churn_data() print(原始數(shù)據(jù):, raw.shape) print(缺失值統(tǒng)計(jì):\n, raw.isna().sum()) print(流失占比: %.2f%%\n % (raw[churn].mean() * 100)) # ---------------------------------------------------------------------- # 1. 數(shù)據(jù)清洗 # ---------------------------------------------------------------------- def clean(df): df df.drop_duplicates() # 用業(yè)務(wù)規(guī)則修異常年齡合理區(qū)間 [18, 100]超出的一律置為缺失交給后面的填充 器 df.loc[(df[age] 18) | (df[age] 100), age] np.nan # 空字符串也當(dāng)成缺失 df[contract_type] df[contract_type].replace(, np.nan) # 月費(fèi)不可能超過(guò) 1000 df.loc[df[monthly_charges] 1000, monthly_charges] np.nan return df df clean(raw) print(清洗后:, df.shape) # ---------------------------------------------------------------------- # 2. 特征工程這里只做兩件最典型的事比值 分層 # ---------------------------------------------------------------------- def build_features(df): df df.copy() # 每月工單數(shù) 工單總數(shù) / 使用時(shí)長(zhǎng)比單獨(dú)的工單數(shù)更能反映暴躁程度 df[tickets_per_month] df[support_tickets] / (df[tenure_months] 1) # 是否高價(jià)值客戶(hù) df[is_high_value] (df[monthly_charges] df[monthly_charges].median()).astype(int) return df df build_features(df) TARGET churn NUM_FEATURES [ age, tenure_months, monthly_charges, support_tickets, tickets_per_month, is_high_value, ] CAT_FEATURES [contract_type, payment_method] X df[NUM_FEATURES CAT_FEATURES] y df[TARGET] # ---------------------------------------------------------------------- # 3. 數(shù)據(jù)集劃分 —— 必須在任何學(xué)習(xí)數(shù)據(jù)分布的操作之前做 # ---------------------------------------------------------------------- X_train, X_temp, y_train, y_temp train_test_split( X, y, test_size0.2, stratifyy, random_stateRANDOM_STATE ) X_val, X_test, y_val, y_test train_test_split( X_temp, y_temp, test_size0.5, stratifyy_temp, random_stateRANDOM_STATE ) print(\n 訓(xùn)練集 %d / 驗(yàn)證集 %d / 測(cè)試集 %d (8:1:1) % (len(X_train), len(X_val), len(X_test))) print( 各 集 流 失 占 比 : %.3f / %.3f / %.3f\n % (y_train.mean(), y_val.mean(), y_test.mean())) # ---------------------------------------------------------------------- # 4. 預(yù)處理流水線(xiàn)缺失填充 - 標(biāo)準(zhǔn)化 / 獨(dú)熱編碼 # ---------------------------------------------------------------------- numeric_pipe Pipeline([ (imputer, SimpleImputer(strategymedian)), (scaler, StandardScaler()), ]) categorical_pipe Pipeline([ (imputer, SimpleImputer(strategymost_frequent)), (onehot, OneHotEncoder(handle_unknownignore, sparse_outputFalse)), ]) preprocessor ColumnTransformer([ (num, numeric_pipe, NUM_FEATURES), (cat, categorical_pipe, CAT_FEATURES), ]) # ---------------------------------------------------------------------- # 5. 建模邏輯回歸當(dāng)基線(xiàn)隨機(jī)森林當(dāng)主力 # ---------------------------------------------------------------------- def make_model(clf): return Pipeline([(prep, preprocessor), (clf, clf)]) lr make_model( LogisticRegression(max_iter1000, class_weightbalanced, random_stateRANDOM_STATE) ) lr.fit(X_train, y_train) val_prob_lr lr.predict_proba(X_val)[:, 1] print([基線(xiàn)] 邏輯回歸 驗(yàn)證集 AUC %.4f PR-AUC %.4f % (roc_auc_score(y_val, val_prob_lr), average_precision_score(y_val, val_prob_lr))) rf make_model( RandomForestClassifier(n_estimators300, class_weightbalanced_subsample, random_stateRANDOM_STATE, n_jobs-1) ) rf.fit(X_train, y_train) val_prob_rf rf.predict_proba(X_val)[:, 1] print([主力] 隨機(jī)森林 驗(yàn)證集 AUC %.4f PR-AUC %.4f % (roc_auc_score(y_val, val_prob_rf), average_precision_score(y_val, val_prob_rf))) # ---------------------------------------------------------------------- # 6. 超參數(shù)調(diào)優(yōu)網(wǎng)格搜索 分層 K 折交叉驗(yàn)證只用訓(xùn)練集 驗(yàn)證集 # ---------------------------------------------------------------------- X_tv pd.concat([X_train, X_val]) y_tv pd.concat([y_train, y_val]) param_grid { clf__max_depth: [6, 10, None], clf__min_samples_leaf: [1, 5, 20], clf__n_estimators: [300], } cv StratifiedKFold(n_splits5, shuffleTrue, random_stateRANDOM_STATE) search GridSearchCV( make_model(RandomForestClassifier(class_weightbalanced_subsample, random_stateRANDOM_STATE, n_jobs-1)), param_grid, scoringaverage_precision, cvcv, n_jobs-1, ) search.fit(X_tv, y_tv) print(\n 調(diào)參最佳組合:, search.best_params_) print(交叉驗(yàn)證最佳 PR-AUC %.4f % search.best_score_) best_model search.best_estimator_ # ---------------------------------------------------------------------- # 7. 最終評(píng)估 —— 測(cè)試集到此只用這一次 # ---------------------------------------------------------------------- test_prob best_model.predict_proba(X_test)[:, 1] test_pred (test_prob 0.5).astype(int) print(\n 測(cè)試集最終表現(xiàn) ) print(ROC-AUC %.4f PR-AUC %.4f % ( roc_auc_score(y_test, test_prob), average_precision_score(y_test, test_prob))) print(\n 混淆矩陣 (行真實(shí), 列預(yù)測(cè)):) print(confusion_matrix(y_test, test_pred)) print() print(classification_report(y_test, test_pred, target_names[未 流 失 , 流 失 ], digits3)) # ---------------------------------------------------------------------- # 8. 看看泛化能力訓(xùn)練集 vs 測(cè)試集的差距 # ---------------------------------------------------------------------- train_prob best_model.predict_proba(X_tv)[:, 1] print(訓(xùn)練集 PR-AUC %.4f % average_precision_score(y_tv, train_prob)) print(測(cè)試集 PR-AUC %.4f % average_precision_score(y_test, test_prob)) # ---------------------------------------------------------------------- # 9. 特征重要性 # ---------------------------------------------------------------------- feat_names best_model.named_steps[prep].get_feature_names_out() importances best_model.named_steps[clf].feature_importances_ order np.argsort(importances)[::-1] print(\nTop 8 特征重要性:) for i in order[:8]: print( %-28s %.4f % (feat_names[i], importances[i]))我在 Python 3.13 scikit-learn 1.9.0 pandas 3.0.5 上跑出來(lái)的結(jié)果有節(jié)選原始數(shù)據(jù): (8030, 7) 缺失值統(tǒng)計(jì): age 480 monthly_charges 321 contract_type 242 流失占比: 17.57% 清洗后: (8000, 7) 訓(xùn)練集 6400 / 驗(yàn)證集 800 / 測(cè)試集 800 (8:1:1) 各集流失占比: 0.176 / 0.176 / 0.175 [基線(xiàn)] 邏輯回歸 驗(yàn)證集 AUC 0.8681 PR-AUC 0.5941 [主力] 隨機(jī)森林 驗(yàn)證集 AUC 0.8306 PR-AUC 0.5111 調(diào) 參 最 佳 組 合 : {clf__max_depth: None, clf__min_samples_leaf: 20, clf__n_estimators: 300} 交叉驗(yàn)證最佳 PR-AUC 0.5458 測(cè)試集最終表現(xiàn) ROC-AUC 0.8395 PR-AUC 0.5577 混淆矩陣 (行真實(shí), 列預(yù)測(cè)): [[520 140] [ 37 103]] precision recall f1-score support 未流失 0.934 0.788 0.855 660 流失 0.424 0.736 0.538 140 accuracy 0.779 800 訓(xùn)練集 PR-AUC 0.6586 測(cè)試集 PR-AUC 0.5577 差距 0.1009 Top 8 特征重要性: num__tickets_per_month 0.2347 num__age 0.1755 num__tenure_months 0.1749 cat__contract_type_月付 0.1322 num__monthly_charges 0.1032 num__support_tickets 0.0663 cat__contract_type_年付 0.0371 num__is_high_value 0.0307幾個(gè)值得盯著看的數(shù)字第一邏輯回歸AUC 0.8681打贏了隨機(jī)森林0.8306。這不是代碼寫(xiě)錯(cuò)了——這份數(shù)據(jù)的因果關(guān)系是我拿線(xiàn)性 logit 函數(shù)生成的邏輯回歸天生就適合擬合它。真實(shí)業(yè)務(wù)里很少有這么講道理的數(shù)據(jù)但這正好說(shuō)明基線(xiàn)模型不能跳過(guò)它幫你判斷數(shù)據(jù)長(zhǎng)什么樣也幫你在復(fù)雜模型翻車(chē)時(shí)有個(gè)參照。第二ROC-AUC 0.8395 看著挺體面PR-AUC 只有 0.5577。同一個(gè)模型、同一份數(shù)據(jù)兩個(gè)指標(biāo)差了快 0.3差出來(lái)的這部分就是類(lèi)別不平衡的照妖鏡。只報(bào) ROC-AUC很容易讓人以為這是個(gè)能用的模型。第三最反直覺(jué)的一條模型準(zhǔn)確率 0.779比全部預(yù)測(cè)為不流失還低。測(cè)試集里流失只占 17.5%無(wú)腦猜都不流失的準(zhǔn)確率是 82.5%模型反倒只有 77.9%——是不是覺(jué)得白訓(xùn)了不是。看混淆矩陣那兩行140 個(gè)真正會(huì)流失的用戶(hù)模型抓出了 103 個(gè)召回率 73.6%代價(jià)是 140 個(gè)正常用戶(hù)被誤判成流失。這就是class_weightbalanced在起作用——它告訴模型漏掉一個(gè)流失用戶(hù)比誤判一個(gè)正常用戶(hù)更貴模型照做了于是拿準(zhǔn)確率去換召回率。準(zhǔn)確率低不代表模型差只代表你的目標(biāo)和猜多數(shù)類(lèi)不是一回事。業(yè)務(wù)要的是提前把可能流失的人撈出來(lái)去挽回那 73.6% 的召回率就是值錢(qián)的。這也是為什么在不平衡場(chǎng)景下準(zhǔn)確率基本沒(méi)有參考價(jià)值。你要是真把class_weightbalanced去掉再跑一遍會(huì)看到這個(gè)配置準(zhǔn)確率召回率精確率ROC-AUCPR-AUC加權(quán)balanced0.7790.7360.4240.8400.558不加權(quán)默認(rèn)0.8500.2710.6790.8320.554全猜不流失0.8250———去掉權(quán)重準(zhǔn)確率從 0.779 漲到 0.850比全猜不流失的 0.825 還高看著是不是順眼多了但召回率從 0.736 掉到 0.271——140 個(gè)會(huì)流失的用戶(hù)只抓出了 38 個(gè)。如果你要拿這個(gè)模型去做挽回推送等于四分之三的流失用戶(hù)你連招呼都沒(méi)打。更值得琢磨的是最后兩列ROC-AUC 和 PR-AUC 幾乎沒(méi)動(dòng)。因?yàn)閏lass_weight本質(zhì)上只是在移動(dòng)決策閾值就是概率大于 0.5 判為正那條線(xiàn)并沒(méi)有改變模型把正負(fù)樣本排序的能力。模型的底子沒(méi)變變的只是你在哪個(gè)位置切一刀。所以結(jié)論是準(zhǔn)確率、召回率這些指標(biāo)會(huì)跟著閾值劇烈擺動(dòng)AUC 類(lèi)的指標(biāo)才是穩(wěn)的那個(gè)。調(diào)閾值或者調(diào)權(quán)重屬于最后的業(yè)務(wù)決策我愿意用多少誤判換多少召回不該拿來(lái)評(píng)判模型本身的好壞。第四tickets_per_month在特征重要性里排第一0.2347而它的兩個(gè)原材料support_tickets只有 0.0663、tenure_months0.1749排第三。一個(gè)除法算出來(lái)的新特征比原始字段更能打這就是特征工程的實(shí)際收益。最后訓(xùn)練集 PR-AUC 0.6586、測(cè)試集 0.5577差 0.1屬于正常范圍。要是哪天你看到測(cè)試集分?jǐn)?shù)反而比訓(xùn)練集高先回去查數(shù)據(jù)泄露別高興得太早。再看代碼本身有幾個(gè)地方是刻意這么寫(xiě)的一是整個(gè)預(yù)處理和模型都塞進(jìn)了Pipeline。這不是為了好看而是為了防止數(shù)據(jù)泄露——SimpleImputer的中位數(shù)、StandardScaler的均值方差全都是在訓(xùn)練集上算出來(lái)的然后原樣應(yīng)用到驗(yàn)證集和測(cè)試集。如果你手動(dòng)先f(wàn)it_transform整個(gè)數(shù)據(jù)集再劃分測(cè)試集的統(tǒng)計(jì)信息就混進(jìn)訓(xùn)練過(guò)程了指標(biāo)會(huì)虛高。二是class_weightbalanced處理不平衡一行搞定沒(méi)引入任何新樣本。三是調(diào)參階段用的是訓(xùn)練集驗(yàn)證集合并后做 5 折交叉驗(yàn)證測(cè)試集從頭到尾只在最后被碰了一次。這個(gè)習(xí)慣一定要養(yǎng)成每用測(cè)試集做一個(gè)決策它就臟一分。用測(cè)試集反復(fù)調(diào)參選模型等于把測(cè)試集變成了驗(yàn)證集最后那個(gè)漂亮的數(shù)字沒(méi)有意義。四是最后那段特征重要性輸出tickets_per_month這個(gè)我自己造的特征直接排在了第一比它的兩個(gè)原材料support_tickets和tenure_months單獨(dú)用都強(qiáng)。這就是特征工程的價(jià)值——你自己改改build_features函數(shù)加幾個(gè)新特征進(jìn)去看看能不能把 PR-AUC 再推高一點(diǎn)。六、幾個(gè)容易翻車(chē)的地方按我踩坑的頻率排個(gè)序先采樣/先標(biāo)準(zhǔn)化后劃分?jǐn)?shù)據(jù)—— 最經(jīng)典的泄露。train_test_split必須是全流程的第一道工序。用整個(gè)數(shù)據(jù)集的均值填充缺失值—— 同上屬于泄露。放進(jìn) Pipeline 里就不會(huì)犯。類(lèi)別不平衡還盯著準(zhǔn)確率看—— 95% 的準(zhǔn)確率可能一個(gè)正樣本都沒(méi)抓到先看混淆矩陣和 PR-AUC。One-Hot 忘了加handle_unknownignore—— 訓(xùn)練沒(méi)問(wèn)題上線(xiàn)遇到新類(lèi)別直接報(bào)錯(cuò)。測(cè)試集被反復(fù)使用—— 調(diào)一次參看一次測(cè)試集最后報(bào)告的數(shù)字其實(shí)是過(guò)擬合到測(cè)試集上的。特征里混入了未來(lái)信息—— 比如用訂單總金額預(yù)測(cè)用戶(hù)是否下單這種特征線(xiàn)下 AUC 能到 0.99上線(xiàn)就廢。特征字典里來(lái)源那一列就是用來(lái)排查這個(gè)的。忽略業(yè)務(wù)規(guī)則—— 模型說(shuō)這個(gè)用戶(hù)會(huì)流失但你去看數(shù)據(jù)發(fā)現(xiàn)他的賬號(hào)三天前就被封了。這種樣本應(yīng)該提前剔除。寫(xiě)在最后回頭看那頁(yè)筆記它其實(shí)給了正確的順序只是我當(dāng)時(shí)不知道每一步為什么在那里。真正讓我理解這個(gè)流程的不是背下來(lái)清洗→轉(zhuǎn)換→特征→編碼→采樣這個(gè)順序而是想明白了一件事凡是從數(shù)據(jù)里學(xué)出來(lái)的東西均值、方差、類(lèi)別映射、采樣策略、超參數(shù)都只能在訓(xùn)練集上學(xué)習(xí)然后應(yīng)用到其他集合上。理解了這一條整個(gè)流程的順序就能自己推出來(lái)了——標(biāo)準(zhǔn)化為什么在劃分之后SMOTE 為什么只能在訓(xùn)練集上做Pipeline 為什么非寫(xiě)不可全是同一個(gè)道理的不同表現(xiàn)。代碼在上面我是跑通了的。建議你動(dòng)手改幾個(gè)地方試試把class_weightbalanced去掉看準(zhǔn)確率是不是會(huì)漲回 0.82 以上、召回率又會(huì)掉到多少或者把build_features里的tickets_per_month刪掉看 PR-AUC 掉幾個(gè)點(diǎn)。動(dòng)手改一遍比看十遍記得牢。如果這篇文章對(duì)你有幫助歡迎點(diǎn)贊收藏。有說(shuō)錯(cuò)的地方也歡迎評(píng)論區(qū)指出我改。