1. 項目概述從“會算”到“會想”的建模思維躍遷很多同學(xué)在接觸數(shù)學(xué)建模時常常陷入一個誤區(qū)認(rèn)為建模就是找到一堆復(fù)雜的算法然后把數(shù)據(jù)往里一扔等著出結(jié)果。我見過太多隊伍在拿到賽題后第一反應(yīng)是去搜索“用什么模型好”然后生搬硬套一個隨機(jī)森林或者神經(jīng)網(wǎng)絡(luò)最后對著輸出結(jié)果強(qiáng)行解釋整個過程與“建?！倍值谋举|(zhì)——用數(shù)學(xué)語言抽象和描述現(xiàn)實問題——相去甚遠(yuǎn)。實際上一個優(yōu)秀模型的基石往往不是最炫酷的算法而是扎實的統(tǒng)計學(xué)思想和清晰的數(shù)據(jù)分析邏輯。這個項目我們就來徹底聊聊如何將統(tǒng)計學(xué)與數(shù)據(jù)分析真正內(nèi)化為你的建?！凹∪庥洃洝辈⒔柚鶰ATLAB這個強(qiáng)大的工具高效地實現(xiàn)從問題到解決方案的完整閉環(huán)。簡單來說這個內(nèi)容是為那些已經(jīng)了解數(shù)學(xué)建模基本流程、熟悉MATLAB基礎(chǔ)操作但在面對真實數(shù)據(jù)時仍感到無從下手、模型解釋力弱、結(jié)果不穩(wěn)定的同學(xué)準(zhǔn)備的。我們將聚焦于“分析”而非“計算”重點在于培養(yǎng)你看到數(shù)據(jù)背后的故事、合理選擇統(tǒng)計工具、并嚴(yán)謹(jǐn)驗證模型的能力。無論是準(zhǔn)備美賽、國賽還是處理科研或工作中的數(shù)據(jù)分析任務(wù)這套“統(tǒng)計思維數(shù)據(jù)分析MATLAB實現(xiàn)”的組合拳都能讓你從“算法搬運工”升級為“問題解決者”。2. 核心思路拆解統(tǒng)計思維如何貫穿建模全周期數(shù)學(xué)建模絕非一個線性過程而是一個“理解-抽象-分析-驗證-迭代”的循環(huán)。統(tǒng)計學(xué)和數(shù)據(jù)分析在其中扮演著“導(dǎo)航儀”和“質(zhì)檢員”的雙重角色。2.1 建模前的“偵察兵”探索性數(shù)據(jù)分析在動筆寫第一個方程之前你必須對你的數(shù)據(jù)了如指掌。這不僅僅是看看均值、方差而是通過探索性數(shù)據(jù)分析進(jìn)行一場全面的“體檢”。其核心目標(biāo)有三個第一發(fā)現(xiàn)數(shù)據(jù)特征如分布形態(tài)、異常值、周期趨勢第二檢驗建模假設(shè)比如后續(xù)想用線性回歸那數(shù)據(jù)是否滿足線性、獨立性、正態(tài)性等前提第三啟發(fā)模型思路變量間的關(guān)系是線性的還是非線性的是否存在交互效應(yīng)很多新手會跳過這一步直接套模型結(jié)果就是“垃圾進(jìn)垃圾出”。例如你發(fā)現(xiàn)因變量是嚴(yán)重的右偏分布卻直接使用了普通最小二乘法回歸結(jié)果必然失真。正確的做法是先通過箱線圖、直方圖、Q-Q圖、散點圖矩陣等工具進(jìn)行可視化診斷再決定是否需要進(jìn)行數(shù)據(jù)變換如對數(shù)變換或選擇更穩(wěn)健的模型。2.2 建模中的“建筑師”基于統(tǒng)計推斷的模型選擇與構(gòu)建模型選擇不是碰運氣。統(tǒng)計學(xué)提供了嚴(yán)謹(jǐn)?shù)目蚣軄碇笇?dǎo)這一過程。例如面對“是選線性模型還是多項式模型”這個問題你不能光看R2。統(tǒng)計學(xué)中的假設(shè)檢驗和信息準(zhǔn)則就是你的決策工具。通過F檢驗比較嵌套模型的顯著性差異或者使用AIC、BIC準(zhǔn)則在模型復(fù)雜度和擬合優(yōu)度之間取得平衡這些都能讓你的選擇有據(jù)可依。在構(gòu)建模型時統(tǒng)計思想同樣關(guān)鍵。比如在時間序列預(yù)測中你不僅要會調(diào)用arima函數(shù)更要理解自相關(guān)函數(shù)、偏自相關(guān)函數(shù)圖是如何幫助你識別AR、MA的階數(shù)的。在構(gòu)建綜合評價模型時主成分分析不是簡單地降維而是通過方差貢獻(xiàn)率來決定保留幾個主成分這本質(zhì)上是一種基于數(shù)據(jù)本身結(jié)構(gòu)的權(quán)重確定方法比主觀賦權(quán)更具說服力。2.3 建模后的“審計員”模型診斷與驗證模型跑出結(jié)果工作只完成了一半。更重要的是評估這個模型是否可靠、是否過擬合、是否具有普適性。這時統(tǒng)計診斷方法至關(guān)重要。對于回歸模型你需要檢查殘差是否隨機(jī)分布?xì)埐顖D是否滿足同方差性White檢驗是否存在多重共線性VIF值。對于分類模型不能只看準(zhǔn)確率更要看混淆矩陣、ROC曲線和AUC值。交叉驗證是防止過擬合的黃金標(biāo)準(zhǔn)。尤其是當(dāng)數(shù)據(jù)量不大時簡單地將數(shù)據(jù)分為訓(xùn)練集和測試集可能帶來很大的偶然性。使用k折交叉驗證可以更穩(wěn)健地評估模型的泛化能力。MATLAB的cvpartition函數(shù)可以方便地實現(xiàn)這一過程。記住一個在訓(xùn)練集上表現(xiàn)完美但在測試集上崩盤的模型是沒有任何實用價值的。3. 關(guān)鍵統(tǒng)計方法與MATLAB實現(xiàn)精講下面我們深入幾個最核心、最易被誤用的統(tǒng)計方法結(jié)合MATLAB代碼講清原理和實操要點。3.1 假設(shè)檢驗不只是P值小于0.05假設(shè)檢驗是統(tǒng)計推斷的基石但很多人只記住了“P0.05就顯著”。這非常危險。核心原理假設(shè)檢驗的本質(zhì)是在概率論框架下進(jìn)行決策。我們首先設(shè)立一個保守的“原假設(shè)”然后計算在當(dāng)前數(shù)據(jù)下原假設(shè)成立的概率即P值。如果這個概率非常小小于顯著性水平α我們就有理由拒絕原假設(shè)。但“拒絕”不等于“證明”它只意味著證據(jù)不利于原假設(shè)。MATLAB實操與陷阱 比如我們要檢驗兩組獨立樣本的均值是否相等使用t檢驗2。% 生成示例數(shù)據(jù) group1 normrnd(100, 15, [50, 1]); % 均值100標(biāo)準(zhǔn)差15 group2 normrnd(108, 15, [50, 1]); % 均值108 % 執(zhí)行雙樣本t檢驗?zāi)J(rèn)假設(shè)方差不等 [h, p, ci, stats] ttest2(group1, group2); fprintf(假設(shè)檢驗結(jié)果h%d (1表示拒絕原假設(shè))p值%.4f\n, h, p); fprintf(均值差的95%%置信區(qū)間[%.2f, %.2f]\n, ci(1), ci(2));關(guān)鍵注意事項檢驗前提t(yī)檢驗要求數(shù)據(jù)近似正態(tài)分布且方差齊性。在使用ttest2前建議先用vartest2進(jìn)行方差齊性檢驗用lillietest或Q-Q圖檢驗正態(tài)性。如果前提不滿足應(yīng)考慮使用非參數(shù)檢驗如ranksumWilcoxon秩和檢驗。P值的誤解P0.04并不意味著原假設(shè)為假的概率是96%也不意味著效應(yīng)量很大。它只說明在假設(shè)原假設(shè)為真的前提下觀察到當(dāng)前或更極端數(shù)據(jù)的概率是4%。必須結(jié)合效應(yīng)量如Cohen‘s d和置信區(qū)間一起解讀。置信區(qū)間能告訴你效應(yīng)大小的可能范圍比單一的P值信息量豐富得多。多重比較問題如果你同時對多組數(shù)據(jù)進(jìn)行了多次檢驗犯第一類錯誤假陽性的概率會大大增加。此時需要使用如Bonferroni校正等方法調(diào)整顯著性水平α。3.2 方差分析從“有無差異”到“差異何在”當(dāng)我們比較兩組以上數(shù)據(jù)的均值時就需要方差分析。但ANOVA只能告訴你“至少有兩組不同”不能告訴你具體是哪兩組不同。核心原理ANOVA通過比較組間變異和組內(nèi)變異來判斷組別這個因素對觀測結(jié)果是否有顯著影響。其原假設(shè)是所有組的均值都相等。MATLAB實操與事后檢驗 假設(shè)我們有三組來自不同工藝生產(chǎn)的產(chǎn)品強(qiáng)度數(shù)據(jù)。% 數(shù)據(jù)準(zhǔn)備三組數(shù)據(jù)存儲在元胞數(shù)組中 strength {randn(20,1)*250, randn(20,1)*255, randn(20,1)*253}; % 均值略有不同 % 執(zhí)行單因素方差分析 [p, tbl, stats] anova1([strength{1}; strength{2}; strength{3}], ... [ones(20,1); 2*ones(20,1); 3*ones(20,1)]); if p 0.05 fprintf(ANOVA結(jié)果顯示組間存在顯著差異(p%.4f)。需要進(jìn)行事后多重比較。\n, p); % 進(jìn)行事后比較Tukey‘s HSD方法 figure; [c, m, h, nms] multcompare(stats); % c矩陣中第3列和第5列是差異的置信區(qū)間如果不包含0則兩組差異顯著 else fprintf(ANOVA結(jié)果顯示組間無顯著差異(p%.4f)。\n, p); end關(guān)鍵注意事項前提條件ANOVA要求數(shù)據(jù)獨立性、正態(tài)性和方差齊性。方差齊性可以用vartestn函數(shù)檢驗。如果方差異質(zhì)可以考慮使用Welch‘s ANOVAaoctool函數(shù)的一種用法或非參數(shù)Kruskal-Wallis檢驗kruskalwallis函數(shù)。一定要做事后檢驗如果ANOVA結(jié)果顯著必須像上面代碼一樣使用multcompare函數(shù)進(jìn)行事后多重比較才能確定具體是哪幾組之間存在差異。直接做兩兩t檢驗而不校正是錯誤的做法。交互作用對于多因素方差分析anovan函數(shù)一定要檢查交互作用項是否顯著。一個顯著的交互作用意味著一個因素對結(jié)果的影響依賴于另一個因素的水平這時單獨討論主效應(yīng)是沒有意義的。3.3 回歸分析超越“直線擬合”回歸分析是建模中最常用的工具之一但線性回歸只是冰山一角。核心原理與模型家族線性回歸假設(shè)因變量與自變量呈線性關(guān)系誤差項獨立同正態(tài)分布。廣義線性模型當(dāng)因變量不是連續(xù)正態(tài)分布時使用如二項分布邏輯回歸、泊松分布計數(shù)數(shù)據(jù)。非線性回歸關(guān)系已知但為非線性的情況需要提供參數(shù)初始值。穩(wěn)健回歸當(dāng)數(shù)據(jù)中存在異常值或嚴(yán)重偏離經(jīng)典假設(shè)時使用如最小絕對殘差等方法減少異常值影響。MATLAB實操從普通最小二乘到穩(wěn)健回歸% 生成含有異常值的數(shù)據(jù) x (1:100); y_true 2*x 10 normrnd(0, 5, [100,1]); % 真實關(guān)系y2x10噪聲 y_contaminated y_true; y_contaminated([20, 50, 80]) y_contaminated([20, 50, 80]) 150; % 加入三個異常點 % 1. 普通最小二乘回歸 mdl_ols fitlm(x, y_contaminated); disp(OLS回歸結(jié)果); disp(mdl_ols.Coefficients); % 2. 穩(wěn)健回歸使用‘RobustOpts’參數(shù) mdl_robust fitlm(x, y_contaminated, RobustOpts, on); disp(穩(wěn)健回歸結(jié)果); disp(mdl_robust.Coefficients); % 可視化對比 figure; scatter(x, y_contaminated, b.); hold on; plot(x, predict(mdl_ols, x), r-, LineWidth, 2); plot(x, predict(mdl_robust, x), g--, LineWidth, 2); legend(數(shù)據(jù)含異常值, OLS擬合, 穩(wěn)健回歸擬合); xlabel(X); ylabel(Y); title(OLS與穩(wěn)健回歸對比);關(guān)鍵注意事項模型診斷是必須步驟擬合完模型后務(wù)必使用plotResiduals(mdl)繪制殘差圖。你需要看到殘差隨機(jī)分布在0附近沒有明顯的模式如漏斗形、曲線形。還可以使用plotDiagnostics(mdl)查看杠桿值和高Cook距離的點識別強(qiáng)影響點。邏輯回歸的解讀使用fitglm進(jìn)行邏輯回歸時輸出的系數(shù)是log-odds。要解釋為概率變化需要計算優(yōu)勢比exp(系數(shù))。優(yōu)勢比大于1表示該自變量增加會提高事件發(fā)生概率。避免過度依賴R2R2會隨著自變量增加而增加即使是無意義的變量。調(diào)整R2和交叉驗證的均方誤差是更好的模型評價指標(biāo)。對于預(yù)測模型始終以測試集或交叉驗證的表現(xiàn)為準(zhǔn)。4. 高級建模場景中的統(tǒng)計應(yīng)用4.1 時間序列分析分解、平穩(wěn)性與預(yù)測時間序列數(shù)據(jù)如股票價格、月度銷售額具有時間依賴性違背了傳統(tǒng)統(tǒng)計中“數(shù)據(jù)獨立”的假設(shè)。核心流程可視化與分解使用plot觀察趨勢、季節(jié)性和殘差?？梢杂胐ecompose函數(shù)進(jìn)行經(jīng)典分解。平穩(wěn)性檢驗大多數(shù)時間序列模型要求數(shù)據(jù)是平穩(wěn)的均值和方差不隨時間變化。使用adftestADF檢驗檢驗單位根。若不平穩(wěn)需要通過差分diff函數(shù)處理。模型識別通過自相關(guān)函數(shù)和偏自相關(guān)函數(shù)圖autocorr,parcorr初步判斷ARIMA模型的階數(shù)(p,d,q)。擬合與預(yù)測使用arima模型和estimate函數(shù)擬合用forecast函數(shù)預(yù)測。MATLAB示例銷售預(yù)測% 假設(shè)sales是一個月度銷售額的時間序列向量 load(salesData.mat); % 加載數(shù)據(jù) T length(sales); % 1. 分解觀察 figure; decomp decompose(sales, period, 12); % 假設(shè)周期為12個月 plot(decomp); % 查看趨勢、季節(jié)、殘差分量 % 2. 平穩(wěn)性檢驗 [h, pValue] adftest(sales); if ~h fprintf(原始序列非平穩(wěn)(p%.4f)進(jìn)行一階差分。\n, pValue); salesDiff diff(sales); [h2, pValue2] adftest(salesDiff); d 1; % 差分階數(shù) else salesDiff sales; d 0; end % 3. 觀察ACF和PACF圖確定p和q的候選范圍 figure; subplot(2,1,1); autocorr(salesDiff); title(差分后序列自相關(guān)函數(shù)(ACF)); subplot(2,1,2); parcorr(salesDiff); title(差分后序列偏自相關(guān)函數(shù)(PACF)); % 根據(jù)截尾/拖尾特征手動嘗試幾組(p,q)或使用自動定階函數(shù)實操心得時間序列建模更像一門藝術(shù)。ACF/PACF圖通常只能給出一個范圍你需要嘗試多個(p,d,q)組合選擇AIC或BIC值最小的模型。對于有復(fù)雜季節(jié)性的數(shù)據(jù)可以考慮SARIMA模型。此外不要忽視簡單的基準(zhǔn)模型如歷史均值法、季節(jié)性樸素法高級模型必須顯著優(yōu)于這些基準(zhǔn)才有價值。4.2 主成分分析與聚類分析降維與探索當(dāng)變量眾多且存在相關(guān)性時主成分分析可以將它們轉(zhuǎn)換為少數(shù)幾個不相關(guān)的綜合變量主成分用于降維、消除共線性或數(shù)據(jù)可視化。聚類分析則是在無先驗標(biāo)簽的情況下發(fā)現(xiàn)數(shù)據(jù)內(nèi)在的分組結(jié)構(gòu)。PCA實戰(zhàn)要點data randn(100, 10); % 100個樣本10個特征 data(:,3) data(:,1) * 0.7 randn(100,1)*0.3; % 制造一些相關(guān)性 [coeff, score, latent, tsquared, explained] pca(data, Centered, true); % 1. 確定主成分?jǐn)?shù)量看方差解釋率 figure; pareto(explained); % 繪制累積貢獻(xiàn)率圖 xlabel(主成分); ylabel(方差解釋率 (%)); % 通常選擇累積貢獻(xiàn)率80%或特征值1的主成分 numComponents find(cumsum(explained) 80, 1); % 找到解釋80%方差的成分?jǐn)?shù) fprintf(保留前%d個主成分可解釋%.1f%%的總方差。\n, numComponents, sum(explained(1:numComponents))); % 2. 分析主成分含義查看載荷矩陣coeff % coeff(:,1) 表示第一個主成分是原始10個變量的線性組合系數(shù) % 系數(shù)絕對值大的變量對該主成分貢獻(xiàn)大注意事項PCA前通常需要標(biāo)準(zhǔn)化數(shù)據(jù)尤其是量綱不同時MATLAB的pca函數(shù)中‘Centered’為true會中心化但不會縮放?？墒褂脄score先標(biāo)準(zhǔn)化。PCA的結(jié)果是正交的適合作為回歸等模型的輸入以解決多重共線性。聚類分析K-Means實戰(zhàn)% 生成模擬數(shù)據(jù) rng(default); X [randn(100,2)*0.5ones(100,2); randn(100,2)*0.5-ones(100,2)]; % 1. 確定最佳聚類數(shù)K - 肘部法則 distortions []; for k 1:10 [~, C, sumd] kmeans(X, k, Replicates, 5); % 重復(fù)5次避免局部最優(yōu) distortions(k) sum(sumd); end figure; plot(1:10, distortions, bo-); xlabel(聚類數(shù) K); ylabel(簇內(nèi)距離和); title(肘部法則確定最佳K值); % 2. 假設(shè)我們確定K2進(jìn)行聚類并可視化 K 2; [idx, C] kmeans(X, K, Replicates, 10); figure; gscatter(X(:,1), X(:,2), idx); hold on; plot(C(:,1), C(:,2), kx, MarkerSize, 15, LineWidth, 3); legend(Cluster 1, Cluster 2, Centroids);注意事項K-Means對初始質(zhì)心敏感務(wù)必設(shè)置‘Replicates’參數(shù)多次運行取最優(yōu)。它對異常值敏感且要求簇是凸形且大小相近。對于非凸簇或噪聲數(shù)據(jù)可考慮DBSCAN需要自己實現(xiàn)或找工具箱或?qū)哟尉垲恖inkage,cluster函數(shù)。聚類結(jié)果需要結(jié)合業(yè)務(wù)知識進(jìn)行解讀聚類本身只是一種探索性工具。5. 完整建模工作流案例房價影響因素分析我們以一個綜合案例串聯(lián)起從數(shù)據(jù)探索到模型驗證的全過程。假設(shè)我們有一個包含房價及多個自變量的數(shù)據(jù)集。5.1 數(shù)據(jù)導(dǎo)入與探索% 讀取數(shù)據(jù) data readtable(house_price_data.csv); % 初步觀察 summary(data); % 查看各變量摘要統(tǒng)計發(fā)現(xiàn)缺失值 head(data); % 查看前幾行 % 可視化探索 figure; subplot(2,3,1); histogram(data.Price); title(房價分布); subplot(2,3,2); scatter(data.SquareFeet, data.Price); xlabel(面積); ylabel(價格); subplot(2,3,3); boxplot(data.Price, data.Neighborhood); title(不同街區(qū)房價箱線圖); % ... 繪制更多變量關(guān)系圖這一步可能發(fā)現(xiàn)房價呈右偏分布考慮對數(shù)變換某些街區(qū)均價明顯不同需要創(chuàng)建虛擬變量面積與價格關(guān)系可能非線性考慮加入平方項。5.2 數(shù)據(jù)預(yù)處理與特征工程% 處理缺失值對于連續(xù)變量用中位數(shù)填充對于類別變量用眾數(shù)或單獨作為一類 data.SquareFeet fillmissing(data.SquareFeet, median); % 處理異常值基于箱線圖或3sigma原則 Q prctile(data.Price, [25 75]); IQR Q(2) - Q(1); lowerBound Q(1) - 1.5*IQR; upperBound Q(2) 1.5*IQR; data data(data.Price lowerBound data.Price upperBound, :); % 特征工程對數(shù)變換、創(chuàng)建交互項、虛擬變量 data.LogPrice log(data.Price); % 因變量變換使殘差更接近正態(tài) data.SquareFeet_sq data.SquareFeet.^2; % 加入平方項 data dummyvar(data, Neighborhood); % 為街區(qū)創(chuàng)建虛擬變量需轉(zhuǎn)換為分類類型先5.3 模型構(gòu)建、比較與診斷% 劃分訓(xùn)練集和測試集70%-30% cv cvpartition(height(data), HoldOut, 0.3); trainIdx training(cv); testIdx test(cv); trainData data(trainIdx, :); testData data(testIdx, :); % 構(gòu)建多個候選模型 % 模型1簡單線性模型 mdl1 fitlm(trainData, LogPrice ~ SquareFeet Bedrooms Bathrooms); % 模型2加入非線性項和交互項 mdl2 fitlm(trainData, LogPrice ~ SquareFeet SquareFeet_sq Bedrooms*Bathrooms); % 模型3使用逐步回歸自動選擇變量 mdl3 stepwiselm(trainData, LogPrice ~ SquareFeet Bedrooms Bathrooms Neighborhood ..., ... Upper, interactions, Criterion, aic); % 比較模型在測試集上的表現(xiàn) y_test_true testData.LogPrice; y_pred1 predict(mdl1, testData); y_pred2 predict(mdl2, testData); y_pred3 predict(mdl3, testData); mse1 mean((y_test_true - y_pred1).^2); mse2 mean((y_test_true - y_pred2).^2); mse3 mean((y_test_true - y_pred3).^2); fprintf(測試集MSE - 模型1: %.4f, 模型2: %.4f, 模型3: %.4f\n, mse1, mse2, mse3); % 對最優(yōu)模型進(jìn)行詳細(xì)診斷 bestMdl mdl3; % 假設(shè)模型3最優(yōu) figure; plotResiduals(bestMdl, fitted); % 殘差vs擬合值圖檢查同方差性 figure; plotDiagnostics(bestMdl, cookd); % 查找高Cook距離的強(qiáng)影響點5.4 結(jié)果解釋與報告最終你需要解釋模型 “我們的最終模型采用了逐步回歸法選擇變量包含了面積、臥室數(shù)、衛(wèi)生間數(shù)以及街區(qū)位置等特征。模型調(diào)整R2為0.85表明能解釋房價85%的變異。診斷圖顯示殘差隨機(jī)分布無明顯模式模型假設(shè)基本滿足。具體來看面積每增加100平方英尺房價預(yù)計上漲約5%在對數(shù)尺度下系數(shù)為0.05需指數(shù)化解釋。值得注意的是臥室和衛(wèi)生間數(shù)量存在顯著的交互效應(yīng)意味著增加一個衛(wèi)生間對房價的提升作用在臥室較多的房子里更為明顯?！?. 常見陷阱、排查技巧與資源推薦6.1 十大常見陷阱及規(guī)避方法忽略EDA直接建模后果是模型建立在有問題的數(shù)據(jù)上。規(guī)避強(qiáng)制自己花至少30%的時間做EDA和可視化。盲目相信P值只追求P0.05忽略效應(yīng)量和置信區(qū)間。規(guī)避報告結(jié)果時必須同時給出效應(yīng)量估計和置信區(qū)間。數(shù)據(jù)窺探偏差基于同一數(shù)據(jù)集反復(fù)嘗試模型和檢驗直到得到顯著結(jié)果。規(guī)避預(yù)先確定分析計劃使用交叉驗證或在獨立驗證集上做最終檢驗。誤用參數(shù)檢驗在數(shù)據(jù)不滿足正態(tài)性、方差齊性時使用t檢驗或ANOVA。規(guī)避養(yǎng)成先檢驗前提條件的習(xí)慣準(zhǔn)備好非參數(shù)檢驗備選方案。忽略多重共線性在回歸中放入高度相關(guān)的自變量導(dǎo)致系數(shù)估計不穩(wěn)定。規(guī)避計算方差膨脹因子大于10的變量需要考慮剔除或合并如PCA。過擬合模型在訓(xùn)練集上表現(xiàn)完美在測試集上很差。規(guī)避使用交叉驗證、正則化嶺回歸、Lasso或簡化模型。外推陷阱用模型預(yù)測訓(xùn)練數(shù)據(jù)范圍之外的值。規(guī)避明確說明模型的適用范圍避免盲目外推?；煜嚓P(guān)與因果從統(tǒng)計相關(guān)直接推斷因果關(guān)系。規(guī)避牢記“相關(guān)不是因果”因果推斷需要更嚴(yán)謹(jǐn)?shù)膶嶒炘O(shè)計或方法。使用默認(rèn)參數(shù)不加思考比如在聚類中默認(rèn)K2。規(guī)避理解每個算法參數(shù)的含義使用肘部法則、輪廓系數(shù)等工具輔助決策。不報告不確定性只給出點估計如平均房價50萬不報告區(qū)間估計如95% CI: [48萬, 52萬]。規(guī)避任何估計都應(yīng)附帶其不確定性度量。6.2 MATLAB高效技巧與調(diào)試向量化操作避免使用循環(huán)處理數(shù)據(jù)。例如對矩陣的每一列減去其均值用data - mean(data, 1)而不是for循環(huán)。預(yù)分配內(nèi)存在循環(huán)中增長數(shù)組會極大降低速度。先用zeros(n,1)等函數(shù)預(yù)分配好空間。利用統(tǒng)計和機(jī)器學(xué)習(xí)工具箱函數(shù)優(yōu)先使用fitlm,fitglm,pca,kmeans等經(jīng)過優(yōu)化的專業(yè)函數(shù)而不是自己從頭編寫算法。調(diào)試與性能分析使用dbstop if error在出錯時暫停使用tic和toc對關(guān)鍵代碼段計時使用profile viewer查看函數(shù)耗時。圖形美化使用set(gca, FontSize, 12)等命令統(tǒng)一調(diào)整圖形字體大小使用exportgraphics(gcf, plot.png, Resolution, 300)導(dǎo)出高清圖片用于報告。6.3 學(xué)習(xí)資源與下一步方向夯實統(tǒng)計基礎(chǔ)推薦《統(tǒng)計學(xué)》和《統(tǒng)計學(xué)習(xí)導(dǎo)論》前者重原理后者重現(xiàn)代應(yīng)用。MATLAB官方文檔遇到函數(shù)不清楚在命令行輸入doc 函數(shù)名是最好的老師。特別是Statistics and Machine Learning Toolbox的文檔例子非常豐富。實戰(zhàn)提升在Kaggle、天池等平臺找一些經(jīng)典數(shù)據(jù)集如泰坦尼克號生存預(yù)測、房價預(yù)測從頭到尾做一遍模仿優(yōu)秀kernel的分析思路。進(jìn)階方向在掌握上述內(nèi)容后可以深入探索時間序列預(yù)測、生存分析、貝葉斯統(tǒng)計、高維數(shù)據(jù)統(tǒng)計學(xué)習(xí)等方向MATLAB都有相應(yīng)的工具箱支持。建模能力的提升沒有捷徑核心在于養(yǎng)成嚴(yán)謹(jǐn)?shù)慕y(tǒng)計思維習(xí)慣永遠(yuǎn)對數(shù)據(jù)保持好奇和懷疑永遠(yuǎn)追問模型背后的假設(shè)是否成立永遠(yuǎn)用新的數(shù)據(jù)去驗證你的結(jié)論。當(dāng)你開始習(xí)慣在按運行按鈕之前多思考幾分鐘在得到漂亮結(jié)果之后多質(zhì)疑幾句你就已經(jīng)走在成為一名優(yōu)秀建模者的路上了。