1. 從“筆記”到“工具箱”我的數(shù)學(xué)建模算法學(xué)習(xí)心路看到“數(shù)學(xué)建模算法學(xué)習(xí)筆記 已完結(jié)”這個(gè)標(biāo)題很多朋友可能會(huì)覺得這大概就是一本整理好的公式和代碼合集。但對(duì)我而言這份“已完結(jié)”的筆記更像是一個(gè)從迷茫到清晰、從理論到實(shí)戰(zhàn)的完整工具箱的鍛造過程。它不是終點(diǎn)而是一個(gè)可以隨時(shí)取用、反復(fù)打磨的起點(diǎn)。數(shù)學(xué)建模競(jìng)賽無論是國(guó)賽、美賽還是亞太杯其核心魅力不在于你掌握了多少高深的算法而在于你能否在有限時(shí)間內(nèi)將一個(gè)現(xiàn)實(shí)問題抽象、簡(jiǎn)化并用合適的數(shù)學(xué)工具和計(jì)算手段去逼近、求解和解釋。這個(gè)過程算法是“兵器”而思維才是“內(nèi)功”。我的筆記就是記錄下每一件兵器的鍛造方法、適用場(chǎng)景、以及我在實(shí)戰(zhàn)中磕碰出的使用心得。這份筆記涵蓋了從數(shù)據(jù)處理、模型構(gòu)建到求解驗(yàn)證的全流程工具涉及Matlab、Python、SPSS等。但我不打算把它寫成一本軟件說明書或算法詞典。我想分享的是如何將這些工具和算法有機(jī)地串聯(lián)起來解決一個(gè)個(gè)具體問題的思考路徑和實(shí)操細(xì)節(jié)。比如當(dāng)你面對(duì)亞太杯數(shù)學(xué)建模A題那種復(fù)雜的系統(tǒng)優(yōu)化問題時(shí)是選擇改進(jìn)的鯨魚算法進(jìn)行全局尋優(yōu)還是用A*算法處理路徑規(guī)劃當(dāng)你用SPSS做出ROC曲線后那個(gè)陽性預(yù)測(cè)值到底該怎么算、怎么解釋這些在標(biāo)準(zhǔn)教材里往往一筆帶過卻是在實(shí)戰(zhàn)中決定成敗的關(guān)鍵。接下來我將分幾個(gè)部分拆解我的這個(gè)“算法工具箱”是如何搭建并投入使用的。2. 基石篇數(shù)據(jù)處理與探索性分析——SPSS與Python的雙劍合璧數(shù)學(xué)建模的第一步永遠(yuǎn)是對(duì)數(shù)據(jù)的“望聞問切”。很多驚艷的模型最終敗給了糟糕的數(shù)據(jù)質(zhì)量。我的經(jīng)驗(yàn)是SPSS和Python在這一階段可以完美互補(bǔ)前者強(qiáng)在交互與統(tǒng)計(jì)檢驗(yàn)的規(guī)范性后者強(qiáng)在靈活性與自動(dòng)化處理。2.1 SPSS規(guī)范性統(tǒng)計(jì)檢驗(yàn)的“標(biāo)尺”對(duì)于問卷數(shù)據(jù)、醫(yī)學(xué)數(shù)據(jù)等結(jié)構(gòu)化程度高、需要嚴(yán)格進(jìn)行統(tǒng)計(jì)推斷的場(chǎng)景SPSS的菜單化操作及其清晰的輸出結(jié)果是撰寫規(guī)范論文的利器。主成分分析PCA降維實(shí)戰(zhàn)當(dāng)你的模型變量多達(dá)數(shù)十個(gè)且存在多重共線性時(shí)PCA是降維的經(jīng)典方法。在SPSS中操作并不復(fù)雜分析 - 降維 - 因子分析把變量選入在“抽取”里選擇“主成分”并勾選“碎石圖”。但關(guān)鍵在于后續(xù)成分?jǐn)?shù)量的確定不能只看特征值大于1Kaiser準(zhǔn)則一定要結(jié)合碎石圖的拐點(diǎn)和平緩趨勢(shì)以及累計(jì)方差貢獻(xiàn)率通常要達(dá)到70%-80%以上綜合判斷。我曾在一個(gè)經(jīng)濟(jì)預(yù)測(cè)題中機(jī)械地用了特征值1抽出了8個(gè)成分結(jié)果后續(xù)回歸模型解釋力很差。重新審視碎石圖后發(fā)現(xiàn)前3個(gè)成分后曲線已非常平緩改用3個(gè)主成分累計(jì)貢獻(xiàn)率72%模型效果和可解釋性大幅提升。成分矩陣的解讀旋轉(zhuǎn)后的成分矩陣我通常用最大方差法Varimax是給主成分命名的依據(jù)。如果一個(gè)主成分在“GDP”、“投資”、“消費(fèi)”變量上載荷都很高那它可以命名為“經(jīng)濟(jì)發(fā)展水平因子”。清晰的命名對(duì)后續(xù)模型解釋至關(guān)重要。假設(shè)檢驗(yàn)的細(xì)節(jié)陷阱熱詞中提到了“ttest和ttest2的區(qū)別”以及“計(jì)算兩組患者男女性別的p值和χ2值”。這恰恰是新手容易混淆的地方。T檢驗(yàn)在Matlab或Python如scipy.stats中ttest通常用于單樣本T檢驗(yàn)檢驗(yàn)樣本均值是否等于某個(gè)常數(shù)而ttest2用于獨(dú)立雙樣本T檢驗(yàn)檢驗(yàn)兩組獨(dú)立樣本的均值是否相等。在SPSS中它們對(duì)應(yīng)不同的菜單路徑分析-比較均值下的不同子項(xiàng)。用錯(cuò)檢驗(yàn)的前提如配對(duì)數(shù)據(jù)用了獨(dú)立樣本檢驗(yàn)會(huì)直接導(dǎo)致結(jié)論錯(cuò)誤?？ǚ綑z驗(yàn)χ2用于分類變量的關(guān)聯(lián)性分析。在SPSS中分析 - 描述統(tǒng)計(jì) - 交叉表將性別放入“行”組別如患者/對(duì)照組放入“列”然后點(diǎn)擊“統(tǒng)計(jì)量”勾選“卡方”。輸出結(jié)果中要看Pearson卡方值和對(duì)應(yīng)的漸近顯著性p值。但這里有個(gè)關(guān)鍵如果交叉表中超過20%的格子期望頻數(shù)小于5就不能只看Pearson卡方了需要參考Fisher精確檢驗(yàn)的結(jié)果。SPSS會(huì)在腳注給出這個(gè)提示很多人會(huì)忽略。ROC曲線與陽性預(yù)測(cè)值PPVROC曲線用于評(píng)價(jià)二分類模型如Logistic回歸的診斷效能。SPSS可以通過分析 - ROC曲線生成。但“計(jì)算陽性預(yù)測(cè)值”這個(gè)需求SPSS的ROC曲線模塊并不直接給出。PPV 真陽性 / (真陽性 假陽性)它依賴于特定的診斷閾值。你需要在ROC曲線分析中保存“每個(gè)檢驗(yàn)的概率值”。回到數(shù)據(jù)視圖你會(huì)得到一列預(yù)測(cè)概率。手動(dòng)設(shè)定一個(gè)閾值如0.5將概率值轉(zhuǎn)換為0/1預(yù)測(cè)類別。通過分析 - 描述統(tǒng)計(jì) - 交叉表與真實(shí)類別做交叉表自己計(jì)算PPV。記住PPV和敏感度、特異度不同它受疾病患病率先驗(yàn)概率影響很大在樣本不平衡時(shí)解讀要非常謹(jǐn)慎。2.2 Python靈活數(shù)據(jù)清洗與可視化的“手術(shù)刀”當(dāng)數(shù)據(jù)量大、格式混亂如網(wǎng)絡(luò)爬蟲數(shù)據(jù)、日志文件或需要復(fù)雜的數(shù)據(jù)轉(zhuǎn)換和自定義可視化時(shí)Python的pandas,numpy,matplotlib/seaborn組合就無可替代了。數(shù)據(jù)清洗流水線我習(xí)慣用pandas構(gòu)建一個(gè)清洗函數(shù)。例如處理缺失值對(duì)于連續(xù)變量我可能用中位數(shù)或同一分組的均值填充df.groupby(group)[value].transform(lambda x: x.fillna(x.median()))對(duì)于分類變量則填充為“未知”類別。異常值處理除了常見的3σ原則我更推薦使用箱線圖seaborn.boxplot直觀查看并用分位數(shù)進(jìn)行蓋帽處理df[col] df[col].clip(lowerdf[col].quantile(0.01), upperdf[col].quantile(0.99))。自動(dòng)化特征工程Python可以輕松實(shí)現(xiàn)時(shí)間序列數(shù)據(jù)的滯后特征df[lag1] df[value].shift(1)、滾動(dòng)統(tǒng)計(jì)特征df.rolling(window7).mean()這對(duì)于預(yù)測(cè)類題目非常有用。這些在SPSS中實(shí)現(xiàn)起來就繁瑣得多。我的心得SPSS和Python不是二選一而是協(xié)同工作。我通常的流程是用Python完成原始數(shù)據(jù)的抓取、清洗、初步探索和復(fù)雜特征構(gòu)造將處理好的規(guī)整數(shù)據(jù)導(dǎo)出為.csv或.sav文件。然后將關(guān)鍵的數(shù)據(jù)描述如均值、標(biāo)準(zhǔn)差、分布圖和需要嚴(yán)謹(jǐn)統(tǒng)計(jì)推斷的部分如假設(shè)檢驗(yàn)、信效度分析、特定模型如判別分析放在SPSS中完成因?yàn)槠漭敵龈袷揭?guī)范便于直接粘貼到論文中。兩者結(jié)合效率和規(guī)范性兼得。3. 核心篇模型算法庫的構(gòu)建與選擇——從經(jīng)典統(tǒng)計(jì)到智能優(yōu)化數(shù)學(xué)建模的模型庫大致可分為幾類預(yù)測(cè)模型、分類模型、優(yōu)化模型、評(píng)價(jià)模型、圖網(wǎng)絡(luò)模型等。我的筆記不是簡(jiǎn)單羅列而是建立了“問題-模型”的映射索引并附上關(guān)鍵實(shí)現(xiàn)代碼和調(diào)參經(jīng)驗(yàn)。3.1 預(yù)測(cè)與分類傳統(tǒng)機(jī)器學(xué)習(xí)的舞臺(tái)對(duì)于國(guó)賽C題這類數(shù)據(jù)分析題回歸和分類算法是基礎(chǔ)。時(shí)間序列預(yù)測(cè)除了ARIMAstatsmodels庫我強(qiáng)烈建議掌握Prophet由Facebook開源。它對(duì)季節(jié)性和節(jié)假日效應(yīng)的處理非常友好且完全自動(dòng)化在美賽中對(duì)社會(huì)、經(jīng)濟(jì)數(shù)據(jù)的預(yù)測(cè)題中表現(xiàn)出色。它的API極其簡(jiǎn)單幾乎不需要調(diào)參就能得到不錯(cuò)的結(jié)果能為團(tuán)隊(duì)節(jié)省大量時(shí)間。分類模型邏輯回歸sklearn.linear_model.LogisticRegression是基線模型一定要會(huì)。它的結(jié)果可解釋性強(qiáng)系數(shù)代表影響方向和強(qiáng)度在論文中容易闡述。對(duì)于復(fù)雜分類隨機(jī)森林RandomForestClassifier和XGBoost是?？?。這里有個(gè)關(guān)鍵技巧不要一上來就調(diào)參先做特征選擇?？梢杂秒S機(jī)森林自帶的特征重要性或者使用sklearn.feature_selection.SelectFromModel進(jìn)行篩選。特征少了模型不僅跑得快、不易過擬合而且核心變量更突出論文的模型解釋部分也更好寫。3.2 優(yōu)化與搜索當(dāng)問題變成“尋找最優(yōu)解”當(dāng)問題涉及資源分配、路徑規(guī)劃、調(diào)度安排如亞太杯B題、國(guó)賽B題時(shí)就進(jìn)入了優(yōu)化模型的領(lǐng)域。精確算法與啟發(fā)式算法之辨線性/整數(shù)規(guī)劃用PuLP或ortools庫是精確算法能求全局最優(yōu)但只適用于問題規(guī)模不大、能線性化的情況。一旦問題復(fù)雜如旅行商問題TSP就需要啟發(fā)式算法。A*算法及其變體A是解決網(wǎng)格地圖路徑規(guī)劃的經(jīng)典算法。熱詞中提到的“三條AGV基本A算法”很可能是指多AGV自動(dòng)導(dǎo)引車的路徑規(guī)劃這里的關(guān)鍵是解決沖突兩車爭(zhēng)搶同一節(jié)點(diǎn)。我的實(shí)現(xiàn)筆記里除了標(biāo)準(zhǔn)的A*還記錄了沖突避免搜索CBS的簡(jiǎn)化思路先為每輛AGV獨(dú)立規(guī)劃路徑檢測(cè)沖突然后在沖突點(diǎn)引入時(shí)間窗或空間約束重新規(guī)劃。對(duì)于更復(fù)雜的動(dòng)態(tài)環(huán)境則可能需要結(jié)合D* Lite等動(dòng)態(tài)重規(guī)劃算法。元啟發(fā)式優(yōu)化算法鯨魚算法WOA、粒子群PSO、遺傳算法GA屬于這一類。它們不保證最優(yōu)但能在可接受時(shí)間內(nèi)為復(fù)雜問題找到滿意解。我的筆記重點(diǎn)記錄了改進(jìn)策略。例如針對(duì)鯨魚算法容易早熟收斂的問題我實(shí)現(xiàn)并對(duì)比了兩種改進(jìn)全局搜索增強(qiáng)在算法初期以一定概率讓個(gè)體進(jìn)行完全隨機(jī)搜索Levy飛行擴(kuò)大探索范圍。這對(duì)應(yīng)了熱詞中的“全局搜索增強(qiáng)的改進(jìn)鯨魚算法”。自適應(yīng)權(quán)重讓收斂因子a非線性遞減或引入慣性權(quán)重讓算法在后期能更精細(xì)地開發(fā)局部區(qū)域。 這些改進(jìn)的代碼對(duì)比以及在不同測(cè)試函數(shù)如Sphere, Rastrigin上的性能對(duì)比圖都整理在筆記中。在論文中如果你用了改進(jìn)算法一定要和標(biāo)準(zhǔn)算法在同一個(gè)問題上對(duì)比用收斂曲線圖或最終結(jié)果表格來證明你改進(jìn)的有效性這是很大的加分項(xiàng)。3.3 評(píng)價(jià)與決策層次分析法AHP的“祛魅”AHP是評(píng)價(jià)類題目的“萬金油”但也是“重災(zāi)區(qū)”因?yàn)橛玫锰珵E且常常出錯(cuò)。核心不是計(jì)算是構(gòu)建判斷矩陣很多論文花大篇幅介紹特征值法求權(quán)重但這部分yaahp或matlab一句代碼就搞定。真正的難點(diǎn)和亮點(diǎn)在于如何科學(xué)、有依據(jù)地構(gòu)造判斷矩陣。我的筆記里強(qiáng)調(diào)絕對(duì)不能拍腦袋打分。例如評(píng)價(jià)水資源承載力指標(biāo)“年均降水量”和“萬元GDP耗水量”誰更重要你需要引用文獻(xiàn)中的數(shù)據(jù)比如地區(qū)A降水量是B的2倍但耗水量是B的1.5倍那么重要性比例可以初步定為2:1.5再結(jié)合專家意見微調(diào)。論文中要寫出這個(gè)構(gòu)造的依據(jù)。一致性檢驗(yàn)必須通過一致性比率CR0.1是硬性要求。如果沒通過要回溯調(diào)整判斷矩陣。我寫了一個(gè)簡(jiǎn)單的迭代調(diào)整函數(shù)當(dāng)CR不滿足時(shí)自動(dòng)提示差異最大的幾個(gè)元素輔助人工調(diào)整?？紤]用熵權(quán)法或CRITIC法進(jìn)行組合賦權(quán)單純的主觀AHP可能受偏見影響?？梢越Y(jié)合客觀賦權(quán)法如熵權(quán)法利用數(shù)據(jù)本身的離散程度確定權(quán)重進(jìn)行組合例如各占50%這樣主客觀結(jié)合說服力更強(qiáng)。4. 實(shí)現(xiàn)篇Matlab與Python的工程化編碼實(shí)踐算法思想最終要落地為代碼。Matlab在仿真、矩陣運(yùn)算和特定工具箱如優(yōu)化、信號(hào)處理上有優(yōu)勢(shì)Python則在通用性、庫生態(tài)和與大數(shù)據(jù)、深度學(xué)習(xí)結(jié)合上更勝一籌。4.1 Matlab仿真與快速原型驗(yàn)證離散系統(tǒng)與仿真對(duì)于“Matlab做離散時(shí)間系統(tǒng)”這類問題比如模擬一個(gè)排隊(duì)系統(tǒng)。核心是時(shí)間推進(jìn)機(jī)制。我通常采用事件調(diào)度法維護(hù)一個(gè)未來事件列表每次取出最早發(fā)生的事件進(jìn)行處理并更新系統(tǒng)狀態(tài)和生成新事件。筆記里有一個(gè)銀行服務(wù)窗口的仿真示例清晰地展示了客戶到達(dá)、排隊(duì)、服務(wù)、離開這個(gè)循環(huán)如何用事件驅(qū)動(dòng)來實(shí)現(xiàn)并統(tǒng)計(jì)了平均等待時(shí)間、隊(duì)列長(zhǎng)度等指標(biāo)。圖像處理與矩陣技巧Matlab處理矩陣非常直觀。例如圖像濾波就是卷積運(yùn)算imfilter。對(duì)于“Matlab中1e100如何表示”這種問題其實(shí)反映了科學(xué)計(jì)算中的溢出問題。1e100在雙精度浮點(diǎn)數(shù)中會(huì)表示為Inf無窮大。在算法中要避免中間結(jié)果出現(xiàn)如此大的數(shù)可以考慮取對(duì)數(shù)化乘為加或者使用符號(hào)計(jì)算工具箱進(jìn)行高精度計(jì)算。函數(shù)化與模塊化不要把所有代碼寫在一個(gè).m腳本里。將常用的算法如A*算法、改進(jìn)的鯨魚算法封裝成獨(dú)立的函數(shù)文件.m函數(shù)。主腳本像搭積木一樣調(diào)用它們。這樣不僅代碼清晰調(diào)試方便也便于團(tuán)隊(duì)協(xié)作和復(fù)用。4.2 Python從腳本到可復(fù)現(xiàn)的項(xiàng)目環(huán)境管理是第一步熱詞中“vscode python環(huán)境配置”是必經(jīng)之路。我強(qiáng)烈推薦使用conda或venv創(chuàng)建獨(dú)立的虛擬環(huán)境并用requirements.txt文件記錄所有依賴包及其版本。這樣在任何電腦上都能一鍵還原你的運(yùn)行環(huán)境這是工程化的基礎(chǔ)。代碼結(jié)構(gòu)規(guī)范一個(gè)標(biāo)準(zhǔn)的建模項(xiàng)目目錄可能如下/Your_Project ├── data/ # 存放原始和處理后的數(shù)據(jù) ├── src/ # 源代碼 │ ├── data_preprocessing.py │ ├── model_optimization.py │ └── utils.py # 工具函數(shù) ├── notebooks/ # Jupyter notebook用于探索性分析 ├── output/ # 生成的圖表、結(jié)果文件 ├── requirements.txt └── main.py # 主程序入口結(jié)果可視化與論文導(dǎo)出matplotlib和seaborn的畫圖功能強(qiáng)大但要注重學(xué)術(shù)圖表規(guī)范。我的筆記里收藏了一套配置可以一鍵設(shè)置字體為Times New Roman符合論文要求、調(diào)整DPI為300印刷清晰、設(shè)置合適的尺寸和邊距。使用plt.savefig(figure.pdf, dpi300, bbox_inchestight)保存為矢量圖插入論文中無限放大不模糊。5. 升華篇從模型到論文——將代碼轉(zhuǎn)化為說服力再好的模型如果無法清晰地呈現(xiàn)在論文中也是徒勞。數(shù)學(xué)建模競(jìng)賽本質(zhì)上是一場(chǎng)“基于計(jì)算的寫作競(jìng)賽”。模型假設(shè)的藝術(shù)假設(shè)不能天馬行空要基于現(xiàn)實(shí)簡(jiǎn)化且為后續(xù)模型服務(wù)。例如做人口預(yù)測(cè)假設(shè)“封閉系統(tǒng)不考慮遷移”這就是一個(gè)合理且必要的簡(jiǎn)化它讓你可以專注于出生率和死亡率模型。同時(shí)要在論文中分析這個(gè)假設(shè)如果不成立會(huì)有什么影響體現(xiàn)你的思考深度。圖表說話的技巧一張好的圖勝過千言萬語。趨勢(shì)對(duì)比用折線圖成分構(gòu)成用堆疊柱狀圖或餅圖關(guān)聯(lián)分析用散點(diǎn)圖或熱力圖。所有圖表必須有編號(hào)、標(biāo)題并且在圖標(biāo)題下方或正文中對(duì)圖中的關(guān)鍵趨勢(shì)、異常點(diǎn)、結(jié)論進(jìn)行文字描述不能只扔一張圖在那里。靈敏度分析與模型檢驗(yàn)這是區(qū)分普通論文和優(yōu)秀論文的關(guān)鍵。模型建好了要問自己如果某個(gè)參數(shù)變化10%結(jié)果會(huì)波動(dòng)多大這就是靈敏度分析。用你的代碼系統(tǒng)性地改變關(guān)鍵參數(shù)如折扣率、成本系數(shù)觀察目標(biāo)函數(shù)的變化并繪制靈敏度分析圖。這能證明你的模型是穩(wěn)健的。此外用十折交叉驗(yàn)證來檢驗(yàn)預(yù)測(cè)模型是否過擬合并將結(jié)果寫入論文。摘要的錘煉摘要是評(píng)委最先看也是看得最仔細(xì)的部分。我的筆記里有一個(gè)摘要模板第一段用一兩句話概括問題背景和你們的工作第二段簡(jiǎn)要說明你們用的方法模型和總體思路第三段逐條列出你們得到的主要結(jié)論最好用數(shù)據(jù)說話第四段點(diǎn)出你們模型的優(yōu)點(diǎn)、特色或推廣方向。摘要要控制在半頁到三分之二頁語言精煉杜絕廢話。這份“已完結(jié)”的筆記是我多次參賽和項(xiàng)目實(shí)踐的結(jié)晶。它現(xiàn)在與其說是一份筆記不如說是一個(gè)動(dòng)態(tài)的方法論框架和代碼工具箱。每當(dāng)遇到新問題我不會(huì)從頭開始而是到這個(gè)框架里尋找合適的工具組合并基于新的理解去修正和補(bǔ)充它。數(shù)學(xué)建模的魅力就在于這種不斷將抽象數(shù)學(xué)與具體世界連接起來的創(chuàng)造性過程。希望我的這些梳理能為你開啟自己的建模之旅提供一張略有助益的路線圖。記住最好的學(xué)習(xí)永遠(yuǎn)是在解決一個(gè)真實(shí)問題的路上。