1. 為什么肺炎檢測是畢業(yè)設(shè)計(jì)的性價(jià)比之王又到一年畢業(yè)設(shè)計(jì)選題季我?guī)缀趺磕甓紩?huì)被問到同一個(gè)問題深度學(xué)習(xí)方向的畢設(shè)選什么題既能順利畢業(yè)、又不至于太水說實(shí)話這個(gè)問題很難用一句話回答。選題太簡單答辯的時(shí)候?qū)＜乙谎劭创﹩杻蓚€(gè)細(xì)節(jié)就露餡選題太難做不完、跑不動(dòng)、調(diào)不通最后把自己逼到崩潰邊緣。而基于深度神經(jīng)網(wǎng)絡(luò)的肺炎檢測系統(tǒng)恰好卡在了一個(gè)非常微妙的位置——它既有足夠的技術(shù)深度支撐論文的篇幅和含金量又不像自動(dòng)駕駛、自然語言處理大模型那樣動(dòng)輒需要幾天幾周的算力資源對大多數(shù)只有單張顯卡的學(xué)生來說相當(dāng)友好。先說這個(gè)選題為什么值。肺炎檢測本質(zhì)上是一個(gè)醫(yī)學(xué)圖像分類任務(wù)輸入是胸部X光片Chest X-ray輸出是該影像屬于正常還是患有肺炎。這個(gè)任務(wù)有著明確的醫(yī)療場景背書屬于人工智能醫(yī)療這個(gè)熱門交叉方向無論是做綜述還是做應(yīng)用都能找到大量可參考的文獻(xiàn)。更重要的是公開可用的胸部X光片數(shù)據(jù)集非常成熟國外幾個(gè)研究機(jī)構(gòu)整理的標(biāo)注數(shù)據(jù)規(guī)模從幾千張到幾萬張不等足夠支撐你完成數(shù)據(jù)預(yù)處理、模型訓(xùn)練、評估對比這一整套流程。比起很多需要自己爬數(shù)據(jù)、自己標(biāo)注的冷門方向這項(xiàng)研究能把更多時(shí)間花在模型本身和系統(tǒng)實(shí)現(xiàn)上而不是消耗在無休止的數(shù)據(jù)清理中。但我要潑一盆冷水正因?yàn)檫@個(gè)領(lǐng)域已經(jīng)非常熱門如果只是簡單地把現(xiàn)成的卷積神經(jīng)網(wǎng)絡(luò)往數(shù)據(jù)集上一扔、輸出一個(gè)準(zhǔn)確率那是拿不出手的。答辯老師隨便問一句你的模型為什么選用ResNet而不是DenseNet類別不平衡你是怎么處理的你的系統(tǒng)在實(shí)際臨床場景中有什么限制如果你答不上來論文寫得再漂亮也白搭。所以我這篇文章真正想講的東西不只是一個(gè)可以選題的結(jié)論而是把這個(gè)課題從數(shù)據(jù)到模型、從訓(xùn)練到部署的每個(gè)關(guān)鍵節(jié)點(diǎn)都拆開揉碎讓你清楚地知道哪些地方容易踩坑、哪些細(xì)節(jié)能拉開差距。帶過很多學(xué)生的經(jīng)驗(yàn)告訴我凡是最后拿到優(yōu)秀成績的基本都不是用了多驚艷的網(wǎng)絡(luò)結(jié)構(gòu)而是把一件常規(guī)的事情做到了知其所以然。文章后面所有內(nèi)容我都會(huì)以從一個(gè)普通學(xué)生的實(shí)際條件出發(fā)作為前提來寫——假設(shè)你只有一塊普通消費(fèi)級顯卡、熟悉Python基礎(chǔ)、用過PyTorch但不算精通。這個(gè)前提很重要因?yàn)楹芏嗑W(wǎng)上教程默認(rèn)你有三卡集群或者有醫(yī)療標(biāo)注團(tuán)隊(duì)那是另一套玩法不適合大多數(shù)人。2. 系統(tǒng)總覽與技術(shù)底座搭建2.1 整體架構(gòu)輸入到輸出的完整鏈路動(dòng)手寫代碼之前一定要先在腦子里把整個(gè)系統(tǒng)的數(shù)據(jù)流畫清楚。一個(gè)標(biāo)準(zhǔn)的肺炎檢測系統(tǒng)從用戶角度來看是上傳一張胸片 - 系統(tǒng)返回肺炎概率和可視化熱力圖但內(nèi)部實(shí)際上是五個(gè)模塊的串聯(lián)數(shù)據(jù)加載模塊、預(yù)處理模塊、模型推理模塊、后處理模塊、結(jié)果展示模塊。任何一篇合格的論文至少要能把這條鏈路里的每一步講明白而不是只給一個(gè)model.py。很多學(xué)生犯的錯(cuò)誤是上來就寫模型把數(shù)據(jù)加載和預(yù)處理交給datasets.py草草了事。實(shí)際上數(shù)據(jù)模塊才是區(qū)分一個(gè)系統(tǒng)是玩具還是可演示成果的分水嶺。我建議你按下面這個(gè)順序來搭項(xiàng)目結(jié)構(gòu)pneumonia_detection/ ├── data/ │ ├── raw/ # 原始圖像數(shù)據(jù) │ ├── processed/ # 預(yù)處理后的圖像 │ └── split/ # 劃分好的訓(xùn)練/驗(yàn)證/測試集 ├── src/ │ ├── dataset.py # 數(shù)據(jù)加載與增強(qiáng) │ ├── model.py # 網(wǎng)絡(luò)結(jié)構(gòu)定義 │ ├── train.py # 訓(xùn)練腳本 │ ├── evaluate.py # 評估腳本 │ ├── inference.py # 推理腳本 │ └── config.py # 全局配置參數(shù) ├── weights/ # 保存的模型權(quán)重 ├── app/ │ └── web_ui.py # 簡單Web界面基于Gradio或Flask └── requirements.txt這個(gè)結(jié)構(gòu)看起來很基礎(chǔ)但它有幾個(gè)隱藏的好處一是答辯時(shí)老師問你的項(xiàng)目代碼在哪里、怎么組織的時(shí)候你能清晰地說出每個(gè)文件的職責(zé)二是后期迭代的時(shí)候改數(shù)據(jù)增強(qiáng)只動(dòng)dataset.py改網(wǎng)絡(luò)只動(dòng)model.py不會(huì)出現(xiàn)改一個(gè)地方引發(fā)連鎖崩潰的慘劇。我見過太多人的項(xiàng)目只有一個(gè)train.ipynb所有代碼堆在一起最后連自己都分不清哪個(gè)版本是能跑通的。2.2 深度學(xué)習(xí)框架與硬件工具的選型邏輯框架選型幾乎是所有新手第一個(gè)糾結(jié)的問題。我的建議是除非你的導(dǎo)師指定了TensorFlow否則主線用PyTorch。原因有三個(gè)第一PyTorch的調(diào)試體驗(yàn)比靜態(tài)圖時(shí)代好得多print大法在模型中間想怎么用就怎么用對理解模型運(yùn)行流程很有幫助第二目前醫(yī)學(xué)影像方向的主流開源代碼和預(yù)訓(xùn)練權(quán)重基本都以PyTorch形式發(fā)布你不用浪費(fèi)時(shí)間做模型轉(zhuǎn)換第三PyTorch在學(xué)術(shù)界的占有率決定了你遇到問題時(shí)搜到有效解決方案的概率更高。硬件方面訓(xùn)練肺炎分類模型的要求其實(shí)不算苛刻。以一張12GB顯存的顯卡為例用ResNet50在256x256分辨率的圖像上訓(xùn)練batch size設(shè)到64沒什么壓力一個(gè)epoch大約一到兩分鐘訓(xùn)練50個(gè)epoch大概一兩個(gè)小時(shí)就結(jié)束了。如果你用的是只有6GB顯存的卡把batch size降到32甚至16圖像縮放到224x224也完全能完成整個(gè)流程。實(shí)在沒有GPU的話使用云端的免費(fèi)CPU訓(xùn)練環(huán)境跑ResNet18也是能出結(jié)果的只是時(shí)間會(huì)拉長幾倍。我不建議一開始就在分布式訓(xùn)練、混合精度這些花活上浪費(fèi)時(shí)間先把單卡流程跑通再說。需要注意的是CUDA和PyTorch版本匹配問題。很多學(xué)生在環(huán)境配置上能折騰兩天其實(shí)本質(zhì)上是版本對不上。標(biāo)準(zhǔn)做法是先確認(rèn)顯卡驅(qū)動(dòng)支持的CUDA版本然后安裝對應(yīng)版本的PyTorch。比如說驅(qū)動(dòng)支持CUDA 11.8那你就裝pip install torch2.0.1cu118這類明確標(biāo)注cu118的版本不要貪新裝了個(gè)cu121的包結(jié)果運(yùn)行時(shí)報(bào)CUDA driver version is insufficient白白浪費(fèi)半天。這種事聽起來離譜但每年都有大量的人栽在上面。2.3 一套合理的技術(shù)棧配置除了框架本身python環(huán)境管理和依賴管理最好也走規(guī)范路線。用虛擬環(huán)境隔離項(xiàng)目依賴是一個(gè)好習(xí)慣隨手在base環(huán)境里pip install的后果是過一段時(shí)間你壓根不知道自己的環(huán)境發(fā)生了什么變化。拿這個(gè)肺炎檢測項(xiàng)目來說需要的核心依賴其實(shí)不多torch / torchvision框架本體和預(yù)訓(xùn)練模型接口opencv-python圖像讀取與幾何變換Pillow圖像基礎(chǔ)處理numpy數(shù)組運(yùn)算scikit-learn評估指標(biāo)計(jì)算準(zhǔn)確率、召回率、混淆矩陣等matplotlib / seaborn繪圖與可視化gradio快速搭建演示界面這個(gè)后面細(xì)說項(xiàng)目完成之后記得把pip freeze的結(jié)果存成requirements.txt這既是工程規(guī)范也是論文附錄里運(yùn)行環(huán)境一節(jié)的重要素材。很多學(xué)生畢設(shè)做完之后環(huán)境還在當(dāng)初那臺(tái)機(jī)器上換一臺(tái)電腦就怎么都跑不起來這就是沒有提前固化環(huán)境的教訓(xùn)。3. 數(shù)據(jù)工程決定論文上限的隱藏變量3.1 主流公開數(shù)據(jù)集的取舍與下載策略肺炎檢測方向最常被提到的數(shù)據(jù)集有三個(gè)一個(gè)是某研究團(tuán)隊(duì)公開發(fā)布的胸部X光片肺炎數(shù)據(jù)集包含正常和肺炎兩個(gè)大類肺炎類別下又細(xì)分細(xì)菌性和病毒性另一個(gè)是某醫(yī)療機(jī)構(gòu)發(fā)布的包含多標(biāo)簽如肺部陰影、胸腔積液等的胸部X光片數(shù)據(jù)集還有一個(gè)是規(guī)模更大的、包含大量歷史胸片的大規(guī)模肺部影像數(shù)據(jù)集。站在畢業(yè)設(shè)計(jì)的角度我強(qiáng)烈推薦從第一個(gè)入手理由是它已經(jīng)按train/val/test劃分好了省去自己切分的麻煩而且類別相對簡單便于聚焦肺炎檢測這一核心任務(wù)。下載數(shù)據(jù)集需要做幾個(gè)檢查。第一確認(rèn)解壓后的目錄結(jié)構(gòu)是不是符合預(yù)期很多人發(fā)現(xiàn)下載完只有train文件夾根本沒有單獨(dú)的test這種時(shí)候就得自己動(dòng)手劃分。第二檢查圖像的實(shí)際尺寸分布。數(shù)據(jù)集里宣稱的224x224和你實(shí)際讀到的圖大小往往不一致圖像的長寬比也是五花八門這直接影響后續(xù)預(yù)處理策略。第三數(shù)一數(shù)每個(gè)類別的樣本數(shù)量。這一步看似基礎(chǔ)但很多人會(huì)偷懶跳過直到訓(xùn)練完看混淆矩陣才發(fā)現(xiàn)數(shù)據(jù)嚴(yán)重失衡再回頭補(bǔ)就晚了。3.2 預(yù)處理流程從原始圖像到模型輸入的轉(zhuǎn)變拿到原始圖像之后不能直接扔給模型。預(yù)處理流程一般包含這么幾件事讀取圖像、統(tǒng)一尺寸、歸一化、格式轉(zhuǎn)換。我拆開說。讀取圖像時(shí)要注意胸部X光片本質(zhì)上是灰度圖但很多文件被保存成了三通道的RGB格式。你可以選擇轉(zhuǎn)成單通道灰度圖也可以保留三通道但每個(gè)通道值相同。考慮到大部分預(yù)訓(xùn)練模型如ImageNet上訓(xùn)練過的ResNet期望輸入是三通道我建議直接按RGB三通道讀取兼容性更好。統(tǒng)一尺寸這一步有講究。直接resize當(dāng)然簡單但會(huì)改變圖像的長寬比例導(dǎo)致肺部區(qū)域被拉伸變形。更穩(wěn)妥的做法是先等比縮放到短邊等于目標(biāo)尺寸比如短邊256然后中心裁剪出256x256的區(qū)域。這樣既保留了盡可能多的有效信息又避免了極端形變。等你試用不同骨干網(wǎng)絡(luò)的時(shí)候這套邏輯基本不用改。歸一化處理上PyTorch官方預(yù)訓(xùn)練模型提供的標(biāo)準(zhǔn)化參數(shù)均值[0.485, 0.456, 0.406]、標(biāo)準(zhǔn)差[0.229, 0.224, 0.225]是針對自然圖像統(tǒng)計(jì)出來的直接用在胸片上并不嚴(yán)格正確。但我仍然建議初學(xué)時(shí)沿用這套參數(shù)原因是當(dāng)你的訓(xùn)練數(shù)據(jù)規(guī)模不大時(shí)保留與預(yù)訓(xùn)練權(quán)重一致的輸入分布能讓遷移學(xué)習(xí)的效果更穩(wěn)定。等你做完了基礎(chǔ)版本再嘗試用胸片數(shù)據(jù)集的整體均值和方差替換看看指標(biāo)變化這反而能成為論文里一個(gè)不錯(cuò)的對比實(shí)驗(yàn)點(diǎn)——不同歸一化策略對模型性能的影響說出去也有實(shí)驗(yàn)價(jià)值。3.3 數(shù)據(jù)增強(qiáng)策略多一分則溢少一分則欠數(shù)據(jù)增強(qiáng)是肺炎檢測任務(wù)里一個(gè)極其關(guān)鍵但又特別容易被誤解的環(huán)節(jié)。很多人一聽到增強(qiáng)立刻想到翻轉(zhuǎn)、旋轉(zhuǎn)、裁剪拉滿看到訓(xùn)練集準(zhǔn)確率上去了就開心。但醫(yī)學(xué)影像有其特殊性胸片是有標(biāo)準(zhǔn)解剖方位的——左右肺葉位置固定如果你做水平翻轉(zhuǎn)左肺就跑到右邊去了醫(yī)生看到這種片子是可以判斷出這圖被翻轉(zhuǎn)過的。那么在深度學(xué)習(xí)模型看來翻轉(zhuǎn)后能不能學(xué)到翻轉(zhuǎn)的肺的特征這個(gè)是有爭議的。我的結(jié)論是可以用但要有限度。水平翻轉(zhuǎn)是醫(yī)學(xué)影像分類里常用的增強(qiáng)手段之一但旋轉(zhuǎn)角度要控制在小范圍內(nèi)比如正負(fù)10度縮放比例也別太激進(jìn)以免把肺野邊緣裁掉或者讓結(jié)構(gòu)比例失真。最終我建議的增強(qiáng)組合是隨機(jī)水平翻轉(zhuǎn)、小角度旋轉(zhuǎn)、隨機(jī)亮度對比度調(diào)整、輕微縮放平移以及一點(diǎn)點(diǎn)的Cutout隨機(jī)遮擋一小塊區(qū)域但遮擋塊的大小不要超過圖像面積的5%。這些增強(qiáng)組合起來相當(dāng)于給模型提供了在不同拍攝條件下的胸片樣本能有效提升泛化能力。另外特別提醒驗(yàn)證集和測試集絕對不要做任何增強(qiáng)只做resize和歸一化。這一點(diǎn)是數(shù)據(jù)科學(xué)的基本倫理問題如果測試集也用增強(qiáng)增加樣本得出的指標(biāo)就無法真實(shí)反映模型性能了。3.4 類別不均衡問題的第一道防線前面提到的樣本數(shù)檢查往往會(huì)暴露一個(gè)現(xiàn)實(shí)正常樣本和肺炎樣本的數(shù)量可能差了兩三倍。這種情況下如果不做任何處理模型會(huì)傾向于把邊界樣本預(yù)測成多數(shù)類因?yàn)槟阒灰抡＞湍塬@得很高的訓(xùn)練準(zhǔn)確率。處理思路一般是這么幾條一是改用加權(quán)采樣器WeightedRandomSampler讓每個(gè)batch里不同類別的樣本比例趨于均衡二是直接在損失函數(shù)里給少數(shù)類別更高的權(quán)重三是用數(shù)據(jù)增強(qiáng)專門給少數(shù)類造樣本。這三種方法不沖突可以組合使用但建議先單獨(dú)評估每種的貢獻(xiàn)別一上來就疊加一堆技巧出了問題都不知道是哪個(gè)引起的。4. 模型構(gòu)建核心環(huán)節(jié)從骨干網(wǎng)絡(luò)到訓(xùn)練流程4.1 為什么我堅(jiān)持從預(yù)訓(xùn)練遷移開始肺炎檢測方向完全可以不從頭訓(xùn)練網(wǎng)絡(luò)直接拿ImageNet上預(yù)訓(xùn)練好的模型做遷移學(xué)習(xí)。做一個(gè)對照組實(shí)驗(yàn)從零訓(xùn)練一個(gè)ResNet50和用預(yù)訓(xùn)練權(quán)重微調(diào)的ResNet50在數(shù)據(jù)規(guī)模只有幾千張的情況下后者的收斂速度和最終準(zhǔn)確率往往顯著優(yōu)于前者。原因很好理解ImageNet預(yù)訓(xùn)練讓模型已經(jīng)掌握了大量通用的視覺特征——邊緣、紋理、形狀層級結(jié)構(gòu)——這些特征對胸片分析同樣有用。肺部的紋理異常、陰影形態(tài)本質(zhì)上也是從這些基礎(chǔ)特征組合出來的。遷移學(xué)習(xí)具體怎么做標(biāo)準(zhǔn)流程是加載去掉分類層的預(yù)訓(xùn)練模型把最后一層替換成全連接層輸出維度等于你的類別數(shù)比如2類就是2個(gè)節(jié)點(diǎn)然后先凍結(jié)前面的所有層只訓(xùn)練新加的全連接層跑幾個(gè)epoch看看效果之后再把所有層解凍用很小的學(xué)習(xí)率比初始學(xué)習(xí)率低一個(gè)數(shù)量級對整個(gè)網(wǎng)絡(luò)進(jìn)行微調(diào)。這一步在PyTorch里很簡單但很多人不明白為什么要先凍結(jié)再解凍。它的意義在于新加的分類層是隨機(jī)初始化的如果直接全網(wǎng)絡(luò)一起訓(xùn)練前向傳播的梯度在分類層階段就亂掉了很可能把前面預(yù)訓(xùn)練好的特征也帶偏。先單獨(dú)訓(xùn)練分類層是讓分類層先適應(yīng)特征提取器給出的輸出解凍之后再讓整個(gè)網(wǎng)絡(luò)協(xié)同調(diào)整這樣過程穩(wěn)定得多。4.2 骨干網(wǎng)絡(luò)選擇的黃金法則該選哪個(gè)骨干網(wǎng)絡(luò)這里存在一個(gè)看臉的誤區(qū)——以為最新的網(wǎng)絡(luò)一定最好。在畢設(shè)場景下骨干網(wǎng)絡(luò)的選擇要綜合考慮精度、顯存占用、推理速度、代碼成熟度四個(gè)維度。以ResNet50為例它在ImageNet上取得了不錯(cuò)的性能而且結(jié)構(gòu)簡潔、代碼實(shí)現(xiàn)成熟幾乎所有的預(yù)訓(xùn)練模型庫都內(nèi)置了它。DenseNet121的優(yōu)勢在于參數(shù)少、特征復(fù)用充分在醫(yī)學(xué)影像上經(jīng)常有不錯(cuò)的性能表現(xiàn)同時(shí)也因?yàn)镈enseNet的特性天然具備一定的正則化效果。而EfficientNet系列的理論更先進(jìn)通過復(fù)合縮放達(dá)到精度和效率的平衡但實(shí)現(xiàn)起來稍顯復(fù)雜對batch size和圖像分辨率也比較敏感。另外ViTVision Transformer這類純注意力模型在足夠大的數(shù)據(jù)規(guī)模下確實(shí)能超越CNN但在幾千張胸片的數(shù)據(jù)量下很容易欠擬合我一般不建議在本科畢設(shè)里主推。我見過一個(gè)比較穩(wěn)妥的做法用ResNet50做主力DenseNet121做對比。論文的對比實(shí)驗(yàn)部分用這兩者加一個(gè)VGG16或者ResNet18作為baseline已經(jīng)能完整呈現(xiàn)骨干網(wǎng)絡(luò)選擇對肺炎分類性能的影響這個(gè)故事了。重點(diǎn)不在于你的網(wǎng)絡(luò)有多新而在于你合理地評估了不同結(jié)構(gòu)的差異。如果有余力把SE模塊或者ECA注意力加在ResNet50的殘差塊后面做一個(gè)小幅度改進(jìn)這種簡單有效的改動(dòng)答辯時(shí)很容易解釋清楚。4.3 分類頭與輸出層設(shè)計(jì)的小門道很多人做二分類輸出層就是兩個(gè)節(jié)點(diǎn)然后接Softmax或者LogSoftmax。這在數(shù)學(xué)上沒錯(cuò)但訓(xùn)練穩(wěn)定性上我更推薦輸出層只輸出一個(gè)節(jié)點(diǎn)配合Sigmoid做二分類訓(xùn)練損失用BCEWithLogitsLoss。原因是BCEWithLogitsLoss內(nèi)部會(huì)把Sigmoid計(jì)算合并數(shù)值上更穩(wěn)定梯度推導(dǎo)也干凈。除了輸出層還得考慮要不要在最后一層之前加一個(gè)Dropout。醫(yī)學(xué)影像數(shù)據(jù)往往帶有大量冗余信息模型很容易在這個(gè)階段過擬合。Dropout加在全局池化層之后、全連接層之前以0.2~0.3的概率丟棄一些特征通道是很常見且有效的正則化手段。另外把全連接層的隱藏維度保持在512或256通常就夠了不必太大因?yàn)轭A(yù)訓(xùn)練模型提取到的特征已經(jīng)是高層次的語義特征了再接一個(gè)巨大的分類器純屬浪費(fèi)參數(shù)。4.4 訓(xùn)練參數(shù)的全套配置心得訓(xùn)練配置這部分我貼一份自己常用的配置直接抄是可以用的但你要能講清楚每一項(xiàng)的含義# config.py EPOCHS 40 BATCH_SIZE 32 LEARNING_RATE 1e-4 # 解凍后的微調(diào)學(xué)習(xí)率 WEIGHT_DECAY 1e-4 # L2正則化 MOMENTUM 0.9 WARMUP_EPOCHS 2 # 前2個(gè)epoch線性熱身 OUTPUT_DIR weights/學(xué)習(xí)率方面初始階段用1e-4是一個(gè)實(shí)用值。很多人一上來就用0.001結(jié)果訓(xùn)練幾個(gè)epoch發(fā)現(xiàn)loss不降反升或者震蕩得特別厲害。CIFAR這種小數(shù)據(jù)集上0.01這樣的學(xué)習(xí)率都可能沒問題但醫(yī)學(xué)影像上我更保守。等你看清楚loss曲線的下降趨勢后再嘗試用CosineAnnealing學(xué)習(xí)率調(diào)度策略讓學(xué)習(xí)率周期性地降低效果往往更好。Batch size的選擇取決于你的顯存。小batch size比如16通常收斂會(huì)更穩(wěn)定但梯度噪聲偏大大batch size比如64或128能加速訓(xùn)練但需要注意顯存溢出。如果你只有一張6GB顯存卡batch size設(shè)32圖像尺寸224對ResNet50來說是可行的。我見過一些人死磕batch size一定要64結(jié)果顯存爆了又去裁圖像尺寸病急亂投醫(yī)。合理的做法是先確定圖像分辨率和模型再根據(jù)顯存上限反推batch size同時(shí)保證訓(xùn)練穩(wěn)定。5. 訓(xùn)練實(shí)戰(zhàn)與調(diào)參避坑指南5.1 過擬合醫(yī)學(xué)影像的第一大敵人訓(xùn)練過程中形態(tài)最典型的曲線是這樣的訓(xùn)練準(zhǔn)確率一路飆升趨近99%驗(yàn)證準(zhǔn)確率停留在85%上下不再動(dòng)彈甚至從第15個(gè)epoch開始逐步下滑。這就是過擬合的教科書級表現(xiàn)。胸片數(shù)據(jù)集通常只有幾千張而ResNet50的參數(shù)有數(shù)千萬容量嚴(yán)重大于樣本量過擬合幾乎是必然會(huì)出現(xiàn)的問題只是早晚和程度不同。面對過擬合我的排查順序是先檢查數(shù)據(jù)預(yù)處理是否泄露了驗(yàn)證集信息再增加正則化強(qiáng)度Dropout概率上調(diào)、Weight Decay增大然后做數(shù)據(jù)增強(qiáng)最后才考慮縮小模型規(guī)模。注意順序是有講究的數(shù)據(jù)泄露是第一要檢查的因?yàn)橐粋€(gè)bug會(huì)導(dǎo)致全部努力白費(fèi)——比如有些人做標(biāo)準(zhǔn)化的時(shí)候用了整個(gè)數(shù)據(jù)集包括驗(yàn)證集計(jì)算均值和方差雖然這個(gè)泄露很輕微但屬于學(xué)術(shù)上要盡量避免的做法。增強(qiáng)和正則化手段要分開做對比實(shí)驗(yàn)不要同時(shí)改了三個(gè)變量然后對著訓(xùn)練曲線猜是哪個(gè)起了作用。一個(gè)變量一個(gè)變量地改每次只動(dòng)一處記錄指標(biāo)變化這種習(xí)慣能讓你的實(shí)驗(yàn)記錄更有說服力。5.2 類別不平衡loss一直在降但召回率慘不忍睹還有一類常見情況是整體準(zhǔn)確率到了92%看起來不錯(cuò)但是看每一類的召回率正常類的召回率高達(dá)98%肺炎類只有75%。這個(gè)數(shù)字對論文來說很難看對實(shí)際應(yīng)用更是致命的——篩查系統(tǒng)漏掉一個(gè)肺炎患者的代價(jià)遠(yuǎn)高于把正常人多轉(zhuǎn)診一次。原因就是類別不平衡。除了上一節(jié)提到的數(shù)據(jù)層面的手段模型層面也可以調(diào)整為Focal Loss。Focal Loss的公式本質(zhì)上是給交叉熵加了一個(gè)調(diào)制因子(1-p_t)^gamma讓模型把注意力放在那些置信度不高的難樣本上。具體實(shí)現(xiàn)很容易我在代碼里調(diào)整gamma從0.5、1.0、2.0依次嘗試觀察驗(yàn)證集上肺炎類的召回率變化。不過要提醒的是Focal Loss有一個(gè)毛病——中了容易觸發(fā)過度關(guān)注噪聲樣本的問題所以用之前要有心理準(zhǔn)備它并不總是優(yōu)于加權(quán)交叉熵。5.3 訓(xùn)練崩潰三連NaN、顯存爆炸、Loss不降訓(xùn)練過程中最常見的三件事是NaN、顯存溢出、Loss不降。我可太熟悉這三兄弟了。NaN問題大概率出在學(xué)習(xí)率過大導(dǎo)致梯度爆炸或者數(shù)據(jù)里有NaN像素值沒被清洗少見的醫(yī)學(xué)影像格式有時(shí)會(huì)帶異常像素。解決方式是先降低學(xué)習(xí)率看看如果降了還NaN檢查數(shù)據(jù)的歸一化流程和是否存在空值/異常大值把梯度裁剪加上torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)能讓訓(xùn)練更穩(wěn)定。顯存爆炸是工程問題。除了減小batch size還可以做幾件事確認(rèn)沒在顯卡上堆積了太多未釋放的中間變量檢查DataLoader是不是每個(gè)epoch都加載了整個(gè)數(shù)據(jù)集到顯存用torch.backends.cudnn.benchmarkTrue這行設(shè)置能略微提升卷積速度。如果實(shí)在不夠PyTorch 2.x的torch.compile在某些情況下的顯存效率也更好可以先跑通再考慮。Loss不降的情況很多時(shí)候根本不是模型或數(shù)據(jù)問題而是Loss計(jì)算寫錯(cuò)了。比如用Softmax輸出配了nn.CrossEntropyLoss內(nèi)部自帶Softmax等于做了兩次SoftmaxLoss自然不降。這種錯(cuò)誤很低級但真的很常見我建議每次寫Loss都用一個(gè)小批量手動(dòng)驗(yàn)證一下數(shù)值趨勢而不是等都跑完了才發(fā)現(xiàn)。5.4 實(shí)驗(yàn)記錄別指望你的記憶靠譜每個(gè)學(xué)生的電腦里最后都會(huì)躺著十幾個(gè)excel或者一堆以model_final_v3_really_final命名的權(quán)重文件。我不夸張地說沒有實(shí)驗(yàn)記錄的訓(xùn)練等于白訓(xùn)練。從第一天開始就用一個(gè)簡單的表格記錄每一次實(shí)驗(yàn)的配置和指標(biāo)學(xué)習(xí)率、batch size、增強(qiáng)策略、骨干網(wǎng)絡(luò)、訓(xùn)練輪數(shù)、準(zhǔn)確率、召回率、F1、AUC、以及對應(yīng)的權(quán)重文件名。到最后寫論文做對比表格的時(shí)候你會(huì)發(fā)現(xiàn)這些記錄比什么都寶貴。6. 系統(tǒng)評估、論文素材與最終部署6.1 醫(yī)療影像評估為什么要三件套齊上對于肺炎檢測這個(gè)任務(wù)單看準(zhǔn)確率完全說明不了問題。一個(gè)分類器即使準(zhǔn)確率95%如果它漏檢了10個(gè)重癥肺炎樣本在臨床上這個(gè)系統(tǒng)照樣不能用。所以評估階段要同時(shí)看三個(gè)指標(biāo)準(zhǔn)確率Accuracy、召回率Recall、F1-Score如果可能的話再加上AUC-ROC。答辯的時(shí)候你把這幾個(gè)指標(biāo)放在同一張表里老師一眼看到你的工作不糊弄。具體計(jì)算用scikit-learn一行就能搞定但怎么解讀更要緊。召回率在這個(gè)場景下比準(zhǔn)確率重要得多——模型的目標(biāo)是盡量不能漏掉疑似肺炎患者。所以你在論文里應(yīng)該主動(dòng)說清楚本系統(tǒng)優(yōu)先保證召回率在閾值設(shè)置上傾向于寧可多報(bào)、不可漏報(bào)然后說明你的系統(tǒng)允許用戶調(diào)整置信度閾值來改變這一平衡。能把這種工程權(quán)衡思維寫出來比堆一堆PSNR、FLOPs之類的數(shù)字更能體現(xiàn)你的理解深度。6.2 可視化論文圖表和答辯演示的雙重利器論文里不能只有一張loss曲線圖那太單薄了。我需要給出三個(gè)可視化方向一是訓(xùn)練過程曲線包括loss曲線和準(zhǔn)確率曲線二是混淆矩陣讓讀者直觀看到哪些樣本被錯(cuò)分三是Grad-CAM熱力圖這是醫(yī)學(xué)影像方向最常見的可視化手段它可以把模型關(guān)注的區(qū)域以熱力圖形式疊加在原圖上讓你看到模型在看哪里。Grad-CAM的原理很簡單通過梯度回傳來計(jì)算最后一層卷積特征圖每個(gè)通道對分類結(jié)果的貢獻(xiàn)權(quán)重把這些權(quán)重和特征圖加權(quán)求和得到一個(gè)二維響應(yīng)圖再上采樣到原圖尺寸疊加顯示。實(shí)現(xiàn)上用pytorch_grad_cam這個(gè)庫就夠了。選一個(gè)確診肺炎的樣本生成熱力圖你會(huì)看到模型通常會(huì)把高權(quán)重區(qū)域集中在肺部紋理異常的局部區(qū)域——這既是論文里很有說服力的圖也是答辯現(xiàn)場最吸引眼球的展示。6.3 用Gradio快速搭建可感知的演示系統(tǒng)畢設(shè)答辯最尷尬的瞬間之一是老師說你的系統(tǒng)跑一下看看你只能在終端里print幾個(gè)數(shù)字。所以無論你的重點(diǎn)是算法還是工程我都建議花半天時(shí)間用Gradio搭一個(gè)網(wǎng)頁界面讓用戶上傳一張胸片就能看到分類結(jié)果和概率值甚至能順便展示Grad-CAM熱力圖。這個(gè)過程很簡單import gradio as gr def predict(img): tensor preprocess(img) with torch.no_grad(): prob model(tensor).sigmoid().item() return f患肺炎概率: {prob:.3f} gr.Interface( fnpredict, inputsgr.Image(typepil), outputstext ).launch()Gradio能在本地自動(dòng)起一個(gè)web服務(wù)拖動(dòng)圖片就能測試界面也不需要你寫一行前端代碼。這個(gè)界面的意義不只是演示——當(dāng)你反復(fù)測試多張胸片后你對模型能做什么、不能做什么會(huì)產(chǎn)生比任何評估指標(biāo)都更直觀的感受。有些之前分錯(cuò)的樣本你一眼就能發(fā)現(xiàn)規(guī)律這又會(huì)反過來指導(dǎo)你對數(shù)據(jù)的理解。在結(jié)果展示模塊里我強(qiáng)烈建議除了數(shù)字概率還要輸出一個(gè)建議字段比如高風(fēng)險(xiǎn)建議盡快就診和低風(fēng)險(xiǎn)建議定期隨訪。這樣一個(gè)簡單的包裝就能讓整個(gè)系統(tǒng)的醫(yī)療輔助決策語義更完整答辯時(shí)的帶入感也會(huì)強(qiáng)很多。6.4 部署時(shí)的坑與答辯前的自檢清單部署階段的坑相對集中。模型推理用到的圖像預(yù)處理必須和訓(xùn)練時(shí)完全一致很多人訓(xùn)練時(shí)用了隨機(jī)增強(qiáng)結(jié)果推理時(shí)忘了關(guān)閉然后對著抖動(dòng)結(jié)果百思不得其解。另外加載模型權(quán)重時(shí)務(wù)必確認(rèn)model.load_state_dict之后設(shè)置了model.eval()否則BN層和Dropout層仍然工作在訓(xùn)練模式輸出結(jié)果會(huì)不穩(wěn)定。最后如果答辯設(shè)備上沒有GPU請確保模型能回到CPU模式運(yùn)行并且提前用CPU跑一次推理確認(rèn)速度可以接受。答辯之前把下面的清單過一遍數(shù)據(jù)集的劃分比例是多少建議8:1:1訓(xùn)練里最強(qiáng)的一個(gè)配置和效果最好的配置分別是什么模型參數(shù)總量是多少單張圖片的推理延遲大致多少系統(tǒng)的局限性是什么——比如它無法區(qū)分細(xì)菌性還是病毒性肺炎、無法定位病變的精確物理范圍、在真實(shí)多中心數(shù)據(jù)上的表現(xiàn)未知。能主動(dòng)把一個(gè)系統(tǒng)的邊界條件講清楚反而更容易讓答辯老師給出對該任務(wù)理解深刻的評價(jià)。我在這個(gè)題目上帶過好幾輪學(xué)生最深的一點(diǎn)體會(huì)是深度學(xué)習(xí)畢設(shè)真正考察的不是你會(huì)不會(huì)講術(shù)語而是你能否在一個(gè)既定主題下踏踏實(shí)實(shí)地把數(shù)據(jù)、模型、評估、部署這條鏈路完整走通并對每個(gè)環(huán)節(jié)的選擇給出合理的理由。肺炎檢測這個(gè)題目的成熟度和難度恰好給了你這樣一個(gè)機(jī)會(huì)——既不會(huì)因?yàn)檫^于簡單而毫無可寫也不會(huì)因?yàn)檫^于前沿而讓你寸步難行。如果你決定選它那就從今天開始把數(shù)據(jù)集下載下來把環(huán)境搭好先跑通一個(gè)最簡單的ResNet18剩下的路自然就會(huì)越來越清晰。