搞了這么多年深度學(xué)習(xí)我發(fā)現(xiàn)自己花在“配置環(huán)境”上的時間一點(diǎn)不比調(diào)模型的時間少。PyTorch CUDA cuDNN這套組合幾乎是每個深度學(xué)習(xí)開發(fā)者的必經(jīng)之路也是最容易讓人勸退的一步。網(wǎng)上教程一搜一大把但版本匹配問題、驅(qū)動兼容問題、conda和pip的選擇問題每個環(huán)節(jié)都能把人卡住一整天。這篇教程我基于自己踩過無數(shù)坑之后沉淀下來的方案一次性把整個過程中最核心的“版本匹配”邏輯、實(shí)操步驟和排查思路講清楚。先說結(jié)論配置這套環(huán)境的技術(shù)含量不高核心就一個詞——版本匹配。能讓顯卡跑起來本質(zhì)上是三套東西在配合工作操作系統(tǒng)上的驅(qū)動、PyTorch依賴的CUDA運(yùn)行時、以及深度神經(jīng)網(wǎng)絡(luò)專用加速庫cuDNN。這三者之間任何一層的版本號對不上結(jié)果就是要么torch.cuda.is_available()返回 False要么直接段錯誤崩潰。這篇文章適合所有剛?cè)腴T的深度學(xué)習(xí)學(xué)習(xí)者、要搭建GPU開發(fā)機(jī)或公司訓(xùn)練服務(wù)器的同學(xué)我會帶著你從頭到尾排查一次、安裝一次、驗(yàn)證一次之后遇到類似問題也能自己快速定位。1. 環(huán)境配置的本質(zhì)版本匹配才是唯一核心1.1 CPU 與 GPU 的分工該讓顯卡干什么活很多新手第一次接觸GPU計算時下意識以為“GPU像CPU一樣什么計算都能做”。這個理解不能算錯但會讓后續(xù)的安裝判斷變得混亂。CPU和GPU的分工邏輯借用廚房來類比CPU是全能廚師什么菜都會做但一次只能同時在幾個灶臺上操作GPU是幾百個只會洗菜切菜的幫工單獨(dú)拿出一個來什么主菜都做不了但只要把任務(wù)拆成大量重復(fù)的小操作幾百個幫工同時開工效率遠(yuǎn)超一個全能廚師。深度學(xué)習(xí)里的矩陣乘法、卷積運(yùn)算、向量運(yùn)算恰恰是這種“高度并行”的重復(fù)性小任務(wù)。所以PyTorch的方針是把計算密集的算子提前切碎扔給GPU去跑。但GPU不認(rèn)人類語言也不知道什么是“矩陣乘法”它只認(rèn)一堆底層的算術(shù)指令。誰負(fù)責(zé)把PyTorch的“卷積算子”翻譯成GPU能執(zhí)行的指令答案是CUDA。1.2 CUDA、cuDNN、PyTorch三者到底什么關(guān)系這三者的分工我?guī)湍悴痖_講透。CUDA是NVIDIA提供的GPU并行計算平臺它包含編譯器、運(yùn)行時庫和一系列計算API。它扮演“翻譯官”的角色把開發(fā)者寫得比較上層的代碼翻譯成GPU能執(zhí)行的機(jī)器指令。PyTorch在GPU上執(zhí)行的每一個算子最終都是通過CUDA API與GPU打交道的。cuDNN全稱是 CUDA Deep Neural Network library是NVIDIA專門為深度神經(jīng)網(wǎng)絡(luò)設(shè)計的一套加速庫。它把卷積、池化、歸一化、循環(huán)神經(jīng)網(wǎng)絡(luò)等常用操作都用高度優(yōu)化的算法和底層匯編級別的調(diào)優(yōu)重寫了一遍。PyTorch里很多深度學(xué)習(xí)算子在GPU上的性能表現(xiàn)底層依賴的就是cuDNN。如果說CUDA是“翻譯官”那么cuDNN就是“翻譯官”手里那份專門為深度學(xué)習(xí)場景優(yōu)化的“專業(yè)詞典”。PyTorch是應(yīng)用層框架它面向開發(fā)者提供友好的Python接口。它內(nèi)部通過 CUDA 和 cuDNN 調(diào)用GPU資源但開發(fā)者不需要直接接觸這些底層庫的細(xì)節(jié)——PyTorch安裝包在你運(yùn)行時會自動加載它們。這里有一個關(guān)鍵點(diǎn)也是大多數(shù)人理解偏差最大的地方PyTorch的安裝包無論conda還是pip包都會捆綁一份它自己編譯時依賴的CUDA運(yùn)行庫和cuDNN庫。也就是說你裝了PyTorch的GPU版本之后即使你機(jī)器上沒有單獨(dú)安裝全套CUDA ToolkitPyTorch很多時候也能正常調(diào)用GPU。很多人問“我一定需要裝CUDA嗎”答案取決于你要干什么——如果只跑PyTorch系統(tǒng)級CUDA不是必需的但如果要用某些需要即時編譯的擴(kuò)展庫、自己編譯算子、或用TensorFlow、其他底層需要運(yùn)行時庫的項(xiàng)目系統(tǒng)級CUDA就繞不開了。2. 裝之前花五分鐘確認(rèn)你的硬件和系統(tǒng)邊界2.1 查看顯卡信息和驅(qū)動狀態(tài)一臺機(jī)器能不能用GPU跑深度學(xué)習(xí)第一件事不是下安裝包而是先確認(rèn)你的顯卡是什么型號、驅(qū)動裝了什么版本。Windows上右鍵桌面 - “NVIDIA控制面板” - 左下角“系統(tǒng)信息”可以看到顯卡型號和驅(qū)動版本。更直接的方式是打開命令提示符WinR輸入cmd敲nvidia-smi然后回車。這是NVIDIA自帶的小工具絕大多數(shù)裝過驅(qū)動的機(jī)器都能正常輸出包括顯卡型號、驅(qū)動版本、顯存使用情況以及右上角的CUDA版本號。Linux上直接打開終端敲nvidia-smi即可。如果提示找不到這個命令要么是驅(qū)動沒裝好要么是/usr/bin或者/usr/local/bin路徑里沒有這個工具。這時候可以用whereis nvidia-smi或者find / -name nvidia-smi 2/dev/null找一下它到底在不在這臺機(jī)器上。如果你是筆記本電腦務(wù)必先在設(shè)備管理器的“顯示適配器”里確認(rèn)是NVIDIA獨(dú)顯。很多輕薄本只有核顯沒有NVIDIA GPU那這套配置就無從談起了。另有部分筆記本是AMD核顯 NVIDIA獨(dú)顯的混合架構(gòu)插電狀態(tài)下獨(dú)顯才會被激活電源模式和外接顯示器也會影響能用到的算力這些都要心里有數(shù)。2.2 理解“驅(qū)動支持的最高版本”不等于“當(dāng)前安裝版本”這一步是理解整個配置過程的關(guān)鍵也是網(wǎng)上教程最容易一筆帶過的地方。nvidia-smi右上角顯示的“CUDA Version: xx.x”到底代表什么很多教程說“這里顯示的是你驅(qū)動對應(yīng)的CUDA版本照著這個版本去裝就行”說得不完全對。nvidia-smi顯示的其實(shí)是當(dāng)前驅(qū)動能夠支持的CUDA最高版本號并不是你已經(jīng)安裝的CUDA版本。舉個例子驅(qū)動顯示CUDA Version: 12.4意思是你這個驅(qū)動最高可以支持到CUDA 12.4的運(yùn)行時。你可以在這個驅(qū)動的約束下裝CUDA 12.4、12.1、甚至?xí)蛳碌?1.8這些都不會報錯因?yàn)镹VIDIA驅(qū)動的設(shè)計是向后兼容的。反過來理解更直觀驅(qū)動像一個操作系統(tǒng)CUDA運(yùn)行庫像跑在它上面的應(yīng)用。驅(qū)動版本夠新上面的應(yīng)用就能選最新的驅(qū)動太老上面就只能跑舊應(yīng)用。驅(qū)動官方提供的是“上限許可”不是“固定版號”。用PyTorch時開發(fā)者不需要自己顯式安裝CUDA Toolkit但驅(qū)動上限要高于PyTorch所捆綁的CUDA運(yùn)行時版本要求。比如PyTorch 2.x 的默認(rèn)安裝包可能是CUDA 12.1那么你的NVIDIA驅(qū)動版本對應(yīng)的nvidia-smi上限至少要在12.1否則運(yùn)行時會報“CUDA driver version is insufficient for CUDA runtime version”。3. Linux實(shí)操從零搭建可用的GPU環(huán)境3.1 更新顯卡驅(qū)動Linux下裝驅(qū)動有兩條路一條是用發(fā)行版自帶的軟件源安裝另一條是去NVIDIA官網(wǎng)下載runfile手動裝。如果你用的是Ubuntu這種比較常見的發(fā)行版我建議你先試發(fā)行版自帶的驅(qū)動管理器命令很簡單sudo apt update sudo ubuntu-drivers autoinstall這個命令會掃描你的GPU硬件并自動匹配最合適的驅(qū)動版本安裝完成后重啟即可驗(yàn)證nvidia-smi如果看到顯卡型號、驅(qū)動版本和顯存信息驅(qū)動就位了。如果你的系統(tǒng)比較特殊或者ubuntu-drivers autoinstall裝的版本太保守那就用官網(wǎng)的runfile方案。下載對應(yīng)型號和操作系統(tǒng)的runfile后先卸載舊驅(qū)動再執(zhí)行安裝順序不能亂sudo apt purge nvidia-* sudo reboot # 重啟后不要安裝進(jìn)入純文本模式CtrlAltF3 sudo sh NVIDIA-Linux-x86_64-xxx.xx.runrunfile安裝過程中會問你幾個問題包括是否安裝32位兼容庫、是否更新X配置這些按默認(rèn)即可。裝完重啟再接續(xù)驗(yàn)證。這里有個親身體會的坑跑深度學(xué)習(xí)的機(jī)器我建議裝驅(qū)動時選擇“NVIDIA-SMI CUDA運(yùn)行庫”一起裝不要在服務(wù)器上砍掉顯示相關(guān)組件。有些純計算服務(wù)器覺得不需要圖形界面寧可把X Server砍了但這會讓nvidia-smi工具缺失后續(xù)排查會很費(fèi)勁。3.2 安裝CUDA Toolkit 和 cuDNN剛才說過純用PyTorch場景下cuDNN和CUDA Toolkit不一定需要系統(tǒng)級安裝。但只要你后續(xù)有編譯源碼、跑一些需要即時編譯的擴(kuò)展庫、或者多框架共存的需求比如同時跑PyTorch和TensorFlow系統(tǒng)級CUDA Toolkit就是必選項(xiàng)。Linux下我推薦用runfile方式安裝CUDA Toolkit因?yàn)榭梢宰约嚎刂瓢惭b路徑不會把系統(tǒng)目錄弄得一團(tuán)糟。例如安裝CUDA 12.1版本wget https://developer.download.nvidia.com/compute/cuda/12.1.0/local_installers/cuda_12.1.0_530.30.02_linux.run sudo sh cuda_12.1.0_530.30.02_linux.run注意runfile里會自帶一個對應(yīng)版本的驅(qū)動如果你的驅(qū)動已經(jīng)裝好安裝時記得取消勾選Driver組件只裝CUDA Toolkit本身。如果直接一路默認(rèn)NVIDIA會把這個runfile里捆綁的驅(qū)動覆蓋你的現(xiàn)有版本萬一選擇的版本比你的驅(qū)動舊反而會造成驅(qū)動版本與CUDA下個版本不匹配的問題。裝完CUDA Toolkit之后要把它加進(jìn)環(huán)境變量這樣系統(tǒng)才能找到nvcc編譯器以及運(yùn)行庫export PATH/usr/local/cuda-12.1/bin:$PATH export LD_LIBRARY_PATH/usr/local/cuda-12.1/lib64:$LD_LIBRARY_PATH上面兩行是臨時生效的。要永久生效把這兩行加到~/.bashrc末尾然后source ~/.bashrc或者新開一個終端。驗(yàn)證工具鏈?zhǔn)欠窬臀籲vcc --version至于cuDNN如果走conda安裝PyTorch路線其實(shí)不需要手動裝系統(tǒng)級cuDNNPyTorch的conda包會自帶配套版本。需要手動裝cuDNN的場景通常只有兩種源碼編譯PyTorch、或者跑一些對cuDNN版本有指定要求的第三方庫。手動裝cuDNN也很簡單——從NVIDIA官網(wǎng)下載存檔cuDNN解壓后把lib和include目錄里的文件拷貝到CUDA Toolkit的安裝目錄即可sudo cp cudnn-linux-x86_64-8.9.x.xx_cuda12-archive/include/cudnn*.h /usr/local/cuda-12.1/include/ sudo cp cudnn-linux-x86_64-8.9.x.xx_cuda12-archive/lib/libcudnn* /usr/local/cuda-12.1/lib64/拷貝完記得更新一下庫緩存并確認(rèn)系統(tǒng)能正確找到cuDNN共享庫sudo ldconfig ldconfig -p | grep cudnn只要輸出里有l(wèi)ibcudnn.so就說明cuDNN已經(jīng)進(jìn)入系統(tǒng)庫搜索路徑了。3.3 用conda創(chuàng)建環(huán)境并安裝PyTorch我強(qiáng)烈建議在conda環(huán)境里安裝PyTorch而不是直接pip install torch。這個建議有兩層原因第一conda的PyTorch包會同時處理CUDA相關(guān)依賴你不用自己去手動匹配各種動態(tài)庫版本安裝完成后依賴關(guān)系相對干凈。第二conda支持創(chuàng)建獨(dú)立的環(huán)境不同項(xiàng)目用不同版本的PyTorch、CUDA互不干擾這在團(tuán)隊(duì)開發(fā)時尤其重要。安裝conda的步驟這里不展開網(wǎng)上很多教程裝好之后執(zhí)行conda create -n pytorch python3.10 conda activate pytorch激活環(huán)境后去PyTorch官網(wǎng)找到對應(yīng)的安裝命令。以常見的CUDA 12.1版本為例conda install pytorch torchvision torchaudio pytorch-cuda12.1 -c pytorch -c nvidia仔細(xì)看一下這條命令pytorch-cuda12.1是指定用CUDA 12.1版本的編譯產(chǎn)物-c pytorch和-c nvidia是指定從PyTorch官方源和NVIDIA官方源下載這兩個channel缺一不可。只用默認(rèn)channel安裝PyTorch有時會匹配到一個CPU-only版本尤其是舊版conda默認(rèn)源和PyTorch的官方源同步不及時裝完GPU根本跑不起來。這里的核心操作邏輯是讓conda替你管理PyTorch和它配套的CUDA依賴而不是手動去指定。conda會把PyTorch、CUDA運(yùn)行庫、cuDNN一鍵配好這是最省心的路線。如果你堅(jiān)持用pip那就這樣裝pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121注意看這個URL里的cu121它代表CUDA 12.1的專用輪子。如果你什么都不帶直接pip install torch在多數(shù)情況下默認(rèn)裝的是CPU版本。我曾經(jīng)見到有人“明明按教程裝了GPU版PyTorch最后發(fā)現(xiàn)一直在用CPU跑”就是因?yàn)橹苯訌腜yPI裝了而PyPI上的torch包在部分平臺默認(rèn)是CPU預(yù)編譯版本。3.4 驗(yàn)證GPU是否被正確識別環(huán)境裝完不等于就能跑。必須做一套驗(yàn)證流程一個命令一個命令過python -c import torch; print(torch.__version__) python -c import torch; print(torch.version.cuda) python -c import torch; print(torch.cuda.is_available()) python -c import torch; print(torch.cuda.get_device_name(0))正常情況下輸出應(yīng)當(dāng)依次看到PyTorch版本號、它捆綁的CUDA版本號、True、你的顯卡名稱。如果你覺得單看輸出不過癮可以做個極小的矩陣乘法驗(yàn)證import torch x torch.randn(1000, 1000, devicecuda) y torch.randn(1000, 1000, devicecuda) z x y print(z.sum().item())代碼里的devicecuda直接指定張量在GPU上分配。如果最終能打印出一個數(shù)值說明GPU計算鏈路全通。這一步阻擋過不少明明torch.cuda.is_available()返回了True、但一傳入GPU就會崩的案例。原因是PyTorch雖然檢測到了驅(qū)動但加載cuDNN時失敗或者顯存分配失敗崩潰點(diǎn)不在檢測環(huán)節(jié)而在真實(shí)計算環(huán)節(jié)。矩陣乘法驗(yàn)證就是為了提前把這層隱患暴露出來。還可以增加一個torch.backends.cudnn.benchmark的小測試import torch print(torch.backends.cudnn.is_available()) print(torch.backends.cudnn.version())cuDNN benchmark的輸出應(yīng)為一個版本號比如8905代表 8.9.5。如果輸出None或False說明cuDNN庫沒綁定到這個Python環(huán)境上后續(xù)某些算子的性能會打折扣。4. Windows實(shí)操一樣的邏輯不一樣的坑4.1 安裝路徑和環(huán)境變量Windows上的安裝邏輯和Linux很相似差異集中在幾個地方驅(qū)動安裝方式、CUDA安裝路徑、環(huán)境變量配置方式。驅(qū)動安裝沒什么煩惱的去NVIDIA官網(wǎng)下載對應(yīng)顯卡的驅(qū)動安裝包或者用GeForce Experience一鍵安裝。這里提示一下如果機(jī)器是公司的IT統(tǒng)一管控的驅(qū)動版本可能版本比較舊裝之前先查看nvidia-smi的輸出確認(rèn)驅(qū)動支持的上限不低于你要用的 CUDA 版本。CUDA Toolkit 的安裝需要注意Windows 下官方推薦用 exe 安裝包安裝時路徑最好保持默認(rèn)也就是C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1。如果你改到奇怪的自定義路徑后面nvcc --version找不到編譯器、環(huán)境變量失效的坑就會接踵而至。裝完CUDA后環(huán)境變量里會自動添加三項(xiàng)CUDA_PATH、CUDA_PATH_V12_1和PATH中的幾個CUDN相關(guān)路徑。如果PATH里沒有...\CUDA\v12.1\bin和...\CUDA\v12.1\libnvvp你需要在系統(tǒng)環(huán)境變量里手動補(bǔ)上。驗(yàn)證方式如下PowerShell或者CMDnvcc --version如果提示找不到nvcc多半是環(huán)境變量不生效。此時打開“系統(tǒng)屬性 - 環(huán)境變量”檢查CUDA_PATH是否存在并確保%CUDA_PATH%\bin出現(xiàn)在系統(tǒng)PATH中改完之后重新打開一個終端再試。4.2 cuDNN手動拷貝與驗(yàn)證Windows 下的 cuDNN 安裝比 Linux 多一層麻煩NVIDIA官網(wǎng)下載cuDNN時需要注冊并勾選使用條款。下載解壓后里面同樣是bin、include、lib三個目錄需要拷貝到CUDA Toolkit安裝目錄copy D:\cudnn_xxx\bin\* C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\bin\ copy D:\cudnn_xxx\include\cudnn*.h C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\include\ copy D:\cudnn_xxx\lib\x64\* C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\lib\x64\拷貝完之后用環(huán)境變量或直接確認(rèn)bin\cudnn*.dll存在然后去驗(yàn)證PyTorchpython -c import torch; print(torch.cuda.is_available())如果這里報DLL load failed或者類似找不到指定模塊的錯誤排查方向先看三個地方驅(qū)動是否夠新、CUDA版本和你裝的PyTorch要求的CUDA版本是否匹配、cuDNN的DLL是否真的在搜索路徑里。這三個問題在Windows上出現(xiàn)的頻率遠(yuǎn)高于Linux。4.3 在PowerShell下驗(yàn)證完整鏈路很多人Win R打開cmd后發(fā)現(xiàn)命令報錯或者輸出為空但并不知道自己到底在哪一步出了問題。我建議驗(yàn)證時用一套完整的腳本把問題暴露在第一步nvidia-smi nvcc --version conda --version conda activate pytorch python -c import torch; print(torch.__version__, torch.version.cuda, torch.cuda.is_available())nvidia-smi看不到先解決驅(qū)動nvcc --version報錯解決CUDA Toolkit的路徑最后一步False檢查conda環(huán)境里的PyTorch是否裝成CPU版本。每一步的失敗原因都不同分步排查才能快速定位不要把全部希望壓在一個報錯上。5. 版本選擇我的“求穩(wěn)”策略5.1 為什么不該追求最新很多新人習(xí)慣性把CUDA、驅(qū)動、PyTorch全部裝成最新版覺得“版本越新性能越強(qiáng)、兼容性越好”。實(shí)際開發(fā)中這種思路反而最容易翻車。PyTorch對CUDA的支持有一個滯后效應(yīng)某個CUDA版本正式發(fā)布后PyTorch團(tuán)隊(duì)需要時間做針對性的適配和測試然后才會在官方安裝頁面上放出對應(yīng)的預(yù)編譯包。你把CUDA裝到12.4但PyTorch官方默認(rèn)的預(yù)編譯包還是12.1那么“驅(qū)動支持的上限是夠的”但“PyTorch的官方包未必配套12.4”這時就需要等待PyTorch發(fā)布新版本或者自己去編譯源碼。我的做法是以PyTorch官方安裝頁面上出現(xiàn)的最穩(wěn)定版本為準(zhǔn)反推CUDA版本和驅(qū)動要求。官方給什么版本就用什么版本。官方頁面上好用的版本一般已經(jīng)經(jīng)過了大量用戶和生產(chǎn)環(huán)境的檢驗(yàn)踩坑概率最低。5.2 升級與遷移環(huán)境配置升級這件事我踩過一次大坑說說經(jīng)驗(yàn)。如果你要從CUDA 11.8遷移到CUDA 12.1不要在同一臺機(jī)器上覆蓋舊版本。正確操作是在conda里新建一個環(huán)境比如conda create -n pytorch121 python3.10用PyTorch官方的12.1安裝命令裝到新環(huán)境用conda activate pytorch121切換環(huán)境跑一輪驗(yàn)證腳本驗(yàn)證無誤后舊環(huán)境保留一段時間再刪這樣做的原因是新版運(yùn)行庫覆蓋舊版時系統(tǒng)級庫依賴很容易殘留下舊版本的文件后續(xù)某個第三方庫加載時先搜到舊的libcudnn.so.8結(jié)果行為就開始“變得奇怪了”。獨(dú)立環(huán)境隔離就能從根源上規(guī)避這個問題。我的觀點(diǎn)是環(huán)境配置也是代碼的一部分值得用版本控制來管理它。6. 常見報錯與排查思路6.1 報錯速查表把這些年遇到過的、以及身邊同事同學(xué)問得最多的問題整理成一張表方便你對照現(xiàn)象大概率原因排查與解決思路torch.cuda.is_available()返回 FalsePyTorch裝成CPU版或驅(qū)動太舊確認(rèn)用torch.version.cuda看捆綁版本更新驅(qū)動用官方CUDA對應(yīng)命令重裝CUDA driver version is insufficient for CUDA runtime version驅(qū)動支持上限低于PyTorch捆綁的CUDA運(yùn)行庫用nvidia-smi查看上限升級驅(qū)動RuntimeError: cuDNN error: CUDNN_STATUS_NOT_INITIALIZEDcuDNN版本不匹配或庫搜索路徑里有舊版本用torch.backends.cudnn.version()查看綁定版本如果conda環(huán)境里多了亂七八糟的庫重建環(huán)境更簡單libcudnn.so.8: cannot open shared object file系統(tǒng)級cuDNN路徑不對echo $LD_LIBRARY_PATH確認(rèn)cuDNN在哪配上ldconfig剛 import torch 就崩潰驅(qū)動與CUDA Toolkit版本嚴(yán)重不匹配嘗試重啟驅(qū)動部分模塊未完全加載重新安裝匹配的驅(qū)動Windows下ImportError: DLL load failedCUDA或cuDNN的DLL不在搜索路徑檢查PATH環(huán)境變量重裝并保持默認(rèn)路徑用依賴庫檢查工具排查具體缺哪個DLL訓(xùn)練時顯存溢出OOM模型或batch size 太大降低batch size或用torch.cuda.empty_cache()清緩存檢查是否有進(jìn)程殘留占用顯存這張表只能覆蓋高頻問題底層原則是報錯信息才是真正的線索報錯的上半部分往往比下半部分更有價值。很多人看到一長串Traceback就直接嚇住其實(shí)只需從最開始一道閱讀問題通常集中在“Driver”“Runtime”“cuDNN”三個關(guān)鍵詞上。6.2 兩個值得養(yǎng)的排查習(xí)慣第一個習(xí)慣是“分步快檢”。配置環(huán)境時每完成一步就驗(yàn)證一步而不是全裝完之后再一次性驗(yàn)證。比如驅(qū)動裝完跑一次nvidia-smiCUDA裝完跑一次nvcc --versionPyTorch裝完跑一次小腳本。這樣每個階段的問題都在該階段暴露排查范圍會被縮短一半以上。第二個習(xí)慣是“只留一個依賴源頭”。多TensorFlow、PyTorch共存的環(huán)境里最容易出現(xiàn)同一個libcudnn.so或libcublas.so被各種包反復(fù)覆蓋的情況。遇到這種環(huán)境我已經(jīng)習(xí)慣了用一個個獨(dú)立的conda環(huán)境去隔離依賴并在環(huán)境內(nèi)用pip list或conda list記錄當(dāng)前版本組合。時間久了團(tuán)隊(duì)里復(fù)現(xiàn)問題時能直接甩一個環(huán)境快照效率高得多。最后分享一點(diǎn)個人經(jīng)驗(yàn)環(huán)境配置本質(zhì)上是個“工程問題”不是“科研問題”它沒有多少創(chuàng)造性但需要你認(rèn)真對待版本匹配和路徑管理。我?guī)秃芏嗳伺挪檫^環(huán)境問題絕大多數(shù)卡住的時刻不是缺了什么高深知識而是沒搞清楚自己裝的到底是什么版本、驅(qū)動上限是多少、PyTorch捆綁的CUDA運(yùn)行庫是什么版本。把這些基礎(chǔ)信息確認(rèn)清楚這套配置流程會順暢得多。還有一個小技巧可以分享在一臺新機(jī)器上配環(huán)境前先跑一段簡單的基準(zhǔn)腳本記錄CPU訓(xùn)練和GPU訓(xùn)練的耗時差。這個對比在排查問題時特別有用——如果GPU計算時間異常接近CPU那八成是GPU沒有真正干活驅(qū)動或版本配置還有問題。配置好之后我通常用這個基準(zhǔn)腳本作為環(huán)境健康檢查的標(biāo)準(zhǔn)每次改動依賴后都跑一遍確認(rèn)運(yùn)算性能沒有退化。后續(xù)有條件的同學(xué)還可以在配好GPU環(huán)境的基礎(chǔ)上進(jìn)一步了解分布式訓(xùn)練、多卡通信、混合精度訓(xùn)練這些都是建立在環(huán)境穩(wěn)定之上的上層建筑。只要底層環(huán)境打得夠牢后面探索的路就會走得順很多。