)
簡介這份資源面向想入門AIGC圖像風格遷移的開發(fā)者與學習者提供基于PyTorch實現的人臉動漫化算法AnimeGANv2完整項目幫助理解生成對抗網絡在真實人臉到動漫風格轉換中的落地方式。壓縮包共18個文件、約35.9MB包含4個py腳本用于模型定義與權重轉換、2個ipynb交互式演示、4個pt預訓練權重、6張jpg效果對比圖以及說明文檔與依賴清單覆蓋從推理到訓練的核心環(huán)節(jié)。已有257人學習下載適合作為課程設計或實戰(zhàn)練手參考。讀者可借助預訓練權重直接運行人臉動漫化效果通過notebook逐步調試生成器與判別器結構結合效果圖對比不同權重風格差異并參考損失函數與數據預處理思路復現訓練流程從而掌握CNN與GAN在圖像轉換任務中的工程實現方法。1. AnimeGANv2 人臉動漫化從一張自拍到可復現的 PyTorch 推理鏈路手里有一張普通自拍想把它變成新海誠或京阿尼風格的動漫頭像這件事在 AnimeGANv2 出現之前要么靠畫師要么靠 CycleGAN 那種訓練慢、推理糊、臉崩得親媽都不認識的方案。AnimeGANv2 把這條路走通了它是一個基于 PyTorch 的輕量級生成對抗網絡專門做人臉到動漫風格的轉換模型體積小、推理快單張 512 分辨率圖片在普通顯卡上幾十毫秒就能出結果。標題里說的「附項目源碼效果展示」本質就是一套能直接跑起來的推理工程而不是讓你從零訓一個 GAN。這篇文章面向兩類人一類是剛配好 PyTorch 環(huán)境、想找個能出效果的項目練手的新手另一類是想把動漫化能力接進自己產品、需要搞清楚模型邊界和部署成本的工程師。我會按「環(huán)境怎么搭 → 權重怎么用 → 推理腳本怎么寫 → 效果怎么調 → 坑在哪」的順序講每一步都落到能抄的命令和代碼上。2. 環(huán)境搭建與權重準備把 PyTorch 和 AnimeGANv2 跑起來的第一公里2.1 為什么 AnimeGANv2 對 PyTorch 版本不挑但 CUDA 要挑AnimeGANv2 的網絡結構是標準的卷積殘差塊上采樣沒有用到自定義 CUDA 算子也沒有依賴特定版本的 torchvision 新 API所以它對 PyTorch 主版本相當寬容。我實測過 1.10 到 2.3 之間的多個版本推理結果沒有肉眼可見差異。真正會翻車的是 CUDA 和顯卡驅動的匹配如果你用pip install torch默認拉到的可能是 CPU 版跑一張圖要等好幾秒完全失去實戰(zhàn)意義。常見做法是先去 PyTorch 官網的安裝命令生成器選好 CUDA 版本再復制命令。比如 CUDA 11.8 環(huán)境下# 創(chuàng)建獨立環(huán)境避免和已有項目沖突 conda create -n animeganv2 python3.9 -y conda activate animeganv2 # 安裝帶 CUDA 11.8 支持的 PyTorch注意 cu118 后綴 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 # 驗證 GPU 是否可用這一步必須返回 True python -c import torch; print(torch.cuda.is_available(), torch.__version__)這段命令的邏輯是先隔離環(huán)境再裝 GPU 版 PyTorch最后用一行 Python 確認cuda.is_available()為 True。參數上唯一要改的是cu118如果你驅動對應的是 CUDA 12.1就換成cu121。如果返回 False先別急著裝 AnimeGANv2去查顯卡驅動版本nvidia-smi右上角顯示的 CUDA Version 必須大于等于你安裝的版本。2.2 權重文件放哪、怎么確認沒下錯AnimeGANv2 的推理權重通常是一個.pth文件體積在 8MB 到 30MB 之間取決于生成器通道數配置。項目源碼里一般會有一個weights或checkpoints目錄。你要做的是把下載到的.pth放進這個目錄然后在推理腳本里把路徑指過去。判斷權重有沒有下錯看兩個地方一是文件大小明顯小于 5MB 的基本是損壞或下成了別的模型二是加載時用torch.load看 state_dict 的 key 數量正常生成器應該有幾百個 key。下面這段代碼就是加載并打印結構import torch # 加載權重map_location 保證在 CPU 上也能查看結構 ckpt torch.load(weights/animeganv2.pth, map_locationcpu) # 有些權重直接是 state_dict有些包在 model 或 generator 鍵里 if isinstance(ckpt, dict) and generator in ckpt: state_dict ckpt[generator] else: state_dict ckpt print(參數張量數量:, len(state_dict)) print(前 5 個 key:, list(state_dict.keys())[:5])邏輯說明map_locationcpu是為了在沒有 GPU 的機器上也能檢查權重避免直接報 CUDA 錯誤。參數說明如果打印出的 key 以module.開頭說明權重是用 DataParallel 保存的加載到單卡模型時需要去掉這個前綴否則會報 missing keys。這一步不做后面推理會直接拋異常。2.3 用 conda 還是 venv新手最容易糾結的一步熱搜里「anaconda配置pytorch環(huán)境」和「pytorch環(huán)境搭建wsl」出現頻率很高說明很多人卡在環(huán)境選擇上。我的建議很直接如果你主力是 Windows 且不想折騰用 conda如果你在 Linux 或 WSL 下做部署用 venv 更輕。AnimeGANv2 的依賴只有 torch、torchvision、opencv-python、numpy、pillow 這幾個沒有復雜的編譯依賴venv 完全夠用。WSL 下要注意的是顯卡直通WSL2 支持 CUDA但需要 Windows 驅動版本足夠新且不要在 WSL 里再裝一遍顯卡驅動。裝完 PyTorch 后用torch.cuda.is_available()驗證返回 True 就說明直通成功。這一步過了后面所有推理代碼和原生 Linux 沒有區(qū)別。3. 推理腳本拆解從讀圖到出圖的完整代碼鏈路3.1 預處理為什么必須做 256 或 512 的 resizeAnimeGANv2 的生成器是全卷積結構理論上可以接受任意尺寸輸入但訓練時用的是固定分辨率推理時如果輸入尺寸和訓練分布差太遠會出現臉部比例失調或背景紋理崩壞。常見做法是把輸入圖短邊縮放到 256 或 512再中心裁剪成正方形。import cv2 import numpy as np def preprocess(img_path, size512): # 用 cv2 讀圖注意返回的是 BGR img cv2.imread(img_path) if img is None: raise FileNotFoundError(f讀不到圖片: {img_path}) # 短邊縮放到 size保持長寬比 h, w img.shape[:2] scale size / min(h, w) new_h, new_w int(h * scale), int(w * scale) img cv2.resize(img, (new_w, new_h), interpolationcv2.INTER_AREA) # 中心裁剪成 size x size start_x (new_w - size) // 2 start_y (new_h - size) // 2 img img[start_y:start_ysize, start_x:start_xsize] # BGR 轉 RGB歸一化到 [-1, 1] img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) img img.astype(np.float32) / 127.5 - 1.0 return img邏輯說明先等比縮放再中心裁剪是為了不讓臉被拉變形。INTER_AREA在縮小圖像時比默認的INTER_LINEAR更少產生摩爾紋。歸一化到 [-1,1] 是因為 AnimeGANv2 訓練時用的就是這個范圍如果你歸一化到 [0,1]輸出會整體偏灰。參數說明size默認 512顯存不夠就改 256效果會略糊但速度快一倍。3.2 生成器前向傳播與后處理還原預處理完的數據要轉成 tensor 并增加 batch 維度然后送進生成器。生成器輸出范圍也是 [-1,1]需要反歸一化回 [0,255] 并轉回 BGR 才能用 cv2 保存。import torch def inference(model, img_np, devicecuda): # HWC - CHW增加 batch 維度 tensor torch.from_numpy(img_np).permute(2, 0, 1).unsqueeze(0) tensor tensor.to(device) model.eval() with torch.no_grad(): output model(tensor) # 反歸一化: [-1,1] - [0,255] output output.squeeze(0).permute(1, 2, 0).cpu().numpy() output (output 1.0) * 127.5 output np.clip(output, 0, 255).astype(np.uint8) # RGB - BGR供 cv2 保存 output cv2.cvtColor(output, cv2.COLOR_RGB2BGR) return output邏輯說明model.eval()關閉 dropout 和 batchnorm 的訓練行為torch.no_grad()省顯存。permute的順序不能錯CHW 轉 HWC 后再反歸一化。參數說明device根據實際情況填cuda或cpu如果顯存小于 4GB建議把輸入尺寸降到 256否則 512 輸入在部分生成器配置下會 OOM。3.3 把預處理、推理、保存串成一條命令把上面兩段拼起來加上模型加載和保存就是一個完整可跑的腳本。我一般會寫成命令行工具方便批量處理。import argparse import os def main(): parser argparse.ArgumentParser() parser.add_argument(--input, requiredTrue, help輸入圖片路徑或目錄) parser.add_argument(--output, defaultoutput, help輸出目錄) parser.add_argument(--size, typeint, default512) parser.add_argument(--weight, defaultweights/animeganv2.pth) args parser.parse_args() os.makedirs(args.output, exist_okTrue) device cuda if torch.cuda.is_available() else cpu # 這里假設你已經定義好 Generator 類并導入 model Generator().to(device) ckpt torch.load(args.weight, map_locationdevice) state_dict ckpt.get(generator, ckpt) model.load_state_dict(state_dict, strictFalse) # 單圖或目錄批量 if os.path.isdir(args.input): files [f for f in os.listdir(args.input) if f.lower().endswith((.jpg, .png))] paths [os.path.join(args.input, f) for f in files] else: paths [args.input] for p in paths: img preprocess(p, args.size) out inference(model, img, device) save_path os.path.join(args.output, os.path.basename(p)) cv2.imwrite(save_path, out) print(saved:, save_path) if __name__ __main__: main()邏輯說明strictFalse是為了容忍權重里可能多出的 key比如訓練時的判別器參數。參數說明--size控制分辨率和顯存占用--weight指向你的.pth文件。跑起來就是python infer.py --input test.jpg --output results。如果報CUDA out of memory先把--size改成 256 再試。4. 效果調優(yōu)與風格選擇為什么同一張臉出來的結果差很多4.1 不同權重對應不同畫風別拿一個模型打天下AnimeGANv2 官方和社區(qū)放出的權重通常按風格分宮崎駿、新海誠、京阿尼、潘多拉等。每個權重的訓練數據分布不同對臉型、眼睛、背景的處理差異很大。新海誠風格權重對光影和天空處理強但人臉可能偏柔和京阿尼風格權重對線條和眼睛更銳利但背景容易過曝。選擇方法很直接拿同一張自拍分別用三到四個權重跑一遍肉眼對比。我一般會固定輸入尺寸 512輸出不壓縮放在一起看。如果你要做產品建議把風格選擇做成用戶可切換的選項而不是只內置一個權重。4.2 輸入人臉質量決定上限預處理只能救一部分AnimeGANv2 不是人臉修復模型它不會幫你把模糊的臉變清晰。如果輸入自拍本身分辨率低、噪點多、側臉角度大動漫化后這些問題會被放大。常見做法是先用一個人臉檢測模型把臉裁出來確保臉占畫面比例在 30% 以上再送進 AnimeGANv2。# 用 OpenCV 自帶的人臉檢測做粗裁剪 face_cascade cv2.CascadeClassifier(cv2.data.haarcascades haarcascade_frontalface_default.xml) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) faces face_cascade.detectMultiScale(gray, 1.1, 4) if len(faces) 0: x, y, w, h faces[0] # 向外擴 20%避免裁太緊 pad int(0.2 * w) x1 max(0, x - pad) y1 max(0, y - pad) x2 min(img.shape[1], x w pad) y2 min(img.shape[0], y h pad) img img[y1:y2, x1:x2]邏輯說明Haar 級聯檢測速度快適合做粗裁剪精度不如深度學習模型但夠用。參數說明1.1是縮放步長4是最小鄰居數調大這兩個值會減少誤檢但可能漏檢。裁剪后再做 resize 和歸一化效果通常比整圖直接送進去好一截。4.3 后處理加一點銳化線條會更像手繪AnimeGANv2 輸出有時會偏軟尤其是 256 尺寸推理再放大時。我習慣在保存前做一次輕量銳化用 unsharp mask 的思路def sharpen(img, amount0.5): # 高斯模糊作為低頻分量 blurred cv2.GaussianBlur(img, (0, 0), 3) # 原圖減去模糊圖得到高頻再按比例加回去 sharpened cv2.addWeighted(img, 1 amount, blurred, -amount, 0) return sharpened邏輯說明amount控制銳化強度0.5 左右比較自然超過 1.0 會出現白邊。參數說明高斯核大小用(0,0)讓 OpenCV 根據 sigma 自動算sigma 設 3 對應中等模糊半徑。這一步不是必須但對輸出到社交平臺的圖銳化后觀感提升明顯。5. 避坑與排查AnimeGANv2 實戰(zhàn)中翻車的五個瞬間5.1 現象推理結果全黑或全白原因歸一化范圍搞反了。AnimeGANv2 訓練時輸入輸出都是 [-1,1]如果你預處理用了 [0,1]或者后處理忘了反歸一化輸出就會截斷成純黑或純白。解決檢查preprocess里是不是img / 127.5 - 1.0檢查inference里是不是(output 1.0) * 127.5。兩個地方必須配對缺一不可。5.2 現象報錯Missing key(s) in state_dict原因權重保存時用了DataParallelkey 前面多了module.前綴而你的模型是單卡定義。解決加載時去掉前綴。代碼很簡單state_dict {k.replace(module., ): v for k, v in state_dict.items()} model.load_state_dict(state_dict, strictFalse)注意strictFalse只是容忍多余 key不能解決 key 名字完全對不上的情況。如果去掉前綴還報錯說明權重和模型結構不匹配換權重。5.3 現象CUDA out of memory但顯存明明夠原因PyTorch 默認會緩存顯存多次推理后緩存不釋放或者你同時跑了別的進程。解決在推理循環(huán)里加torch.cuda.empty_cache()或者把--size降到 256。另外檢查是不是在torch.no_grad()外面做了 tensor 拼接那樣會保留計算圖。5.4 現象輸出人臉五官錯位或眼睛變形成異形原因輸入圖片人臉角度過大或者人臉在畫面中占比太小生成器把背景紋理當成了人臉特征。解決先做人臉檢測和裁剪確保臉占畫面 30% 以上。如果還是崩換一個在更多側臉數據上訓練過的權重。AnimeGANv2 對正臉效果最好側臉超過 45 度基本救不回來。5.5 現象批量處理時越跑越慢最后卡死原因每張圖都重新加載了一次模型或者沒有用with torch.no_grad()導致計算圖不斷累積。解決模型加載放在循環(huán)外面只加載一次。推理循環(huán)內確保torch.no_grad()生效。如果圖片數量大可以用DataLoader做批處理但要注意不同尺寸的圖不能直接拼 batch需要統(tǒng)一 resize 到同一尺寸。6. 進階技巧把 AnimeGANv2 接進實際管線的三個具體做法第一個做法是導出 ONNX 做跨平臺部署。PyTorch 模型在服務器上跑沒問題但如果要放到移動端或瀏覽器ONNX 是更通用的中間格式。導出時注意固定輸入尺寸動態(tài)軸只保留 batch 維度dummy torch.randn(1, 3, 512, 512).to(device) torch.onnx.export( model, dummy, animeganv2.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch}, output: {0: batch}}, opset_version11 )導出后用onnxruntime驗證輸出和 PyTorch 是否一致誤差在 1e-3 以內算正常。這一步做完你就可以在 C、Java 或前端 JS 里調這個模型不再依賴 Python 環(huán)境。第二個做法是用 TensorRT 加速。如果你在 NVIDIA 顯卡上做服務TensorRT 能把推理速度再壓一半以上。流程是 ONNX → TensorRT engine用trtexec命令行工具就能轉trtexec --onnxanimeganv2.onnx --saveEngineanimeganv2.engine --fp16--fp16開啟半精度速度更快顯存占用更低畫質損失肉眼幾乎看不出。注意 TensorRT engine 和顯卡架構綁定換顯卡要重新轉。第三個做法是做人臉對齊后再動漫化。AnimeGANv2 對正臉效果最好如果你要做批量頭像生成先用關鍵點檢測做仿射變換把臉擺正再送進模型。這一步能把側臉崩壞率降下來一大半。我一般用 5 點關鍵點雙眼、鼻尖、雙嘴角算變換矩陣OpenCV 的estimateAffinePartial2D就夠用。最后說一個我自己的習慣每次換權重或改預處理參數一定先拿同一張測試圖跑一遍把輸出和上一版并排看。AnimeGANv2 的效果差異很多時候不是模型問題而是預處理和后處理的細節(jié)沒對齊。這個習慣幫我省了很多來回折騰的時間。希望幫到你。本文還有配套的精品資源點擊獲取 AnimeGANv2人臉動漫化：PyTorch推理全鏈路與源碼實戰(zhàn)
簡介這份資源面向想入門AIGC圖像風格遷移的開發(fā)者與學習者提供基于PyTorch實現的人臉動漫化算法AnimeGANv2完整項目幫助理解生成對抗網絡在真實人臉到動漫風格轉換中的落地方式。壓縮包共18個文件、約35.9MB包含4個py腳本用于模型定義與權重轉換、2個ipynb交互式演示、4個pt預訓練權重、6張jpg效果對比圖以及說明文檔與依賴清單覆蓋從推理到訓練的核心環(huán)節(jié)。已有257人學習下載適合作為課程設計或實戰(zhàn)練手參考。讀者可借助預訓練權重直接運行人臉動漫化效果通過notebook逐步調試生成器與判別器結構結合效果圖對比不同權重風格差異并參考損失函數與數據預處理思路復現訓練流程從而掌握CNN與GAN在圖像轉換任務中的工程實現方法。1. AnimeGANv2 人臉動漫化從一張自拍到可復現的 PyTorch 推理鏈路手里有一張普通自拍想把它變成新海誠或京阿尼風格的動漫頭像這件事在 AnimeGANv2 出現之前要么靠畫師要么靠 CycleGAN 那種訓練慢、推理糊、臉崩得親媽都不認識的方案。AnimeGANv2 把這條路走通了它是一個基于 PyTorch 的輕量級生成對抗網絡專門做人臉到動漫風格的轉換模型體積小、推理快單張 512 分辨率圖片在普通顯卡上幾十毫秒就能出結果。標題里說的「附項目源碼效果展示」本質就是一套能直接跑起來的推理工程而不是讓你從零訓一個 GAN。這篇文章面向兩類人一類是剛配好 PyTorch 環(huán)境、想找個能出效果的項目練手的新手另一類是想把動漫化能力接進自己產品、需要搞清楚模型邊界和部署成本的工程師。我會按「環(huán)境怎么搭 → 權重怎么用 → 推理腳本怎么寫 → 效果怎么調 → 坑在哪」的順序講每一步都落到能抄的命令和代碼上。2. 環(huán)境搭建與權重準備把 PyTorch 和 AnimeGANv2 跑起來的第一公里2.1 為什么 AnimeGANv2 對 PyTorch 版本不挑但 CUDA 要挑AnimeGANv2 的網絡結構是標準的卷積殘差塊上采樣沒有用到自定義 CUDA 算子也沒有依賴特定版本的 torchvision 新 API所以它對 PyTorch 主版本相當寬容。我實測過 1.10 到 2.3 之間的多個版本推理結果沒有肉眼可見差異。真正會翻車的是 CUDA 和顯卡驅動的匹配如果你用pip install torch默認拉到的可能是 CPU 版跑一張圖要等好幾秒完全失去實戰(zhàn)意義。常見做法是先去 PyTorch 官網的安裝命令生成器選好 CUDA 版本再復制命令。比如 CUDA 11.8 環(huán)境下# 創(chuàng)建獨立環(huán)境避免和已有項目沖突 conda create -n animeganv2 python3.9 -y conda activate animeganv2 # 安裝帶 CUDA 11.8 支持的 PyTorch注意 cu118 后綴 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 # 驗證 GPU 是否可用這一步必須返回 True python -c import torch; print(torch.cuda.is_available(), torch.__version__)這段命令的邏輯是先隔離環(huán)境再裝 GPU 版 PyTorch最后用一行 Python 確認cuda.is_available()為 True。參數上唯一要改的是cu118如果你驅動對應的是 CUDA 12.1就換成cu121。如果返回 False先別急著裝 AnimeGANv2去查顯卡驅動版本nvidia-smi右上角顯示的 CUDA Version 必須大于等于你安裝的版本。2.2 權重文件放哪、怎么確認沒下錯AnimeGANv2 的推理權重通常是一個.pth文件體積在 8MB 到 30MB 之間取決于生成器通道數配置。項目源碼里一般會有一個weights或checkpoints目錄。你要做的是把下載到的.pth放進這個目錄然后在推理腳本里把路徑指過去。判斷權重有沒有下錯看兩個地方一是文件大小明顯小于 5MB 的基本是損壞或下成了別的模型二是加載時用torch.load看 state_dict 的 key 數量正常生成器應該有幾百個 key。下面這段代碼就是加載并打印結構import torch # 加載權重map_location 保證在 CPU 上也能查看結構 ckpt torch.load(weights/animeganv2.pth, map_locationcpu) # 有些權重直接是 state_dict有些包在 model 或 generator 鍵里 if isinstance(ckpt, dict) and generator in ckpt: state_dict ckpt[generator] else: state_dict ckpt print(參數張量數量:, len(state_dict)) print(前 5 個 key:, list(state_dict.keys())[:5])邏輯說明map_locationcpu是為了在沒有 GPU 的機器上也能檢查權重避免直接報 CUDA 錯誤。參數說明如果打印出的 key 以module.開頭說明權重是用 DataParallel 保存的加載到單卡模型時需要去掉這個前綴否則會報 missing keys。這一步不做后面推理會直接拋異常。2.3 用 conda 還是 venv新手最容易糾結的一步熱搜里「anaconda配置pytorch環(huán)境」和「pytorch環(huán)境搭建wsl」出現頻率很高說明很多人卡在環(huán)境選擇上。我的建議很直接如果你主力是 Windows 且不想折騰用 conda如果你在 Linux 或 WSL 下做部署用 venv 更輕。AnimeGANv2 的依賴只有 torch、torchvision、opencv-python、numpy、pillow 這幾個沒有復雜的編譯依賴venv 完全夠用。WSL 下要注意的是顯卡直通WSL2 支持 CUDA但需要 Windows 驅動版本足夠新且不要在 WSL 里再裝一遍顯卡驅動。裝完 PyTorch 后用torch.cuda.is_available()驗證返回 True 就說明直通成功。這一步過了后面所有推理代碼和原生 Linux 沒有區(qū)別。3. 推理腳本拆解從讀圖到出圖的完整代碼鏈路3.1 預處理為什么必須做 256 或 512 的 resizeAnimeGANv2 的生成器是全卷積結構理論上可以接受任意尺寸輸入但訓練時用的是固定分辨率推理時如果輸入尺寸和訓練分布差太遠會出現臉部比例失調或背景紋理崩壞。常見做法是把輸入圖短邊縮放到 256 或 512再中心裁剪成正方形。import cv2 import numpy as np def preprocess(img_path, size512): # 用 cv2 讀圖注意返回的是 BGR img cv2.imread(img_path) if img is None: raise FileNotFoundError(f讀不到圖片: {img_path}) # 短邊縮放到 size保持長寬比 h, w img.shape[:2] scale size / min(h, w) new_h, new_w int(h * scale), int(w * scale) img cv2.resize(img, (new_w, new_h), interpolationcv2.INTER_AREA) # 中心裁剪成 size x size start_x (new_w - size) // 2 start_y (new_h - size) // 2 img img[start_y:start_ysize, start_x:start_xsize] # BGR 轉 RGB歸一化到 [-1, 1] img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) img img.astype(np.float32) / 127.5 - 1.0 return img邏輯說明先等比縮放再中心裁剪是為了不讓臉被拉變形。INTER_AREA在縮小圖像時比默認的INTER_LINEAR更少產生摩爾紋。歸一化到 [-1,1] 是因為 AnimeGANv2 訓練時用的就是這個范圍如果你歸一化到 [0,1]輸出會整體偏灰。參數說明size默認 512顯存不夠就改 256效果會略糊但速度快一倍。3.2 生成器前向傳播與后處理還原預處理完的數據要轉成 tensor 并增加 batch 維度然后送進生成器。生成器輸出范圍也是 [-1,1]需要反歸一化回 [0,255] 并轉回 BGR 才能用 cv2 保存。import torch def inference(model, img_np, devicecuda): # HWC - CHW增加 batch 維度 tensor torch.from_numpy(img_np).permute(2, 0, 1).unsqueeze(0) tensor tensor.to(device) model.eval() with torch.no_grad(): output model(tensor) # 反歸一化: [-1,1] - [0,255] output output.squeeze(0).permute(1, 2, 0).cpu().numpy() output (output 1.0) * 127.5 output np.clip(output, 0, 255).astype(np.uint8) # RGB - BGR供 cv2 保存 output cv2.cvtColor(output, cv2.COLOR_RGB2BGR) return output邏輯說明model.eval()關閉 dropout 和 batchnorm 的訓練行為torch.no_grad()省顯存。permute的順序不能錯CHW 轉 HWC 后再反歸一化。參數說明device根據實際情況填cuda或cpu如果顯存小于 4GB建議把輸入尺寸降到 256否則 512 輸入在部分生成器配置下會 OOM。3.3 把預處理、推理、保存串成一條命令把上面兩段拼起來加上模型加載和保存就是一個完整可跑的腳本。我一般會寫成命令行工具方便批量處理。import argparse import os def main(): parser argparse.ArgumentParser() parser.add_argument(--input, requiredTrue, help輸入圖片路徑或目錄) parser.add_argument(--output, defaultoutput, help輸出目錄) parser.add_argument(--size, typeint, default512) parser.add_argument(--weight, defaultweights/animeganv2.pth) args parser.parse_args() os.makedirs(args.output, exist_okTrue) device cuda if torch.cuda.is_available() else cpu # 這里假設你已經定義好 Generator 類并導入 model Generator().to(device) ckpt torch.load(args.weight, map_locationdevice) state_dict ckpt.get(generator, ckpt) model.load_state_dict(state_dict, strictFalse) # 單圖或目錄批量 if os.path.isdir(args.input): files [f for f in os.listdir(args.input) if f.lower().endswith((.jpg, .png))] paths [os.path.join(args.input, f) for f in files] else: paths [args.input] for p in paths: img preprocess(p, args.size) out inference(model, img, device) save_path os.path.join(args.output, os.path.basename(p)) cv2.imwrite(save_path, out) print(saved:, save_path) if __name__ __main__: main()邏輯說明strictFalse是為了容忍權重里可能多出的 key比如訓練時的判別器參數。參數說明--size控制分辨率和顯存占用--weight指向你的.pth文件。跑起來就是python infer.py --input test.jpg --output results。如果報CUDA out of memory先把--size改成 256 再試。4. 效果調優(yōu)與風格選擇為什么同一張臉出來的結果差很多4.1 不同權重對應不同畫風別拿一個模型打天下AnimeGANv2 官方和社區(qū)放出的權重通常按風格分宮崎駿、新海誠、京阿尼、潘多拉等。每個權重的訓練數據分布不同對臉型、眼睛、背景的處理差異很大。新海誠風格權重對光影和天空處理強但人臉可能偏柔和京阿尼風格權重對線條和眼睛更銳利但背景容易過曝。選擇方法很直接拿同一張自拍分別用三到四個權重跑一遍肉眼對比。我一般會固定輸入尺寸 512輸出不壓縮放在一起看。如果你要做產品建議把風格選擇做成用戶可切換的選項而不是只內置一個權重。4.2 輸入人臉質量決定上限預處理只能救一部分AnimeGANv2 不是人臉修復模型它不會幫你把模糊的臉變清晰。如果輸入自拍本身分辨率低、噪點多、側臉角度大動漫化后這些問題會被放大。常見做法是先用一個人臉檢測模型把臉裁出來確保臉占畫面比例在 30% 以上再送進 AnimeGANv2。# 用 OpenCV 自帶的人臉檢測做粗裁剪 face_cascade cv2.CascadeClassifier(cv2.data.haarcascades haarcascade_frontalface_default.xml) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) faces face_cascade.detectMultiScale(gray, 1.1, 4) if len(faces) 0: x, y, w, h faces[0] # 向外擴 20%避免裁太緊 pad int(0.2 * w) x1 max(0, x - pad) y1 max(0, y - pad) x2 min(img.shape[1], x w pad) y2 min(img.shape[0], y h pad) img img[y1:y2, x1:x2]邏輯說明Haar 級聯檢測速度快適合做粗裁剪精度不如深度學習模型但夠用。參數說明1.1是縮放步長4是最小鄰居數調大這兩個值會減少誤檢但可能漏檢。裁剪后再做 resize 和歸一化效果通常比整圖直接送進去好一截。4.3 后處理加一點銳化線條會更像手繪AnimeGANv2 輸出有時會偏軟尤其是 256 尺寸推理再放大時。我習慣在保存前做一次輕量銳化用 unsharp mask 的思路def sharpen(img, amount0.5): # 高斯模糊作為低頻分量 blurred cv2.GaussianBlur(img, (0, 0), 3) # 原圖減去模糊圖得到高頻再按比例加回去 sharpened cv2.addWeighted(img, 1 amount, blurred, -amount, 0) return sharpened邏輯說明amount控制銳化強度0.5 左右比較自然超過 1.0 會出現白邊。參數說明高斯核大小用(0,0)讓 OpenCV 根據 sigma 自動算sigma 設 3 對應中等模糊半徑。這一步不是必須但對輸出到社交平臺的圖銳化后觀感提升明顯。5. 避坑與排查AnimeGANv2 實戰(zhàn)中翻車的五個瞬間5.1 現象推理結果全黑或全白原因歸一化范圍搞反了。AnimeGANv2 訓練時輸入輸出都是 [-1,1]如果你預處理用了 [0,1]或者后處理忘了反歸一化輸出就會截斷成純黑或純白。解決檢查preprocess里是不是img / 127.5 - 1.0檢查inference里是不是(output 1.0) * 127.5。兩個地方必須配對缺一不可。5.2 現象報錯Missing key(s) in state_dict原因權重保存時用了DataParallelkey 前面多了module.前綴而你的模型是單卡定義。解決加載時去掉前綴。代碼很簡單state_dict {k.replace(module., ): v for k, v in state_dict.items()} model.load_state_dict(state_dict, strictFalse)注意strictFalse只是容忍多余 key不能解決 key 名字完全對不上的情況。如果去掉前綴還報錯說明權重和模型結構不匹配換權重。5.3 現象CUDA out of memory但顯存明明夠原因PyTorch 默認會緩存顯存多次推理后緩存不釋放或者你同時跑了別的進程。解決在推理循環(huán)里加torch.cuda.empty_cache()或者把--size降到 256。另外檢查是不是在torch.no_grad()外面做了 tensor 拼接那樣會保留計算圖。5.4 現象輸出人臉五官錯位或眼睛變形成異形原因輸入圖片人臉角度過大或者人臉在畫面中占比太小生成器把背景紋理當成了人臉特征。解決先做人臉檢測和裁剪確保臉占畫面 30% 以上。如果還是崩換一個在更多側臉數據上訓練過的權重。AnimeGANv2 對正臉效果最好側臉超過 45 度基本救不回來。5.5 現象批量處理時越跑越慢最后卡死原因每張圖都重新加載了一次模型或者沒有用with torch.no_grad()導致計算圖不斷累積。解決模型加載放在循環(huán)外面只加載一次。推理循環(huán)內確保torch.no_grad()生效。如果圖片數量大可以用DataLoader做批處理但要注意不同尺寸的圖不能直接拼 batch需要統(tǒng)一 resize 到同一尺寸。6. 進階技巧把 AnimeGANv2 接進實際管線的三個具體做法第一個做法是導出 ONNX 做跨平臺部署。PyTorch 模型在服務器上跑沒問題但如果要放到移動端或瀏覽器ONNX 是更通用的中間格式。導出時注意固定輸入尺寸動態(tài)軸只保留 batch 維度dummy torch.randn(1, 3, 512, 512).to(device) torch.onnx.export( model, dummy, animeganv2.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch}, output: {0: batch}}, opset_version11 )導出后用onnxruntime驗證輸出和 PyTorch 是否一致誤差在 1e-3 以內算正常。這一步做完你就可以在 C、Java 或前端 JS 里調這個模型不再依賴 Python 環(huán)境。第二個做法是用 TensorRT 加速。如果你在 NVIDIA 顯卡上做服務TensorRT 能把推理速度再壓一半以上。流程是 ONNX → TensorRT engine用trtexec命令行工具就能轉trtexec --onnxanimeganv2.onnx --saveEngineanimeganv2.engine --fp16--fp16開啟半精度速度更快顯存占用更低畫質損失肉眼幾乎看不出。注意 TensorRT engine 和顯卡架構綁定換顯卡要重新轉。第三個做法是做人臉對齊后再動漫化。AnimeGANv2 對正臉效果最好如果你要做批量頭像生成先用關鍵點檢測做仿射變換把臉擺正再送進模型。這一步能把側臉崩壞率降下來一大半。我一般用 5 點關鍵點雙眼、鼻尖、雙嘴角算變換矩陣OpenCV 的estimateAffinePartial2D就夠用。最后說一個我自己的習慣每次換權重或改預處理參數一定先拿同一張測試圖跑一遍把輸出和上一版并排看。AnimeGANv2 的效果差異很多時候不是模型問題而是預處理和后處理的細節(jié)沒對齊。這個習慣幫我省了很多來回折騰的時間。希望幫到你。本文還有配套的精品資源點擊獲取