簡介本資源是面向深度學(xué)習(xí)初學(xué)者與MATLAB實(shí)踐者的生成對抗網(wǎng)絡(luò)GANs全流程實(shí)現(xiàn)包聚焦于在MATLAB環(huán)境中從零構(gòu)建、訓(xùn)練與調(diào)試標(biāo)準(zhǔn)GAN模型解決理論理解與工程落地脫節(jié)的問題。資源共544個(gè)文件含305張訓(xùn)練/生成效果對比圖png、56張模型結(jié)構(gòu)或損失曲線示意圖jpg以及7份HTML格式的交互式說明文檔、2份Python輔助腳本用于數(shù)據(jù)預(yù)處理與結(jié)果驗(yàn)證、2份PDF技術(shù)筆記涵蓋Wasserstein距離改進(jìn)與模式崩潰緩解策略整體壓縮包大小為177.21MB。已有269人下載學(xué)習(xí)適合高校學(xué)生課程設(shè)計(jì)、科研入門及工程師快速復(fù)現(xiàn)基礎(chǔ)GAN架構(gòu)。讀者可直接運(yùn)行MATLAB代碼完成生成器與判別器的網(wǎng)絡(luò)定義、雙階段交替訓(xùn)練、Adam優(yōu)化器配置及收斂過程可視化并通過配套圖像樣本與結(jié)構(gòu)圖直觀理解噪聲映射、真假判別機(jī)制與損失動(dòng)態(tài)變化。 這次想聊點(diǎn)實(shí)在的。最近翻到一個(gè)老資源包標(biāo)題寫著“GANs生成對抗網(wǎng)絡(luò)代碼文檔等資源_gansmatlab,matlab 生成對抗網(wǎng)絡(luò)”里面塞了一堆 .m 文件、論文 PDF 和訓(xùn)練日志截圖。這種包本身不稀奇但既然 MATLAB 這個(gè)關(guān)鍵詞占了半邊天說明不少朋友是想在 MATLAB 環(huán)境里把 GANs 跑起來而不是去啃 Python 那一套。我也用 MATLAB 調(diào)過一段時(shí)間生成對抗網(wǎng)絡(luò)從 DCGAN 到條件 GAN 都試過踩過不少坑今天這篇就把“拿到一份 MATLAB 版 GANs 資源包之后到底怎么讀、怎么跑、怎么改成自己的網(wǎng)絡(luò)”這件事講透。先說清楚這篇不是復(fù)述 GAN 的數(shù)學(xué)原理那些內(nèi)容隨處都能找到。我重點(diǎn)解決三類人的問題一是剛把資源包下載下來、打開 MATLAB 不知道先點(diǎn)哪個(gè)文件的入門者二是已經(jīng)能跑通 demo、但遇到損失不下降、生成圖像全是噪點(diǎn)這類問題的進(jìn)階玩家三是想把手里的 GAN 代碼改造成自己的數(shù)據(jù)集和任務(wù)、卻不知道從哪下手的人。你在這篇文章里能找到現(xiàn)成的代碼骨架、參數(shù)對照表還有我在實(shí)際調(diào)試中總結(jié)的“反直覺”經(jīng)驗(yàn)。1. 資源包到底裝了什么為什么“MATLAB 版 GANs”值得看先說資源包的解構(gòu)。社區(qū)里流傳的這類資源包不管標(biāo)題怎么起里面的內(nèi)容大同小異通常由幾塊組成經(jīng)典論文的 PDF 或筆記、訓(xùn)練好的模型權(quán)重、核心代碼文件、以及一份“readme”文檔。我拿到的這份里代碼部分占了大概一半以 .m 文件為主另有一部分 Simulink 模型文件和實(shí)驗(yàn)記錄表格。我在處理這類資源時(shí)一般會(huì)先做一件看似多余、但非常關(guān)鍵的事——把所有 .m 文件按文件名列一個(gè)索引搞清楚哪個(gè)是入口、哪個(gè)是輔助函數(shù)。很多時(shí)候資源包下載下來打不開不是因?yàn)槲募p壞而是因?yàn)槲募窂絹y了比如addpath(utils)指向的目錄被移動(dòng)過或者run_training.m里調(diào)用的loadMNISTImages函數(shù)根本不在當(dāng)前工程目錄下。MATLAB 版的 GANs 和 Python 版的差別并不在模型結(jié)構(gòu)上——生成器、判別器、損失函數(shù)、優(yōu)化器數(shù)學(xué)本質(zhì)完全一樣——差別在工程落地上。MATLAB 的優(yōu)勢是矩陣運(yùn)算的原生語法和自帶工具箱的成熟度比如 Deep Learning Toolbox 里dlnetwork對象、dlarray數(shù)據(jù)類型和自動(dòng)微分機(jī)制配合custom training loop能很方便地寫出“每一步梯度更新都看得見”的訓(xùn)練代碼。對于需要做控制實(shí)驗(yàn)、對比不同損失函數(shù)效果的研究型任務(wù)這種“透明感”比 Python 的封裝式框架好用得多。這個(gè)資源包的核心代碼基本是 DCGAN 架構(gòu)用 MNIST 數(shù)據(jù)集訓(xùn)練生成手寫數(shù)字圖像。結(jié)構(gòu)上沒有太花哨的東西基礎(chǔ)配置如下組件MATLAB 中的實(shí)現(xiàn)方式說明生成器輸入dlarray(randn(miniBatchSize, latentDim, 1, 1), SSCB)潛變量 z維度 100生成器主體transposedConv2dLayerreluLayer從低分辨率逐步上采樣判別器主體convolution2dLayerleakyReluLayer判斷真?zhèn)屋敵鰧觭igmoidLayer或手動(dòng) sigmoid輸出 0~1 的概率優(yōu)化器adamupdate經(jīng)典 Adam 超參數(shù)如果你打開某個(gè) .m 文件第一眼看到convolution2dLayer這類函數(shù)就說明這份代碼用的是 2020a 之后的“新”工具箱語義而不是老舊的nnet.cnn.layer方式。注意MATLAB 的版本差異對 GANs 代碼影響比想象中大。dlnetwork對象在 R2019b 引入之后多個(gè)版本都改過 API。比如forward和predict的行為在不同版本有細(xì)微差別如果你用 R2023a 跑 R2020a 寫的資源包大概率會(huì)碰到Unrecognized property或Invalid argument類報(bào)錯(cuò)。我的建議是先用matlab -version確認(rèn)環(huán)境再看資源包的 readme 里寫的最低版本要求。2. 核心代碼骨架拆解MATLAB 里寫 GAN 的“正確姿勢”這一節(jié)我直接給出一段能跑通 DCGAN 訓(xùn)練的代碼骨架然后逐段拆解每一行的用途。這段代碼是我根據(jù)資源包里的trainDCGAN.m精簡、重寫后的版本去掉了與核心邏輯無關(guān)的文件保存和圖像輸出部分方便你理解主干。2.1 數(shù)據(jù)準(zhǔn)備從 MNIST 到dlarrayMATLAB 里處理圖像數(shù)據(jù)集最方便的方式是imageDatastore但這個(gè)東西在 GAN 訓(xùn)練里并不是最優(yōu)選擇因?yàn)槊看蔚騺y順序和提取批次數(shù)據(jù)不夠靈活。我在資源包里看到作者用了更直接的方式一次性把全部數(shù)據(jù)讀入內(nèi)存轉(zhuǎn)成dlarray然后按索引切片取 batch。% 加載 MNIST 數(shù)據(jù)假設(shè)函數(shù)已從資源包中獲取 [XTrain, ~] loadMNIST(mnist.mat); % 返回 n x n x 1 x numImages 的 double 數(shù)組 XTrain single(XTrain); % 轉(zhuǎn)為 single 節(jié)省顯存 XTrain (XTrain - 0.5) / 0.5; % 歸一化到 [-1, 1]對 GAN 很關(guān)鍵 % 包裝成 dlarray并標(biāo)記維度順序 SSCBSpatial-Spatial-Channel-Batch XTrain dlarray(XTrain, SSCB);這里有一個(gè)細(xì)節(jié)必須注意歸一化范圍為什么要選 [-1, 1] 而不是 [0, 1]因?yàn)樯善髯詈笠粚佑玫氖莟anh激活函數(shù)輸出范圍恰好是 [-1, 1]。如果你把數(shù)據(jù)歸一化到 [0, 1]生成器和判別器之間的“參數(shù)空間”就對不上訓(xùn)練初期判別器很容易直接通過數(shù)據(jù)的取值范圍判斷真?zhèn)螌?dǎo)致生成器梯度消失。這不是玄學(xué)是網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)上的匹配問題。2.2 生成器與判別器的層定義我用layerGraph來搭建網(wǎng)絡(luò)這樣后面如果想加 skip connection 或改結(jié)構(gòu)改起來更靈活。latentDim 100; % 生成器100 - 7x7x128 - 14x14x64 - 28x28x1 genLayers [ featureInputLayer(latentDim, Normalization, none, Name, in) projectAndReshapeLayer(latentDim, [7 7 128]) % 自定義層把向量 reshape 成 7x7x128 transposedConv2dLayer(5, 64, Stride, 2, Cropping, same, Name, tconv1) batchNormalizationLayer(Name, bn1) reluLayer(Name, relu1) transposedConv2dLayer(5, 32, Stride, 2, Cropping, same, Name, tconv2) batchNormalizationLayer(Name, bn2) reluLayer(Name, relu2) transposedConv2dLayer(5, 1, Stride, 1, Cropping, same, Name, tconv3) tanhLayer(Name, tanh) ];projectAndReshapeLayer是資源包里自帶的一個(gè)自定義層MATLAB 官方?jīng)]有這個(gè)內(nèi)置層。它的作用是把一維的潛向量變成一個(gè)三維的特征圖。這里我特別想提醒一句如果你想復(fù)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)transposedConv2dLayer的Cropping參數(shù)很關(guān)鍵。same表示輸出尺寸與輸入一致除以 stridevalid表示不加 padding。兩種模式下的輸出尺寸計(jì)算不同直接影響能否拼出 28x28 的最終輸出。判別器就是“鏡像”的卷積結(jié)構(gòu)disLayers [ imageInputLayer([28 28 1], Normalization, none, Name, in) convolution2dLayer(5, 32, Stride, 2, Padding, same, Name, conv1) leakyReluLayer(0.2, Name, lrelu1) convolution2dLayer(5, 64, Stride, 2, Padding, same, Name, conv2) batchNormalizationLayer(Name, bn2) leakyReluLayer(0.2, Name, lrelu2) fullyConnectedLayer(1, Name, fc) sigmoidLayer(Name, sigmoid) ];2.3 訓(xùn)練循環(huán)每一步梯度都在眼皮子底下MATLAB 自定義訓(xùn)練循環(huán)的標(biāo)準(zhǔn)寫法是dlfeval里調(diào)用modelGradients然后在for循環(huán)里用adamupdate更新參數(shù)。我貼一段關(guān)鍵的梯度計(jì)算函數(shù)function [gradGen, gradDis, lossGen, lossDis] modelGradients(gen, dis, XBatch, ZBatch) % 前向傳播計(jì)算判別器對真實(shí)圖像的輸出 YReal forward(dis, XBatch); lossDisReal crossentropy(YReal, ones(size(YReal), like, YReal)); % 生成假圖像 XFake forward(gen, ZBatch); % 前向傳播計(jì)算判別器對假圖像的輸出 YFake forward(dis, XFake); lossDisFake crossentropy(YFake, zeros(size(YFake), like, YFake)); % 判別器總損失 lossDis lossDisReal lossDisFake; % 生成器損失讓假圖像被判定為真 lossGen crossentropy(YFake, ones(size(YFake), like, YFake)); % 自動(dòng)微分求梯度 gradGen dlgradient(lossGen, gen.Learnables); gradDis dlgradient(lossDis, dis.Learnables); end這段邏輯反映了 GAN 訓(xùn)練的根本判別器同時(shí)學(xué)習(xí)“認(rèn)出真圖”和“識(shí)破假圖”生成器只學(xué)習(xí)“欺騙判別器”。兩邊的目標(biāo)函數(shù)是相反的所以訓(xùn)練過程是一個(gè) min-max 博弈。在dlgradient中MATLAB 會(huì)基于dlarray的自動(dòng)微分追蹤計(jì)算圖自動(dòng)計(jì)算損失對每個(gè)可學(xué)習(xí)參數(shù)的導(dǎo)數(shù)——這正是從 R2019b 開始dlnetwork帶來的最大便利不需要像老代碼那樣手動(dòng)寫backprop。實(shí)際訓(xùn)練循環(huán)里每次迭代需要做這幾件事for epoch 1:numEpochs for iter 1:numIterationsPerEpoch % 隨機(jī)采樣一個(gè) batch idx randperm(size(XTrain, 4), miniBatchSize); XBatch XTrain(:, :, :, idx); ZBatch dlarray(randn(latentDim, miniBatchSize, 1, 1), SSCB); % 計(jì)算梯度 [gradGen, gradDis, lossGen, lossDis] dlfeval(... modelGradients, gen, dis, XBatch, ZBatch); % Adam 更新 [gen.Learnables, stateGen] adamupdate(gen.Learnables, gradGen, stateGen, ... learnRateGen, 0.5, 0.999, epoch); [dis.Learnables, stateDis] adamupdate(dis.Learnables, gradDis, stateDis, ... learnRateDis, 0.5, 0.999, epoch); end end這里有兩個(gè)實(shí)戰(zhàn)細(xì)節(jié)一是dlfeval和dlgradient必須在同一個(gè)自定義函數(shù)作用域內(nèi)配合使用。你不用手動(dòng)算梯度但必須把“前向計(jì)算 損失函數(shù) 梯度計(jì)算”整體放在被dlfeval包裝的函數(shù)里。二是adamupdate里的stateGen需要隨Learnables一起被記錄和更新。資源包里很多老代碼用的是手動(dòng)實(shí)現(xiàn)的momentum或sgdmupdate換成adamupdate之后要記得在每次 epoch 開始時(shí)重置state否則 Adam 的動(dòng)量估計(jì)會(huì)跨 epoch 累積導(dǎo)致后期更新步長異常。3. 訓(xùn)練不收斂的排查鏈路我連續(xù)七天損失震蕩后得到的清單GAN 訓(xùn)練不收斂這個(gè)問題幾乎每個(gè)實(shí)操過的人都遇到過。我在調(diào)試這份 MATLAB 代碼時(shí)遇到過最典型的現(xiàn)象是生成器損失掉了兩個(gè) epoch 后開始反彈判別器損失穩(wěn)定在 0.693約等于 ln2生成圖像全是重復(fù)的、模糊的同一張圖。這個(gè)狀態(tài)在 GAN 里有個(gè)名字——模式坍塌。排查這個(gè)問題時(shí)我建議你按下面的鏈路逐項(xiàng)檢查而不是隨機(jī)調(diào)參3.1 判別器是否“太強(qiáng)”或“太弱”模式坍塌最核心的誘因是判別器過強(qiáng)。判別器一旦完美區(qū)分真假梯度傳給生成器時(shí)已經(jīng)趨近于零生成器無法繼續(xù)學(xué)習(xí)。判別器“過強(qiáng)”的常見信號是lossDis快速下降到 0.01 以下而lossGen飆升。這時(shí)候的調(diào)整方向不是增加判別器層數(shù)而是削弱它把判別器的convolution2dLayer特征通道數(shù)減半比如 64 → 32。在全連接層之前加dropoutLayer(0.3)降低判別器的擬合能力。調(diào)低判別器學(xué)習(xí)率讓它“學(xué)得慢一點(diǎn)”。反過來如果判別器太弱lossDis會(huì)一直處于 0.7 左右沒有明顯下降生成器也沒有反饋這種情況要增加判別器容量或提高學(xué)習(xí)率。我在實(shí)際項(xiàng)目里遇到過“判別器太弱”的典型癥狀是生成的圖像雖然各不相同但整體顏色或結(jié)構(gòu)完全隨機(jī)看不出任何類別特征。3.2 標(biāo)簽平滑一個(gè)經(jīng)常被忽略的優(yōu)化點(diǎn)資源包里的原始代碼用的是硬標(biāo)簽也就是ones和zeros。但我試了幾次后發(fā)現(xiàn)硬標(biāo)簽在 MATLAB 這個(gè)環(huán)境里更容易觸發(fā)訓(xùn)練崩潰。原因在于二分類交叉熵對極端預(yù)測的懲罰是無限大的判別器一旦在某個(gè) batch 上“過于自信”梯度就會(huì)異常大整個(gè)訓(xùn)練過程被帶崩。解決辦法是標(biāo)簽平滑label smoothing。具體做法就是把目標(biāo)值從 1 改成 0.9把 0 改成 0.1lossDisReal crossentropy(YReal, 0.9 * ones(size(YReal), like, YReal)); lossDisFake crossentropy(YFake, 0.1 * zeros(size(YFake), like, YFake));這一個(gè)小小的改動(dòng)在很多 GAN 代碼里都能讓訓(xùn)練穩(wěn)定性提升一大截。原理上講它給判別器的輸出留下了一點(diǎn)“容錯(cuò)空間”不讓網(wǎng)絡(luò)為了那微不足道的分類精度去極端化內(nèi)部權(quán)重。3.3 學(xué)習(xí)率的“單獨(dú)設(shè)置”策略GAN 里生成器和判別器并不是必須用同一個(gè)學(xué)習(xí)率。我在資源包里看到作者用的是 2e-4 的均勻設(shè)置但在我自己的實(shí)驗(yàn)里把判別器學(xué)習(xí)率降到 1e-4生成器保持 2e-4 之后訓(xùn)練穩(wěn)定度有明顯提升。組件初始學(xué)習(xí)率說明生成器2e-4適合 Adam 的經(jīng)典推薦值判別器1e-4降低判別器收斂速度避免“壓倒性”優(yōu)勢衰減策略每 10 個(gè) epoch 乘以 0.5讓后期訓(xùn)練更精細(xì)這個(gè)策略背后的邏輯很好理解生成器和判別器的能力差距才是 GAN 訓(xùn)練的核心矛盾而不是兩者的絕對精度。讓判別器慢半拍等于給生成器追趕上來的窗口。3.4 批量大小與潛變量的關(guān)系批量大小對 GAN 的影響經(jīng)常被低估。在我用的 MNIST 數(shù)據(jù)集上miniBatchSize 128比 64 的穩(wěn)定性高不少但顯存占用也會(huì)隨之增加。大 batch 能平滑梯度估計(jì)但過大的 batch 會(huì)讓生成器陷入“只生成少量重復(fù)模式”的狀態(tài)。我試過miniBatchSize 256時(shí)生成的數(shù)字只有 0、1、3 三類其他類別幾乎沒出現(xiàn)過。潛變量維度latentDim倒不是越大越好。100 是經(jīng)典選擇嘗試過 256結(jié)果沒明顯改善反而訓(xùn)練時(shí)間增加。個(gè)人經(jīng)驗(yàn)latentDim維持在 64~128 之間即可更多維度的隨機(jī)噪聲只會(huì)讓生成器學(xué)到一個(gè)更稀疏的映射。經(jīng)驗(yàn)總結(jié)如果你發(fā)現(xiàn)生成圖像從一開始就是“灰蒙蒙的一大片”或者全部是某一種固定模式先把批量大小調(diào)低試試再把潛變量維度調(diào)低這個(gè)順序性價(jià)比最高。4. 從復(fù)現(xiàn)到改造把 MNIST 生成器換成你自己的數(shù)據(jù)集資源包里的代碼跑通之后大部分人下一步想做的就是換成自己的數(shù)據(jù)集。這一步也沒有想象中那么困難但有幾個(gè)“坑”是資源包里原作者根本不會(huì)告訴你的。4.1 數(shù)據(jù)大小和通道數(shù)的適配我最早犯的錯(cuò)誤是直接用 28x28 的單通道結(jié)構(gòu)去訓(xùn)練三通道的 RGB 圖片。改成彩色圖之后imageInputLayer的輸入通道數(shù)從 1 改成 3。生成器最后一層的transposedConv2dLayer(5, 1, ...)要改成transposedConv2dLayer(5, 3, ...)。訓(xùn)練數(shù)據(jù)歸一化同樣要處理到 [-1, 1]。如果你的圖片不是方形比如 64x32 的長方形圖片那么生成器和判別器的上采樣/下采樣倍數(shù)要重新算一下。我建議用“l(fā)og2 縮放”的思路每層 stride2 只改變空間尺寸一半你算一下從輸入到輸出需要多少次 stride2就能確定卷積層數(shù)量。例如 64x64 到 28x28用 3 次 stride2 是 64→32→16→8再加一次 stride1 或轉(zhuǎn)置卷積上采樣回 32最后通過插值或額外卷積到 28。如果你不想手動(dòng)算更省事的方式是讓 MATLAB 的analyzeNetwork函數(shù)幫你檢查每一層的輸出尺寸。4.2 自定義數(shù)據(jù)集的讀取從文件夾到訓(xùn)練數(shù)組MATLAB 里讀取自定義圖片最穩(wěn)妥的方式是imageDatastoreimds imageDatastore(路徑/到/你的圖片文件夾, IncludeSubfolders, true, LabelSource, foldernames); % 讀取全部數(shù)據(jù)到內(nèi)存 allImages readall(imds);但這里有一個(gè)性能坑readall對大數(shù)據(jù)集比如幾萬張 256x256 圖片會(huì)直接撐爆內(nèi)存。正確做法是用augmentedImageDatastore配合minibatchqueue實(shí)現(xiàn)流式讀取不過這會(huì)引入額外復(fù)雜度。如果你只是想快速驗(yàn)證自己的 GAN 能不能學(xué)會(huì)你的數(shù)據(jù)分布建議先用一個(gè)幾百張圖片的子集跑通之后再擴(kuò)展。我實(shí)際測試過同樣一批 500 張 64x64 圖片矩陣運(yùn)算向量的dlarray一次性加載比readall再逐張?zhí)幚砜旒s 30%。4.3 訓(xùn)練日志與中間可視化的設(shè)置資源包里自帶的可視化代碼通常是imshow每若干迭代顯示一次生成的圖像。這個(gè)功能對調(diào)試非常重要一定要保留。我建議你把它升級成“保存訓(xùn)練過程圖到文件夾”的版本方便事后回溯if mod(iter, 100) 0 XFake predict(gen, ZSample); generatedImage extractdata(XFake); generatedImage (generatedImage 1) / 2; % 反歸一化到 [0, 1] imwrite(imresize(generatedImage(:,:,1,:), [128 128]), ... fullfile(output, sprintf(epoch_%02d_iter_%04d.png, epoch, iter))); end這里一個(gè)容易忽略的點(diǎn)是預(yù)測時(shí)要固定一個(gè)ZSample在訓(xùn)練前初始化好的潛變量這樣才能在不同迭代之間對比生成結(jié)果的變化。如果你每次重新采樣看到的圖像變化就會(huì)混入隨機(jī)性無法判斷生成器是否真的在朝正確方向?qū)W習(xí)。5. 資源包里的隱性寶藏R2019b 之后的新函數(shù)你大概率沒用上說完了代碼本身再提一下我在這類資源包里發(fā)現(xiàn)的、但很多使用者沒注意到的“隱性財(cái)富”——文檔和實(shí)驗(yàn)記錄。資源包通常在docs或logs文件夾里有一些非代碼內(nèi)容這些內(nèi)容的價(jià)值不亞于代碼本身。比如我這份資源包里有一份作者手寫的調(diào)參筆記記錄了不同超參數(shù)組合下的訓(xùn)練損失曲線和生成效果圖這種一手實(shí)驗(yàn)數(shù)據(jù)在論文里根本找不到。這些記錄最直接的好處是能幫你避開原作者踩過的坑。比如筆記里明確寫著“batchNormalizationLayer在判別器第一層不要使用否則訓(xùn)練震蕩加劇”。這個(gè)經(jīng)驗(yàn)和我的實(shí)測吻合——判別器第一層用 BN 會(huì)導(dǎo)致輸入分布被反復(fù)調(diào)整不利于模型穩(wěn)定收斂。R2019b 之后 MATLAB 深度學(xué)習(xí)工具箱還新增了幾個(gè)對 GAN 特別有用的 API在舊資源包里不會(huì)出現(xiàn)但你如果能自己補(bǔ)上效果會(huì)更好minibatchqueue自動(dòng)處理數(shù)據(jù)的 batch 切分、維度重排和預(yù)處理不用手寫randperm切片。dlnetwork對象的initialize方法在訓(xùn)練前顯式初始化參數(shù)避免第一次forward時(shí)的初始化不確定性。resetState對帶狀態(tài)層的網(wǎng)絡(luò)在 epoch 開始前重置狀態(tài)防止序列數(shù)據(jù)的記憶跨 epoch 泄漏。我改造資源包代碼時(shí)把原來的randperm切片換成了minibatchqueue代碼量減少了約 20%而且數(shù)據(jù)流更清晰。這個(gè)改動(dòng)對 MATLAB 老版本不可用所以資源包里的原始代碼不包含這些新 API 也情有可原。6. 進(jìn)階改造條件 GANcGAN的 MATLAB 實(shí)現(xiàn)思路復(fù)現(xiàn) DCGAN 只是第一步要想真正把 GANs 這個(gè)工具用于實(shí)際任務(wù)條件 GANconditional GAN, cGAN幾乎是繞不開的。cGAN 的核心思想是給生成器和判別器都額外提供一個(gè)條件信息比如類別標(biāo)簽這樣生成器就能按條件生成指定類別的圖像。6.1 cGAN 結(jié)構(gòu)變化標(biāo)簽如何“塞”進(jìn)網(wǎng)絡(luò)在 MATLAB 中實(shí)現(xiàn) cGAN需要修改生成器和判別器的輸入結(jié)構(gòu)。以 MNIST 的 10 個(gè)類別為例生成器接受兩個(gè)輸入潛變量Z100 維和標(biāo)簽Y10 維 one-hot。最簡單的做法是直接把Z和Y拼接成一個(gè) 110 維的向量然后送入生成器的第一層。判別器則在第一個(gè)全連接層之前把標(biāo)簽信息“注入”到中間特征圖中。我實(shí)現(xiàn)時(shí)是這么處理的判別器不再是單純的圖像分類器而是一個(gè)“圖像 標(biāo)簽”的真?zhèn)闻袆e器。具體來說把 one-hot 標(biāo)簽復(fù)制空間維度后和圖像特征在通道維度拼接% 判別器輸入增加標(biāo)簽通道 % 假設(shè)中間特征圖是 7x7x64標(biāo)簽是 10 維 % 將標(biāo)簽 reshape 成 7x7x10再在通道維度拼接 labelMap repmat(reshape(Y, [1 1 10 miniBatchSize]), [7 7 1 1]); combinedFeature cat(3, featureMap, labelMap); % 7x7x74這種改動(dòng)在 MATLAB 中實(shí)現(xiàn)時(shí)需要自定義一個(gè)dlnetwork的 forward 函數(shù)并在其中手動(dòng)處理標(biāo)簽的維度。6.2 cGAN 訓(xùn)練損失的變化cGAN 的訓(xùn)練循環(huán)和 DCGAN 基本一致只需要在每個(gè) batch 里額外準(zhǔn)備一個(gè)標(biāo)簽 batch并且在modelGradients函數(shù)中把標(biāo)簽傳給生成器和判別器。損失函數(shù)的核心邏輯不變但多了一個(gè)“條件一致性”的約束判別器不僅要判斷圖像真?zhèn)芜€要判斷圖像是否與標(biāo)簽匹配。這帶來的訓(xùn)練難度變化是判別器的任務(wù)變難了所以 cGAN 的判別器容量通常要比同條件的 DCGAN 大一點(diǎn)。我在實(shí)驗(yàn)中發(fā)現(xiàn)把判別器第一個(gè)卷積層的通道數(shù)從 32 提升到 48能顯著改善生成圖像與標(biāo)簽的匹配度。6.3 從“生成圖像”到“生成指定類別”的驗(yàn)證改造完成后如何驗(yàn)證 cGAN 確實(shí)學(xué)到了條件信息一個(gè)直觀的方法是固定潛變量Z只改變標(biāo)簽Y觀察生成圖像能否隨標(biāo)簽變化而變化。ZFixed dlarray(randn(latentDim, 1, 1, 1), SSCB); for labelIdx 1:10 Y onehotencode(categorical(labelIdx - 1), 1, ClassNames, 0:9); Y dlarray(single(Y), CB); XGen predict(gen, ZFixed, Y); % 顯示或保存 XGen end如果生成的 10 張圖像在類別上互不相同且與標(biāo)簽一致就說明條件信息已經(jīng)生效。如果所有標(biāo)簽都生成相同的圖像說明生成器“忽略”了條件信息大概率是因?yàn)闂l件信息的梯度沒有正確回傳——這時(shí)候要檢查標(biāo)簽是否被正確投遞到forward函數(shù)中。提示在 MATLAB 的dlnetwork中如果生成器有多個(gè)輸入使用predict(gen, Z, Y)時(shí)參數(shù)順序必須和dlnetwork初始化時(shí)定義的輸入順序一致。這個(gè)順序錯(cuò)位的問題我在實(shí)踐中遇到過兩次報(bào)錯(cuò)信息并不明顯往往只是輸出結(jié)果不對。7. 幾份資源之間如何取舍同樣是 GANs 代碼為什么有的好跑有的跑不通最后聊聊一個(gè)資源管理層面的經(jīng)驗(yàn)。這類標(biāo)題的網(wǎng)盤資源包在網(wǎng)上非常多但質(zhì)量參差不齊。我下載過的版本里有的下載下來直接能跑通有的則缺文件、缺依賴甚至代碼是故意混淆過的。怎么快速判斷一份資源包的質(zhì)量我有一個(gè)簡單的“三看”法第一看目錄結(jié)構(gòu)。好的資源包會(huì)有清晰的code、data、docs、models分層readme 里會(huì)寫明每個(gè)文件夾的用途。那種所有 .m 文件散落在根目錄、沒有任何說明文檔的包大概率是作者隨手丟出來的不值得花時(shí)間。第二看代碼注釋質(zhì)量。GANs 代碼因?yàn)樯婕暗臄?shù)學(xué)概念多好的注釋會(huì)寫明每個(gè)張量的維度、每個(gè)自定義層的輸入輸出規(guī)格。如果代碼里連基本的% 輸入: 64x64x1, batch128這種注釋都沒有后面改代碼的時(shí)候你會(huì)非常痛苦。第三看是否提供“運(yùn)行驗(yàn)證”信息。質(zhì)量高的資源包會(huì)在 readme 中說明“測試環(huán)境MATLAB R2020b, Windows 10, NVIDIA GTX 1060”甚至附帶訓(xùn)練好的模型和一次前向推理的示例。這些信息能幫你判斷代碼在自己的環(huán)境上是否能跑通。我在本地復(fù)現(xiàn)這份資源包時(shí)前兩次都因?yàn)樯倭薽nist.mat文件而失敗。后來發(fā)現(xiàn)這個(gè)文件需要單獨(dú)下載資源包自帶的下載腳本里用的 URL 已經(jīng)失效了。解決辦法是去官方數(shù)據(jù)集鏡像下載后手動(dòng)放到根目錄下再把代碼里的路徑改對。這種“數(shù)據(jù)文件和代碼分離”的做法其實(shí)是為了規(guī)避網(wǎng)盤上傳體積限制并非代碼本身有問題你不用被它嚇到。還有一些資源包里的代碼打開后發(fā)現(xiàn)是 Python 轉(zhuǎn) MATLAB 的半成品——變量名用的是np開頭或下劃線命名法注釋里還留著import numpy as np。這類代碼通常不值得花時(shí)間去修正因?yàn)轱L(fēng)格差異會(huì)導(dǎo)致你后期維護(hù)成本過高。我的建議是從一份“結(jié)構(gòu)清晰、注釋完整、能復(fù)現(xiàn)結(jié)果”的包開始理解其核心邏輯再自己動(dòng)手重寫不適合的部分。這份資源包的價(jià)值不在于“拿來就能用”而在于它的整體框架和實(shí)驗(yàn)記錄可以當(dāng)作參照系幫你驗(yàn)證自己的實(shí)現(xiàn)是否正確。我自己處理這類資源包時(shí)一直采用的一個(gè)流程是先把所有 .m 文件通讀一遍弄懂網(wǎng)絡(luò)的輸入輸出規(guī)格然后畫一張簡單的數(shù)據(jù)流圖不一定是專業(yè)繪圖工具手寫或用思維導(dǎo)圖就行。把Z的維度、每層輸出的特征圖尺寸、損失函數(shù)的流向標(biāo)清楚后面無論是換數(shù)據(jù)集、改網(wǎng)絡(luò)結(jié)構(gòu)還是加新的損失項(xiàng)都有據(jù)可依。這個(gè)習(xí)慣幫我省下了大量反復(fù)試錯(cuò)的時(shí)間也推薦給你。本文還有配套的精品資源點(diǎn)擊獲取