我的日常工作經(jīng)常要和“Agent會學(xué)到什么樣的狀態(tài)表征”這個問題打交道。一個感知模塊、一個策略網(wǎng)絡(luò)背后真正決定天花板的東西往往不是網(wǎng)絡(luò)層數(shù)也不是訓(xùn)練步數(shù)而是它在內(nèi)部到底“理解”了什么。AI Agent的自我監(jiān)督表示學(xué)習(xí)說白了就是讓智能體在不依賴人工標(biāo)注的前提下從原始交互數(shù)據(jù)里自己提煉出有用的、緊湊的、可遷移的特征結(jié)構(gòu)。這個方向最近幾乎成了所有決策智能項目的必經(jīng)之路但我發(fā)現(xiàn)很多同行對它的理解還停留在“換個損失函數(shù)”的層面或者被一堆對比學(xué)習(xí)術(shù)語勸退。這篇文章我會從實際項目經(jīng)驗出發(fā)把自監(jiān)督表示學(xué)習(xí)的動機(jī)、方法論、完整實操流程以及我踩過的坑全部攤開講適合正在做強(qiáng)化學(xué)習(xí)、機(jī)器人控制、多模態(tài)感知或者任何跟Agent沾邊項目的朋友參考。1. 為什么AI Agent必須要做自監(jiān)督表示學(xué)習(xí)1.1 先搞清楚這組概念在說什么“AI Agent的自我監(jiān)督表示學(xué)習(xí)”這個標(biāo)題拆開看有三個詞AI Agent、自我監(jiān)督、表示學(xué)習(xí)。AI Agent指的是能感知環(huán)境、做出決策并執(zhí)行動作的智能體范圍可以覆蓋游戲AI、機(jī)器人、自動駕駛系統(tǒng)、對話助手甚至模擬環(huán)境里的NPC。自我監(jiān)督Self-Supervision指的是不依賴人工標(biāo)簽而是從數(shù)據(jù)自身結(jié)構(gòu)里構(gòu)造監(jiān)督信號比如預(yù)測下一幀、恢復(fù)被遮蓋的片段、拉近不同視角下同一樣本的表征。表示學(xué)習(xí)Representation Learning則是把原始輸入——像素、點云、文本、傳感器讀數(shù)——映射到一個低維向量空間讓這個向量空間里的距離、角度和方向能對應(yīng)上語義上的相似性和變化趨勢。這個三角關(guān)系的核心是Agent最需要的東西不是“分類準(zhǔn)確率”而是“對狀態(tài)空間的可靠壓縮”。比如一個機(jī)器人手臂原始狀態(tài)可能是關(guān)節(jié)角度、力矩、圖像和觸覺信號的拼接維度很高、冗余很重。如果直接把這種高維原始狀態(tài)扔給策略網(wǎng)絡(luò)學(xué)習(xí)效率會急劇下降而且一旦換一個外形參數(shù)略有變化的機(jī)械臂策略就廢掉了。自監(jiān)督表示學(xué)習(xí)要做的就是用一種無人干預(yù)的方式把高維原始狀態(tài)壓縮成一個幾十維、幾百維的向量同時保證這個向量還能承載足夠多與決策相關(guān)的信息。我見過太多人把自監(jiān)督表示學(xué)習(xí)當(dāng)作“錦上添花”的組件實際上在數(shù)據(jù)稀缺的真實場景里它往往是救命稻草。一個任務(wù)可以沒有標(biāo)注數(shù)據(jù)但只要有足夠的原始觀測數(shù)據(jù)自監(jiān)督方法就有辦法從中榨出結(jié)構(gòu)。如果這個道理沒想通后面所有細(xì)節(jié)都是空中樓閣。1.2 監(jiān)督學(xué)習(xí)范式在Agent場景里的天然短板很多人習(xí)慣用監(jiān)督學(xué)習(xí)的方式訓(xùn)練感知模塊采集大量數(shù)據(jù)人工標(biāo)注然后訓(xùn)一個CNN或者Transformer去做分類或者回歸。在靜態(tài)數(shù)據(jù)集上這套玩法很成熟但放在Agent場景里至少有四個問題。第一是標(biāo)注成本問題。給一只機(jī)械臂的十萬幀觀測圖像做精細(xì)標(biāo)注涉及物體分割、位姿估計甚至軌跡合理性判斷成本極高。而且標(biāo)注質(zhì)量直接影響后續(xù)策略學(xué)習(xí)標(biāo)錯了等于把錯誤一路傳導(dǎo)下去。第二是分布漂移問題。Agent是在和一個動態(tài)環(huán)境交互的今天看到的場景分布和明天看到的可能差異很大。監(jiān)督學(xué)習(xí)假設(shè)訓(xùn)練集和測試集獨(dú)立同分布這個假設(shè)在Agent場景下基本不成立。政策變化會導(dǎo)致觀測分布劇烈變化一個只在固定數(shù)據(jù)集上訓(xùn)好的視覺表征換一個探索策略之后可能立刻失效。第三是吵鬧標(biāo)簽問題。Agent數(shù)據(jù)里有很多信號本身就是模糊的——遮擋嚴(yán)重時物體到底在哪高速運(yùn)動時的模糊幀里到底有什么這些連人都不一定標(biāo)得準(zhǔn)。監(jiān)督學(xué)習(xí)面對這種不確定性只能強(qiáng)行擬合出一個確定答案反而把噪聲當(dāng)成了信號去學(xué)習(xí)。第四是任務(wù)遷移問題。監(jiān)督學(xué)習(xí)學(xué)到的特征往往會過度適配標(biāo)注任務(wù)。比如只標(biāo)“紅色物體”這一任務(wù)模型可能把所有顏色特征都丟掉但Agent下一個任務(wù)恰好需要區(qū)分顏色這時候就必須從頭訓(xùn)練。自監(jiān)督學(xué)習(xí)的價值恰恰體現(xiàn)在這些場景里。它不需要標(biāo)注只依賴數(shù)據(jù)內(nèi)在結(jié)構(gòu)它天然在學(xué)一般性的物理規(guī)律和視覺規(guī)律它產(chǎn)出的表征可以拿去做各種下游任務(wù)遷移成本遠(yuǎn)低于監(jiān)督特征。所以在Agent這個場景下自監(jiān)督不再是一種可選的“高級技巧”而是保證系統(tǒng)真正具備泛化能力的基礎(chǔ)設(shè)施。1.3 “好的表征”在Agent語境下的判斷標(biāo)準(zhǔn)討論自監(jiān)督表示學(xué)習(xí)必須先定義什么叫“好”。我個人的判斷標(biāo)準(zhǔn)有三條和學(xué)術(shù)界常用的線性探測準(zhǔn)確率不完全是一回事。第一條是預(yù)測充分性。表征里要包含能夠預(yù)測未來狀態(tài)或任務(wù)結(jié)果的信息。如果壓縮之后把關(guān)鍵物理量丟掉了比如速度、力、物體持久性那這個表征再平滑也沒用。第二條是壓縮有效性。在信息不丟失的前提下維度要盡量低、無關(guān)噪聲要盡量少。原始圖像里有光照、相機(jī)噪聲這些與決策無關(guān)的干擾好的表征應(yīng)該把它們?yōu)V掉。第三條是結(jié)構(gòu)遷移性。好的表征空間應(yīng)該呈現(xiàn)一種“可組合”的結(jié)構(gòu)同類狀態(tài)聚在一起、沿著某個特征維度平滑變化這樣下游策略只需要很簡單的網(wǎng)絡(luò)就能利用起來。舉個例子某次我在一個仿真環(huán)境里做經(jīng)過路點的導(dǎo)航任務(wù)初始方案直接用原始觀測高分辨率圖像拼接位置信息訓(xùn)策略結(jié)果樣本效率極低而且訓(xùn)練過程中經(jīng)常出現(xiàn)策略突然崩潰的情況。后面換成了自監(jiān)督預(yù)訓(xùn)練出來的表征維度從幾千降到了128發(fā)現(xiàn)環(huán)境里相近位置的狀態(tài)在表征空間里也聚成了團(tuán)策略訓(xùn)練的收斂速度大概提升了三倍以上崩潰也少了很多。這就是預(yù)測充分性、壓縮有效性和結(jié)構(gòu)遷移性同時起作用的結(jié)果。2. 自監(jiān)督表示學(xué)習(xí)的核心方法論拆解2.1 對比學(xué)習(xí)拉近正樣本、推遠(yuǎn)負(fù)樣本對比學(xué)習(xí)是當(dāng)前自監(jiān)督表示學(xué)習(xí)里面應(yīng)用最廣的一類方法從SimCLR到MoCo再到BYOL底層邏輯都是同一個同一個樣本經(jīng)過不同增強(qiáng)之后它們的表征應(yīng)該盡可能接近不同樣本的表征應(yīng)該盡可能遠(yuǎn)離。這個思想簡單直接但實現(xiàn)細(xì)節(jié)里全是坑。最基本的損失函數(shù)是InfoNCE。給定一個錨點樣本、一組正樣本和一組負(fù)樣本InfoNCE的表達(dá)式是L -log( exp(sim(z_a, z_p) / τ) / Σ exp(sim(z_a, z_i) / τ) )其中sim通常是余弦相似度τ是溫度系數(shù)。這個式子可以理解成一個多分類問題在所有候選樣本中正確地把正樣本挑出來。分母里包含所有負(fù)樣本所以負(fù)樣本的質(zhì)量和數(shù)量會直接影響表征的質(zhì)量。對比學(xué)習(xí)在Agent場景里有個天然優(yōu)勢時間本身就是一種監(jiān)督信號。同一軌跡中鄰近時刻的觀測天然適合當(dāng)作正樣本對因為它們在物理上高度相關(guān)遠(yuǎn)處或者不同軌跡的觀測就是天然的負(fù)樣本。這種思路叫做時間對比學(xué)習(xí)我之前在項目中大量使用它來構(gòu)建感知表征不需要任何人工標(biāo)注就能學(xué)到“狀態(tài)變化”的結(jié)構(gòu)。但是對比學(xué)習(xí)的收斂非常依賴三樣?xùn)|西增強(qiáng)策略、批次大小、溫度系數(shù)。增強(qiáng)太大或者太小都不行比如對機(jī)器人圖像做過度隨機(jī)裁剪可能把機(jī)械臂的關(guān)鍵工作區(qū)域裁掉得到的表征完全偏離真實狀態(tài)。批次大小決定了負(fù)樣本的豐富程度負(fù)樣本太少模型容易塌縮到一個平凡解——所有樣本的表征都一樣這種塌縮現(xiàn)象在對比學(xué)習(xí)里非常常見表現(xiàn)形式就是損失不降、表征分布退化成幾個孤立的簇。2.2 時序預(yù)測Agent數(shù)據(jù)的隱含時間結(jié)構(gòu)Agent數(shù)據(jù)有一個純圖像分類數(shù)據(jù)集沒有的特點時間連續(xù)性。狀態(tài)沿著時間軸演化是有規(guī)律的——幀與幀之間不會突變因果關(guān)系貫穿始終。自監(jiān)督方法完全可以利用這個結(jié)構(gòu)做預(yù)測式學(xué)習(xí)。一類做法是預(yù)測編碼。給定一段歷史的觀測序列讓表征去預(yù)測未來時刻的表征而不是直接預(yù)測未來的像素。這里的邏輯和語言模型里的next token prediction很像只不過預(yù)測空間從離散詞表換成了連續(xù)向量空間。因為目標(biāo)是表征空間而不是像素空間模型不用花大量容量去重建細(xì)節(jié)紋理可以把精力集中在結(jié)構(gòu)性的、與決策相關(guān)的信息上。具體實現(xiàn)上我會用一個臨時對齊的窗口訓(xùn)練時隨機(jī)抽取一段軌跡把前T幀編碼成上下文向量然后用一個過渡模塊預(yù)測未來H幀的表示再和實際未來幀的表示計算余弦相似度或均方誤差。這里有個被很多人忽略的細(xì)節(jié)預(yù)測目標(biāo)必須是“未來表征的stop-gradient版本”不能反過來影響編碼器的梯度更新否則模型會走捷徑把表征空間退化成只保留歷史信息、丟掉未來可預(yù)測性的狀態(tài)。這個思路在做Agent決策時有直接幫助。策略網(wǎng)絡(luò)本質(zhì)上就是在做“基于當(dāng)前狀態(tài)預(yù)測未來收益”的事情如果狀態(tài)表征里自帶對未來演化的預(yù)測能力策略學(xué)習(xí)的難度會降低一個量級。我在導(dǎo)航任務(wù)里加了這個輔助目標(biāo)之后策略對動態(tài)障礙的規(guī)避能力明顯變好這應(yīng)該是因為表征里已經(jīng)編碼了一些“物體運(yùn)動趨勢”的信息。2.3 多模態(tài)對齊讓Agent的表征跨模態(tài)互通真實Agent的輸入往往是多模態(tài)的視覺、本體感知、任務(wù)指令、語音甚至觸覺。模型如果只在單一模態(tài)內(nèi)部做自監(jiān)督得到的表征空間各說各話下游模塊要額外學(xué)習(xí)一層跨模態(tài)對齊費(fèi)力而且容易出錯。更好的方式是在預(yù)訓(xùn)練階段就直接用跨模態(tài)對齊作為監(jiān)督信號。跨模態(tài)對齊最經(jīng)典的思想是同一時刻不同模態(tài)對同一個物理事件進(jìn)行了觀測它們的表征應(yīng)該互相匹配。比如同一幀圖像、同一時刻的關(guān)節(jié)角度、同一時刻的指令嵌入應(yīng)該落在表征空間的鄰近區(qū)域。實現(xiàn)方式就是把兩個模態(tài)的編碼器輸出投影到同一個空間里然后做對比損失正樣本對是同一時刻的兩個模態(tài)負(fù)樣本對是隨機(jī)拼湊的其他組合。我在一個物體抓取模擬項目中用到了這個思路視覺觀測和觸覺信號的模態(tài)差異很大但它們在物理上描述同一個接觸事件。預(yù)訓(xùn)練階段讓視覺編碼器和觸覺編碼器對齊結(jié)果兩個分支的性能都有顯著提升尤其是觸覺信號很少的時候視覺分支已經(jīng)能承擔(dān)部分觸覺語義的推斷功能。這說明跨模態(tài)自監(jiān)督不只是“對齊”還在缺乏某個模態(tài)數(shù)據(jù)時產(chǎn)生了信息補(bǔ)足的效果。多模態(tài)對齊里還要注意模態(tài)間的信息不對等問題。視覺信息豐富但噪聲大觸覺信息稀疏但準(zhǔn)確。如果直接簡單粗暴地做對齊豐富模態(tài)會主導(dǎo)表征結(jié)構(gòu)稀疏模態(tài)學(xué)不到東西。我的做法是給不同模態(tài)的對齊損失分配不同的權(quán)重同時每一模態(tài)還保留一份自己的單模態(tài)重構(gòu)損失作為穩(wěn)定錨。2.4 生成式方法掩碼重建與預(yù)測式預(yù)訓(xùn)練對比學(xué)習(xí)不是自監(jiān)督的全部生成式方法同樣在Agent表示學(xué)習(xí)里扮演重要角色。生成式方法的思路是從部分觀測出發(fā)重建完整觀測或者從一系列掩碼中恢復(fù)缺失內(nèi)容。這個思想比對比學(xué)習(xí)更古老但在Transformer興起之后迎來了第二春其中最典型的代表是掩碼自編碼器。從技術(shù)原理上講對比學(xué)習(xí)傾向于壓縮——聚焦共享信息并丟棄個體細(xì)節(jié)生成式重建傾向于還原——傾向于保留完整信息。Agent任務(wù)通常需要兩類信息同時具備決策需要關(guān)鍵結(jié)構(gòu)快速歸納部分任務(wù)又需要精細(xì)重建比如拿取物體時的邊緣參數(shù)計算。因此我建議不要把對比和生成當(dāng)作二選一的矛盾選項而是組合起來用。具體操作上我在觀察空間為圖像序列設(shè)計掩碼隨機(jī)遮蓋空間區(qū)域的50%到70%剩下的任務(wù)就是把被遮掉的部分重建出來。這個重建目標(biāo)不以像素精確重建為唯一目標(biāo)而是混合使用像素誤差和表征對齊損失既保留底層細(xì)節(jié)又強(qiáng)化高層語義。我還嘗試過在時間維度上做掩碼把某一段軌跡遮住讓模型根據(jù)前后文恢復(fù)這個方式對學(xué)習(xí)“事件開展順序”特別有效比空間掩碼更適合處理視頻類Agent數(shù)據(jù)。不過生成式方法消耗的算力明顯更大一次完整預(yù)訓(xùn)練跑下來比對比方法多出至少百分之六十的時間。而且如果重建目標(biāo)過于追求像素級精度模型可能會把注意力都花在重建紋理上對全局語義就相對弱化。這里我的經(jīng)驗是早期訓(xùn)練以像素?fù)p失為主中期增加表征一致性損失后期再加入少量對比損失做精調(diào)這種階梯式損失調(diào)整比全部損失從一開始就疊加要穩(wěn)定得多。3. 實操從零搭建Agent自監(jiān)督表示學(xué)習(xí)流水線3.1 數(shù)據(jù)采集策略與增強(qiáng)方案設(shè)計自監(jiān)督學(xué)習(xí)的第一步不是寫模型而是想清楚數(shù)據(jù)從哪里來。Agent項目里最常見的數(shù)據(jù)來源有三種專家示范數(shù)據(jù)、隨機(jī)探索數(shù)據(jù)、在線策略收集數(shù)據(jù)。三種數(shù)據(jù)各有側(cè)重專家示范數(shù)據(jù)質(zhì)量高但覆蓋度差隨機(jī)探索數(shù)據(jù)覆蓋面廣但有大量無效狀態(tài)在線策略收集的數(shù)據(jù)分布會隨策略演化而漂移。最優(yōu)做法是混合使用并讓各類數(shù)據(jù)占比保持動態(tài)平衡。數(shù)據(jù)增強(qiáng)策略決定了哪些不變性會被編碼進(jìn)表征。圖像方面我建議按優(yōu)先級依次考慮隨機(jī)裁剪至少覆蓋主要物體裁剪比例控制在80%以上、顏色擾動亮度、對比度、飽和度在一個有限范圍內(nèi)變化、模糊、噪聲添加。這些增強(qiáng)對應(yīng)的是真實環(huán)境中光照、視角、畫質(zhì)的變化學(xué)到的表征對這些因素魯棒。同時要注意某些增強(qiáng)對特定任務(wù)反而是有害的比如顏色擾動對需要區(qū)分紅綠燈的駕駛?cè)蝿?wù)就是災(zāi)難所以在設(shè)計增強(qiáng)時不要盲目套模板最好能結(jié)合下游任務(wù)的先驗知識做篩選。時間序列數(shù)據(jù)方面也有自己的增強(qiáng)方式對軌跡做時間方向的隨機(jī)平移、在相鄰幀之間做插值或刪減來模擬不同響應(yīng)延遲、對傳感器讀數(shù)做隨機(jī)縮放偏移。這類增強(qiáng)會讓表征對時序上的微小畸變更魯棒同時保留長期因果結(jié)構(gòu)。自監(jiān)督數(shù)據(jù)清洗同樣容易被忽略。很多原始數(shù)據(jù)存在連續(xù)重復(fù)幀、黑屏瞬間和環(huán)境完全靜止的長尾片段這類片段沒有信息量還會引入大量噪聲正樣本對。我的經(jīng)驗是在預(yù)處理階段把重復(fù)幀去除、把連續(xù)長時間靜止的片段剪除同時盡量減少片段長度波動統(tǒng)一每個軌跡片段的長度這樣在訓(xùn)練時能獲得更穩(wěn)定的批次結(jié)構(gòu)。3.2 編碼器架構(gòu)與投影頭設(shè)計選擇編碼器時要同時考慮性能和部署限制。對二維圖像輸入編碼器可以考慮標(biāo)準(zhǔn)的卷積網(wǎng)絡(luò)或者Vision Transformer對狀態(tài)序列輸入更推薦使用帶因果掩碼的Transformer對于多模態(tài)聯(lián)合輸入先分別用各模態(tài)專用的編碼器提取特征再進(jìn)入一個統(tǒng)一的融合Transformer這是目前最自然的架構(gòu)選擇。具體選擇沒有固定答案和Agent下游模塊的性能預(yù)算、推理延遲都有關(guān)系。表征學(xué)習(xí)的“讀出口”是投影頭。注意預(yù)訓(xùn)練階段的投影頭和下游實際使用的嵌入在邏輯上是分離的。常見做法是在編碼器后面接一個兩層的MLP投影頭把編碼器輸出的高維表示壓到一個更緊湊的空間比如128或256維在這個投影空間里計算對比損失。預(yù)訓(xùn)練結(jié)束后真正用來喂給策略網(wǎng)絡(luò)的是編碼器的輸出或者投影頭的輸出這由實際任務(wù)效果決定。我個人的經(jīng)驗是保留投影頭的輸出比較穩(wěn)定它的維度更低而且恰好是和“語義距離”對齊的。投影頭的結(jié)構(gòu)并不需要很復(fù)雜兩層MLP加ReLU激活一般就夠用了。設(shè)計投影頭時的關(guān)鍵是中途層的維度和最終維度不能差得太多。如果中間層從1024驟降到128信息損失太嚴(yán)重從512降到256這種常規(guī)方案效果是最穩(wěn)的。架構(gòu)層面還必須考慮批歸一化的行為差異。在自監(jiān)督預(yù)訓(xùn)練中BatchNorm的統(tǒng)計量會在不同批次之間漂移在對比學(xué)習(xí)尤其是小批次場景下可能導(dǎo)致表征空間不穩(wěn)定。相對更安全的做法是使用LayerNorm或者直接不用歸一化層把歸一化的責(zé)任留給后續(xù)任務(wù)。這一點在Agent端側(cè)部署時尤其重要因為端側(cè)推理經(jīng)常是單樣本預(yù)測BatchNorm此時會引入嚴(yán)重的統(tǒng)計偏差。3.3 損失函數(shù)組合與平衡策略單一的自監(jiān)督損失往往不足以讓Agent學(xué)到一個全能的表征我實際項目中會用多組損失組合。常用的組合方式是主體損失無論是對比還是重建加上可選的時序一致性損失加上可選的跨模態(tài)對齊損失。每個損失各管一個維度共同約束表征空間的結(jié)構(gòu)。設(shè)計多組損失時最關(guān)鍵的問題是如何搭配加權(quán)系數(shù)這個基本沒有理論上的最優(yōu)解只能靠實驗經(jīng)驗。我建議按照以下順序調(diào)試先只開主體損失讓模型得到一個可用的基礎(chǔ)表征再以較小的權(quán)重加入時序一致性損失權(quán)重為主體的10%到30%再加載跨模態(tài)對齊權(quán)重從10%開始緩慢增至20%。某次試驗我一開始就設(shè)置了大規(guī)模權(quán)重疊加齊頭并進(jìn)結(jié)果主體損失正常下降但時序一致性損失不降反升表征空間出現(xiàn)震蕩最后用了兩周時間定位到是權(quán)重過高、梯度方向沖突導(dǎo)致的。降權(quán)之后配合梯度裁剪加線性預(yù)熱各種損失才一起穩(wěn)定下降。梯度裁剪是一個在自監(jiān)督訓(xùn)練中很容易被忽略的點但它的作用非常明顯。多組損失同時回傳時梯度范數(shù)可能瞬間爆炸裁剪閾值設(shè)置在1.0到5.0之間僅僅是讓訓(xùn)練過程穩(wěn)定并不能解決損失沖突。真正解決沖突還是要靠損失權(quán)重和表征維度之間的適配——表征維度越高各損失之間越容易各自為政因此盡量不要一開始就設(shè)置非常大的投影維度。3.4 三階段訓(xùn)練流程預(yù)訓(xùn)練、微調(diào)、在線適配Agent的自監(jiān)督表示學(xué)習(xí)和下游任務(wù)不是一次性完成的工作而是一個三階段過程。第一階段是離線預(yù)訓(xùn)練。用大規(guī)模無標(biāo)簽數(shù)據(jù)訓(xùn)練編碼器和投影頭目標(biāo)是得到通用的基礎(chǔ)表征。這個階段計算量最大但如果數(shù)據(jù)充足能得到一個相當(dāng)完備的初始化。建議在這個階段保持較長的訓(xùn)練周期定期保存checkpoint并把中間checkpoint用于評估因為你永遠(yuǎn)不知道哪個checkpoint對下游任務(wù)最有效。第二階段是任務(wù)微調(diào)。下游強(qiáng)化學(xué)習(xí)或者模仿學(xué)習(xí)開始時有兩種選擇凍結(jié)編碼器只訓(xùn)練策略網(wǎng)絡(luò)或者連同編碼器一起微調(diào)。我強(qiáng)烈建議先在凍結(jié)模式下測試這樣可以驗證基礎(chǔ)表征的質(zhì)量如果凍結(jié)模式下下游任務(wù)就能達(dá)到可接受的性能說明表征質(zhì)量過硬如果達(dá)不到再逐步解凍編碼器的最后幾層。完全解凍反而容易因為梯度回傳破壞表征結(jié)構(gòu)導(dǎo)致性能能回升一段時間之后又急劇崩壞。第三階段是在線適配。Agent真正部署后環(huán)境分布可能會和預(yù)訓(xùn)練數(shù)據(jù)有偏差。這個階段可以采取輕量化的在線更新策略比如隨時用新采樣數(shù)據(jù)更新表征頭編碼器保持低頻更新。這樣既保證了快速適應(yīng)又避免了策略和表征同時劇烈變化導(dǎo)致的訓(xùn)練不穩(wěn)定。三階段訓(xùn)練中我最大的經(jīng)驗是不要把所有階段都做成一個在線流程。一開始我以為更頻繁的更新總是更好的實際運(yùn)行起來發(fā)現(xiàn)更新太頻繁會讓整個訓(xùn)練過程像在沙地上蓋樓表征稍有不穩(wěn)策略立刻跟著振蕩。后來采取“預(yù)訓(xùn)練不動、任務(wù)微調(diào)小步、在線適配周期化”的節(jié)奏系統(tǒng)的穩(wěn)定性才好起來。4. 訓(xùn)練參數(shù)調(diào)優(yōu)與避坑實錄4.1 溫度系數(shù)、批次大小與負(fù)樣本數(shù)量溫度系數(shù)τ是影響自監(jiān)督訓(xùn)練最關(guān)鍵的超參。τ越小損失越聚焦于最硬的負(fù)樣本表征的點會被推得更分散τ越大所有負(fù)樣本的影響趨于均勻表征會相對平滑。實踐中的推薦范圍是0.05到0.3之間。我見過很多人直接把τ設(shè)置成0.07然后跑所有實驗遠(yuǎn)不是所有場景都適用。判斷τ是否合適的辦法是看表征空間的可視化結(jié)果如果同類樣本聚不到一起則嘗試調(diào)低τ如果不同類完全混合且類內(nèi)擠得很緊則調(diào)高τ。批次大小對對比學(xué)習(xí)的影響體現(xiàn)在兩方面批次越大負(fù)樣本越豐富模型越容易學(xué)到平滑的決策邊界但超級大的批次對端側(cè)訓(xùn)練來說不可承受。更值得推薦的做法是用較大的批次做負(fù)樣本池但使用內(nèi)存隊列來緩存歷史表征MoCo的做法這樣就能在不盲目擴(kuò)大物理批次的情況下變相擴(kuò)大負(fù)樣本池。對于Agent項目我常用的方案是物理批次256內(nèi)存隊列長度8192。這個配置在效果和顯存占用之間平衡得很好。隊列還有一個被忽略的坑是隊列中的舊表征和當(dāng)前編碼器參數(shù)不一致。因為編碼器是持續(xù)更新的隊列頭部和尾部特征實際上來自不同訓(xùn)練階段的編碼器版本如果不做什么處理梯度信號就不穩(wěn)定。解決方法是引入動量編碼器讓用來生成隊列表征的編碼器只是緩慢跟隨主編碼器更新動量系數(shù)設(shè)置在0.99到0.999之間。這算是MoCo這類方法能成功的核心細(xì)節(jié)我建議所有做大規(guī)模對比訓(xùn)練的同行都這樣做。4.2 表征空間可視化診斷與“塌縮”防護(hù)這個部分我要重點講講訓(xùn)練過程中的監(jiān)控與調(diào)試。自監(jiān)督訓(xùn)練最大、最隱蔽的問題是表征塌縮模型找到了一個捷徑把所有輸入都映射到同一個表征點或者一個極小的空間區(qū)域。塌縮之后對比損失可以無限下降但這個表征對下游任務(wù)是零價值的。如何盡早發(fā)現(xiàn)塌縮我常用的第一個診斷工具是表征分布可視化。抽出一個驗證集對表征做PCA降到二維或者三維看所有樣本是否都擠在一個小區(qū)域。如果可視化結(jié)果是一個沒有內(nèi)部結(jié)構(gòu)的單點云基本可以斷定已經(jīng)塌縮了。第二個診斷工具是計算表征協(xié)方差矩陣的奇異值正常狀態(tài)的奇異值應(yīng)該有一個明顯的長尾塌縮狀態(tài)的奇異值會急劇降到接近零。這個指標(biāo)比可視化更適合自動化監(jiān)控。防護(hù)塌縮主要有三招。第一是使用stop-gradient配合預(yù)測頭在目標(biāo)側(cè)不更新梯度。第二是加大負(fù)樣本的難度比如主動加入難負(fù)樣本挖掘讓模型無法通過簡單特征區(qū)分樣本。第三是給表征加一個方差約束給批內(nèi)表征的每一維設(shè)定一個目標(biāo)方差強(qiáng)制表征空間不要過度收縮。我自己還踩過一個跟增強(qiáng)相關(guān)的坑。有一個階段模型訓(xùn)練很穩(wěn)定、可視化形態(tài)也不錯但遷移到下游任務(wù)時性能持續(xù)低迷。后來排查發(fā)現(xiàn)是增強(qiáng)策略太強(qiáng)了把顏色和幾何信息徹底打亂表征學(xué)到了非常抽象的語義卻丟失了和物理位置相關(guān)的精細(xì)信息。增強(qiáng)不是越強(qiáng)越好要針對Agent任務(wù)保留決策必需的信息通道。4.3 計算資源規(guī)劃與訓(xùn)練加速實踐Agent自監(jiān)督預(yù)訓(xùn)練是個吃計算資源的工程提前做好資源規(guī)劃能避免很多尷尬。以我的項目為例數(shù)據(jù)量在幾十萬幀圖像左右輸入分辨率為128乘以128編碼器采用一個中等規(guī)模的視覺Transformer顯存占用在30GB左右單卡每次迭代約1.2秒。預(yù)訓(xùn)練到收斂大概需要跑十萬步區(qū)間在一天半到三天之間。如果你的項目想完全復(fù)現(xiàn)我的成規(guī)模訓(xùn)練用四卡分布式訓(xùn)練是明顯體驗更好也更穩(wěn)的方案。分布式訓(xùn)練中第一個問題是多卡同步BatchNorm。默認(rèn)情況下每張卡獨(dú)自計算批統(tǒng)計量這在小批次條件下會帶來很嚴(yán)重的分布不一致。解決方案是用同步BatchNorm在訓(xùn)練框架中把普通的BatchNorm2d替換為SyncBatchNorm讓統(tǒng)計量跨卡同步。這個改動在一階段預(yù)訓(xùn)練中幾乎是必選項。第二個加速手段是混合精度訓(xùn)練把計算和存儲放到FP16或者BF16上進(jìn)行。對于自監(jiān)督訓(xùn)練我遇到過梯度下溢的情況解決辦法是把損失縮放系數(shù)設(shè)得大一些或者直接用BF16在某些支持硬件上會更加省心。實測下來混合精度能讓訓(xùn)練速度提升60%到80%代價是偶爾需要關(guān)注數(shù)值穩(wěn)定性。第三個建議是數(shù)據(jù)加載不要成為瓶頸。Agent數(shù)據(jù)經(jīng)常是視頻流存儲使用JPEG或者PNG逐幀讀取很慢。建議在預(yù)處理時把視頻抽出來做成一個按幀索引的內(nèi)存映射文件例如Mosaic或WebDataset格式這樣數(shù)據(jù)吞吐量至少能翻一倍而且不會讓GPU在等待數(shù)據(jù)時摸魚。5. 常見問題與排查技巧速查5.1 典型故障和處理辦法我把過去項目中遇到的典型問題整理成了一張速查表覆蓋自監(jiān)督訓(xùn)練最常見的故障現(xiàn)象和處理手段故障現(xiàn)象可能原因排查路徑與解決方案損失持續(xù)不降學(xué)習(xí)率太低 / 增強(qiáng)太強(qiáng)導(dǎo)致特征被破壞先調(diào)大學(xué)習(xí)率試一兩個epoch再逐步減弱增強(qiáng)強(qiáng)度表征塌縮可視化全擠在一起負(fù)樣本不足 / 未使用stop-gradient方案加大隊列長度檢查是否誤刪掉stop-gradient下游任務(wù)性能提升不明顯預(yù)訓(xùn)練和微調(diào)之間的數(shù)據(jù)分布不一致檢查預(yù)訓(xùn)練數(shù)據(jù)是否覆蓋與下游任務(wù)一致的狀態(tài)分布擴(kuò)大數(shù)據(jù)覆蓋微調(diào)時表征結(jié)構(gòu)被破壞編碼器全部解凍且學(xué)習(xí)率過高凍結(jié)表征層只解凍最后兩層并降低學(xué)習(xí)率訓(xùn)練不穩(wěn)定損失震蕩劇烈多組損失梯度方向沖突降低輔助損失權(quán)重增加預(yù)熱階段和梯度裁剪分布式訓(xùn)練結(jié)果和單卡對不上未使用同步BatchNorm / 數(shù)據(jù)shuffle不一致檢查歸一化層統(tǒng)一隨機(jī)種子驗證數(shù)據(jù)分發(fā)方式端側(cè)部署性能下降明顯BatchNorm統(tǒng)計量在單樣本推理時失效切換到LayerNorm或者導(dǎo)出時把BN層的統(tǒng)計量固化這里放一個比較容易被忽視的細(xì)節(jié)微調(diào)階段評估表征質(zhì)量最好用“凍結(jié)線性評測”模式就是在預(yù)訓(xùn)練好的表征上接一個線性層只訓(xùn)練這個線性層來做一些簡單的預(yù)測任務(wù)。如果這個線性評測的效果都達(dá)不到預(yù)期說明表征本身質(zhì)量是有問題的換再復(fù)雜的網(wǎng)絡(luò)也沒用。這樣可以把“表征問題”和“策略訓(xùn)練問題”解耦開來避免排查時互相甩鍋。5.2 一條真實排查實錄連續(xù)三次重啟訓(xùn)練都不收斂有一段時間我連續(xù)三次重啟預(yù)訓(xùn)練任務(wù)全部出現(xiàn)同一現(xiàn)象前500步損失快速下降之后突然反彈到初始水平再之后陷入長期緩慢下降。最初我以為是學(xué)習(xí)率的問題調(diào)整了三次依然無效。后來仔細(xì)檢查訓(xùn)練日志發(fā)現(xiàn)每一次重啟的隨機(jī)種子相同、數(shù)據(jù)順序是固定的于是懷疑是數(shù)據(jù)順序?qū)е碌碾y易樣本分布不均勻。分批檢查后發(fā)現(xiàn)用于打亂的一條隨機(jī)邏輯在線程數(shù)大于1時產(chǎn)生了一個漏洞導(dǎo)致后半段數(shù)據(jù)集幾乎全是困難樣本困難樣本集中出現(xiàn)自然會讓損失沖高反彈。把數(shù)據(jù)打亂邏輯修復(fù)之后訓(xùn)練曲線立刻正常。這個案例提醒我遇到訓(xùn)練不收斂時先懷疑數(shù)據(jù)和工程邏輯再懷疑算法和超參。很多人一看見損失曲線異常就去調(diào)學(xué)習(xí)率和溫度系數(shù)實際上真正的問題可能在一行不起眼的shuffle代碼里。5.3 如何設(shè)計一次有效的表征消融實驗在向團(tuán)隊或自己證明“自監(jiān)督表示學(xué)習(xí)確實有效”時不能只看最終任務(wù)指標(biāo)那樣很難定位變量。我用得比較成功的方式是做一套系統(tǒng)的消融實驗重點比較三組設(shè)置第一組用隨機(jī)初始化的表征直接訓(xùn)策略第二組用自監(jiān)督預(yù)訓(xùn)練但凍結(jié)的表征訓(xùn)策略第三組用自監(jiān)督預(yù)訓(xùn)練加微調(diào)的表征訓(xùn)策略。每組設(shè)置下跑同一個下游任務(wù)記錄三樣?xùn)|西樣本效率達(dá)到目標(biāo)性能所需的環(huán)境交互步數(shù)、最終性能、訓(xùn)練穩(wěn)定性多次重復(fù)試驗的性能方差。這三樣綜合起來才能給出一個可靠的結(jié)論。只比較最終性能的話圖省事有時候甚至?xí)贸鲐?fù)結(jié)論因為下游策略的不穩(wěn)定性會淹沒表征帶來的優(yōu)勢。我一般把方案組選了三種都可以的場景細(xì)化每次實驗至少跑三次不同的隨機(jī)種子性能方差就是最強(qiáng)的說服力。在我自己的經(jīng)驗里最明顯的收益往往不是最終性能提升而是樣本效率的大幅改善。自監(jiān)督預(yù)訓(xùn)練模型通常能在更少的環(huán)境交互步數(shù)內(nèi)達(dá)到同等性能這在真實物理系統(tǒng)上意味著節(jié)省大量的真機(jī)試錯成本它體現(xiàn)的價值比一兩個點的最終精度更加可貴。6. 基于個人經(jīng)驗的最后幾條實戰(zhàn)建議自監(jiān)督表示學(xué)習(xí)不是一個能夠短平快解決的小工具而是一個對整個Agent系統(tǒng)產(chǎn)生長期影響的基礎(chǔ)環(huán)節(jié)。我建議所有剛接觸它的同行不要一上來就追最新模型、堆最大算力而是先把數(shù)據(jù)質(zhì)量做扎實充分理解增強(qiáng)策略對表征語義的影響再穩(wěn)步展開實驗。挑模型時我會特別提醒不要盲目迷信生成式重建方法。像素重建目標(biāo)更加消耗計算資源在分辨率高、場景復(fù)雜的Agent任務(wù)里往往需要非常仔細(xì)地設(shè)計損失權(quán)重才能收斂到一個有意義的狀態(tài)。對比式和預(yù)測式方法在很多中等規(guī)模項目里的性價比會更高也能更容易地和已有的強(qiáng)化學(xué)習(xí)框架集成。還有一個建議是如果條件允許把自監(jiān)督預(yù)訓(xùn)練和你最終的Agent應(yīng)用任務(wù)放在同一個仿真環(huán)境里進(jìn)行而不要使用完全無關(guān)的通用數(shù)據(jù)集。同一環(huán)境產(chǎn)出的數(shù)據(jù)天然匹配Agent遇到的輸入分布差別太大的數(shù)據(jù)集哪怕規(guī)模再大預(yù)處理出來的表征也很難適應(yīng)具體任務(wù)。這個道理和我一開始說到的監(jiān)督學(xué)習(xí)短板同出一源分布的一致性重要性遠(yuǎn)高于無腦的數(shù)據(jù)量。最后想分享一個小技巧保存checkpoint的時候不只是保存最終那一個而是隔幾個階段就把中間checkpoint也存下來。自監(jiān)督訓(xùn)練有時會在某些checkpoint上表現(xiàn)出奇特的下游優(yōu)勢可能比最后收斂的那個還要好用。這些中間狀態(tài)在語義結(jié)構(gòu)上往往還沒有被過度壓縮或過度平滑正好適配某些下游任務(wù)的需求。后來這成了我的標(biāo)配習(xí)慣也讓我的項目總能在關(guān)鍵時刻找到一條靈活的退路。自監(jiān)督表示學(xué)習(xí)的演進(jìn)還在繼續(xù)目前看到的潮流是更大規(guī)模、更多模態(tài)、更長上下文但核心的邏輯不會變讓Agent從數(shù)據(jù)自身的結(jié)構(gòu)里成長出對世界的穩(wěn)定理解而不是什么都靠人一塊塊喂給它。