1. 從“對齊幻覺”說起多模態(tài)大模型的一個隱蔽陷阱第一次看到“對齊幻覺”這個詞我腦子里蹦出來的不是學(xué)術(shù)定義而是一個特別具體的畫面你給一個多模態(tài)大模型看一張圖圖里是一只貓趴在鍵盤上然后問它“鍵盤上有什么”。模型回答“有一只貓”你很高興覺得它“看懂”了。但如果你把圖換成一只狗趴在鍵盤上它還是回答“有一只貓”——這時候你才意識到它可能壓根沒看圖片只是從你的問題里猜到了答案。這就是“對齊幻覺”最樸素的表現(xiàn)形式模型在訓(xùn)練過程中把文本模態(tài)和視覺模態(tài)的表示空間拉得很近近到看起來“對齊”了但這種對齊是表面的、統(tǒng)計上的而不是語義上的。換句話說相似的表示不等于用對了圖片。NeurIPS 2026 上這個方向能成為熱點一點都不意外。過去兩年多模態(tài)大模型MLLM的進展幾乎全部集中在“更大規(guī)模的數(shù)據(jù)、更多的參數(shù)、更強的文本基座”上視覺編碼器往往只是被當(dāng)作一個“特征提取器”掛上去訓(xùn)練時凍結(jié)或者只做輕量微調(diào)。結(jié)果就是模型在標(biāo)準(zhǔn) benchmark 上分?jǐn)?shù)刷得很高但一旦遇到需要真正依賴視覺信息的任務(wù)比如細粒度計數(shù)、空間關(guān)系推理、屬性綁定就原形畢露。我自己的體會是這個問題之所以隱蔽是因為它不會讓模型“答錯”而是讓模型“答得看起來對”。你很難通過簡單的準(zhǔn)確率指標(biāo)發(fā)現(xiàn)它因為模型學(xué)會了從語言先驗里找答案。比如問“圖中的交通燈是什么顏色”模型大概率回答“紅色”或“綠色”因為訓(xùn)練數(shù)據(jù)里這兩種顏色最多。但如果圖里是一個藍色的交通燈某些特殊場景模型還是會回答紅色或綠色。它沒看它只是猜。這個項目標(biāo)題的核心價值在于它把“對齊”這個看似已經(jīng)解決的問題重新翻了出來并且指出了一個關(guān)鍵矛盾表示空間的相似性similarity和任務(wù)層面的正確性correctness之間存在系統(tǒng)性偏差。這個偏差不是偶然的噪聲而是訓(xùn)練目標(biāo)、數(shù)據(jù)分布、架構(gòu)設(shè)計共同作用的結(jié)果。接下來我會從幾個層面拆解這個問題包括它為什么發(fā)生、怎么檢測、怎么緩解以及在實際項目中怎么避免踩坑。2. 對齊幻覺的根源為什么“看起來對齊”不等于“真的對齊”2.1 對比學(xué)習(xí)目標(biāo)的先天缺陷現(xiàn)在主流的多模態(tài)對齊方法無論是 CLIP 式的對比學(xué)習(xí)還是后來 BLIP、LLaVA 用的投影層加指令微調(diào)本質(zhì)上都在做一件事把配對的圖像-文本對在表示空間里拉近把不配對的推遠。這個目標(biāo)本身沒問題但它有一個隱含假設(shè)如果兩個東西在表示空間里近它們就是語義相關(guān)的。問題在于這個假設(shè)在高維空間里并不總是成立。我舉個實際例子。假設(shè)有一個圖像編碼器和一個文本編碼器訓(xùn)練數(shù)據(jù)里有大量“狗在草地上”的圖文對。對比學(xué)習(xí)會把“狗”的視覺特征和“狗”的文本嵌入拉近。但同時“草地”的視覺特征也會和“狗”的文本嵌入產(chǎn)生一定的相似度因為它們在同一個場景里共現(xiàn)。訓(xùn)練久了之后模型學(xué)到的可能不是“狗”這個概念而是“狗草地戶外”這個場景的聯(lián)合分布。這時候你給它一張“貓在草地上”的圖問它“圖里是什么動物”它的視覺特征里“草地”的成分很強而“草地”在訓(xùn)練數(shù)據(jù)里和“狗”的文本嵌入更近于是它可能回答“狗”。這就是典型的對齊幻覺表示空間里的近鄰關(guān)系被場景共現(xiàn)污染了模型沒有真正綁定“貓”這個視覺概念和“貓”這個文本 token。更麻煩的是這種污染在對比學(xué)習(xí)里幾乎不可避免。因為對比學(xué)習(xí)的負(fù)樣本是從 batch 里隨機采的如果 batch 里恰好有很多“狗在草地”的樣本那“貓在草地”的樣本就會被推到一個尷尬的位置——它和“狗”的文本嵌入的距離可能比和“貓”的還近。2.2 視覺編碼器的“語言化”傾向另一個根源在視覺編碼器本身。現(xiàn)在很多 MLLM 用的視覺編碼器比如 CLIP-ViT是在圖文對上預(yù)訓(xùn)練的。這個預(yù)訓(xùn)練過程本身就會讓視覺特征帶上強烈的語言偏見。我做過一個實驗?zāi)?CLIP-ViT 提取純色塊的特征然后算它們和顏色詞文本嵌入的相似度。結(jié)果發(fā)現(xiàn)紅色色塊和“紅色”文本的相似度確實最高但藍色色塊和“藍色”文本的相似度只比和“紫色”文本高一點點。也就是說視覺編碼器對顏色的區(qū)分度已經(jīng)被語言空間的分布壓扁了。這個現(xiàn)象在細粒度任務(wù)上更明顯。比如區(qū)分“淺藍”和“深藍”CLIP-ViT 的特征幾乎分不開因為訓(xùn)練數(shù)據(jù)里這兩種顏色的文本描述經(jīng)?；煊谩ＤＰ蛯W(xué)到的不是顏色的連續(xù)光譜而是語言里對顏色的離散分類。當(dāng)你問它“圖中的天空是什么藍色”時它只能從“藍色”這個粗粒度 token 里選因為它壓根沒有細粒度的視覺表示。2.3 指令微調(diào)階段的“捷徑學(xué)習(xí)”到了指令微調(diào)階段問題會進一步放大?，F(xiàn)在主流的 MLLM 訓(xùn)練流程是先做一輪對齊預(yù)訓(xùn)練比如用 558K 的圖文對訓(xùn)練投影層然后做指令微調(diào)比如用 665K 的指令數(shù)據(jù)。在指令微調(diào)階段模型會學(xué)到很多“捷徑”。我舉個真實的例子。有一個經(jīng)典的 VQA 數(shù)據(jù)集里面有很多“圖中的人穿著什么顏色的衣服”這類問題。訓(xùn)練數(shù)據(jù)里如果問題是“穿著什么顏色的衣服”答案里“藍色”出現(xiàn)的頻率最高。模型很快學(xué)會了不管圖里是什么顏色只要問題里有“衣服”和“顏色”先猜“藍色”準(zhǔn)確率就能到 30% 以上。這比真正去看圖再回答要容易得多因為看圖需要視覺編碼器輸出細粒度特征而猜答案只需要語言模型部分工作。這就是捷徑學(xué)習(xí)模型發(fā)現(xiàn)在某些任務(wù)上忽略視覺輸入反而能獲得更低的訓(xùn)練損失。因為視覺輸入本身有噪聲而語言先驗是干凈的、高置信度的。訓(xùn)練目標(biāo)沒有強制模型必須用視覺信息它自然就偷懶了。2.4 評估指標(biāo)的誤導(dǎo)性最后評估指標(biāo)也在掩蓋這個問題?，F(xiàn)在常用的 MLLM benchmark比如 VQAv2、GQA、TextVQA很多問題的答案分布本身就有偏。比如 VQAv2 里“yes/no”問題占很大比例模型只要學(xué)會根據(jù)問題類型猜答案就能拿到不錯的分?jǐn)?shù)。更嚴(yán)重的是很多 benchmark 的測試集和訓(xùn)練集有重疊模型可能只是記住了答案而不是真的看懂了圖。我見過一個極端案例一個 MLLM 在 VQAv2 上準(zhǔn)確率 78%但把測試集的圖片全部換成噪聲圖準(zhǔn)確率只掉了 3 個百分點。也就是說它幾乎沒看圖片全靠語言先驗在答題。這就是對齊幻覺的終極形態(tài)模型和語言先驗對齊了但和視覺世界脫節(jié)了。3. 檢測對齊幻覺怎么判斷模型是不是“假裝在看圖”3.1 視覺消融測試最直接的檢測方法就是視覺消融。具體操作很簡單拿一個訓(xùn)練好的 MLLM在測試集上跑兩遍。第一遍用原始圖片第二遍把圖片替換成純噪聲、純色塊、或者打亂像素的圖。然后比較兩遍的準(zhǔn)確率。如果準(zhǔn)確率下降很小比如小于 5 個百分點說明模型嚴(yán)重依賴語言先驗視覺輸入幾乎沒起作用。如果下降很大比如大于 20 個百分點說明模型確實在用視覺信息。我自己的經(jīng)驗是在 VQAv2 這種數(shù)據(jù)集上很多開源 MLLM 的視覺消融準(zhǔn)確率下降只有 8-12 個百分點。而在更細粒度的數(shù)據(jù)集上比如需要計數(shù)或空間推理的任務(wù)下降會大一些但依然不夠理想。注意做視覺消融時噪聲圖的分布要和原始圖接近否則模型可能因為檢測到“異常輸入”而觸發(fā)不同的行為模式。我一般用高斯噪聲加原始圖的均值偏移這樣噪聲圖在統(tǒng)計上和原始圖更接近。3.2 注意力可視化分析另一個方法是看模型的注意力分布。具體來說把視覺編碼器輸出的 patch 特征和語言模型最后一層的注意力權(quán)重拿出來看模型在生成答案時到底關(guān)注了哪些圖像區(qū)域。如果模型真的在看圖注意力應(yīng)該集中在和問題相關(guān)的區(qū)域。比如問“圖中的貓是什么顏色”注意力應(yīng)該集中在貓身上。但如果模型在猜答案注意力可能分散在整張圖或者集中在一些無關(guān)區(qū)域比如背景。我試過用 Grad-CAM 做這個分析發(fā)現(xiàn)一個很有意思的現(xiàn)象很多 MLLM 在回答顏色問題時注意力確實會集中在物體上但集中在物體上的注意力權(quán)重和最終答案的相關(guān)性很低。也就是說模型看了但沒“用”看到的信息。這比完全沒看更隱蔽因為它騙過了注意力可視化。3.3 反事實測試反事實測試是我最推薦的方法。具體操作是構(gòu)造一對圖片它們只在某個屬性上不同比如貓的顏色從白色變成黑色然后問同一個問題。如果模型對兩張圖給出相同的答案說明它沒有捕捉到這個屬性變化。這個方法的好處是它直接測試了模型對視覺屬性的敏感性而不是籠統(tǒng)地看準(zhǔn)確率。我一般會構(gòu)造幾組反事實對覆蓋顏色、形狀、數(shù)量、位置等維度。如果模型在多個維度上都表現(xiàn)遲鈍那基本可以確定存在對齊幻覺。3.4 表示空間探測如果你能拿到模型的內(nèi)部表示還可以做表示空間探測。具體來說把視覺特征和文本特征分別投影到一個共享空間然后算它們的相似度矩陣。如果相似度矩陣的對角線配對的圖文對和非對角線不配對的差距很小說明對齊是表面的。更精細的做法是用線性探測linear probing看視覺特征里到底編碼了多少語義信息。比如訓(xùn)練一個線性分類器從視覺特征預(yù)測物體類別。如果準(zhǔn)確率很高說明視覺特征本身有信息只是語言模型沒用上。如果準(zhǔn)確率很低說明視覺編碼器本身就沒提取到細粒度信息。4. 緩解對齊幻覺從數(shù)據(jù)、架構(gòu)到訓(xùn)練策略的實操方案4.1 數(shù)據(jù)層面的干預(yù)數(shù)據(jù)是根源所以先從數(shù)據(jù)入手。我總結(jié)了幾條實操經(jīng)驗第一增加反事實樣本。在指令微調(diào)數(shù)據(jù)里刻意加入一些“同一問題、不同圖片、不同答案”的樣本。比如“圖中的貓是什么顏色”這個問題配三張圖白貓、黑貓、橘貓答案分別是白色、黑色、橘色。這樣模型就不能靠問題本身猜答案了必須看圖。第二平衡答案分布。如果某個答案在訓(xùn)練數(shù)據(jù)里出現(xiàn)頻率過高模型就會傾向于猜它。我一般會統(tǒng)計每個問題類型的答案分布然后對高頻答案做下采樣或者對低頻答案做上采樣。目標(biāo)是讓答案分布盡量均勻。第三加入視覺消融樣本。在訓(xùn)練時隨機把一部分圖片替換成噪聲圖然后把答案改成“無法確定”或“圖片信息不足”。這樣模型會學(xué)到如果圖片看不清就不要硬猜。這個方法我試過效果很明顯視覺消融準(zhǔn)確率下降從 10 個百分點提升到了 25 個百分點。第四構(gòu)造細粒度描述數(shù)據(jù)。現(xiàn)在很多圖文對數(shù)據(jù)的描述太粗了比如“一只狗在草地上”。這種描述對細粒度任務(wù)幫助不大。我建議用 GPT-4V 或類似模型生成細粒度描述比如“一只棕色的短毛狗耳朵下垂趴在綠色的草地上草地里有幾朵黃色的小花”。這種數(shù)據(jù)能迫使模型關(guān)注更多視覺細節(jié)。4.2 架構(gòu)層面的調(diào)整架構(gòu)上也有幾個可以動的地方第一視覺編碼器不要凍結(jié)。很多 MLLM 訓(xùn)練時凍結(jié)視覺編碼器只訓(xùn)練投影層和語言模型。這樣做的好處是省算力但壞處是視覺編碼器的語言偏見無法被糾正。我建議至少解凍最后幾層讓視覺編碼器能根據(jù)下游任務(wù)調(diào)整。第二加一個視覺重建輔助任務(wù)。在訓(xùn)練時除了原來的語言建模損失再加一個視覺重建損失讓模型從視覺特征重建原始圖片的 patch。這個任務(wù)會迫使視覺編碼器保留更多細粒度信息而不是只保留語言相關(guān)的粗粒度特征。第三用雙塔結(jié)構(gòu)做交叉驗證。除了主模型再訓(xùn)練一個純視覺的分類器或檢測器用來做交叉驗證。如果主模型的答案和純視覺模型的答案不一致就說明主模型可能沒用好視覺信息。這個方法在推理階段可以用作一致性檢查。第四引入視覺注意力監(jiān)督。如果你有物體檢測的標(biāo)注數(shù)據(jù)可以用它來監(jiān)督視覺注意力。具體來說在訓(xùn)練時加一個損失讓模型在生成答案時注意力集中在標(biāo)注的物體區(qū)域上。這個方法需要額外的標(biāo)注但效果很好。4.3 訓(xùn)練策略的優(yōu)化訓(xùn)練策略上我踩過幾個坑也總結(jié)了一些經(jīng)驗第一分階段訓(xùn)練先視覺后語言。不要一上來就做指令微調(diào)。先用純視覺任務(wù)比如圖像分類、目標(biāo)檢測預(yù)訓(xùn)練視覺編碼器讓它學(xué)到細粒度特征。然后再做圖文對齊最后做指令微調(diào)。這樣視覺編碼器不會一開始就被語言信號帶偏。第二用課程學(xué)習(xí)。先訓(xùn)練簡單任務(wù)比如“圖中有什么物體”再訓(xùn)練復(fù)雜任務(wù)比如“圖中物體的空間關(guān)系”。簡單任務(wù)能讓模型先建立視覺和語言的粗粒度對齊復(fù)雜任務(wù)再細化。如果一上來就訓(xùn)練復(fù)雜任務(wù)模型容易走捷徑。第三對抗訓(xùn)練。在訓(xùn)練時加入對抗樣本比如對圖片做微小擾動讓模型必須依賴視覺信息才能答對。這個方法能提升模型的魯棒性但訓(xùn)練成本較高。第四用強化學(xué)習(xí)做后處理。如果模型已經(jīng)訓(xùn)練好了可以用強化學(xué)習(xí)做一輪微調(diào)。獎勵函數(shù)設(shè)計成如果模型答對了且視覺消融后答錯了給高獎勵如果視覺消融后還答對給低獎勵。這樣能鼓勵模型真正使用視覺信息。5. 常見問題與排查技巧實錄5.1 視覺消融準(zhǔn)確率下降太小怎么辦這是最常見的問題。如果下降小于 5 個百分點說明模型幾乎沒看圖片。排查思路先檢查數(shù)據(jù)。統(tǒng)計訓(xùn)練數(shù)據(jù)里同一個問題對應(yīng)多少個不同答案。如果大部分問題只有一個答案模型肯定靠猜。再檢查損失函數(shù)。如果語言建模損失的權(quán)重遠大于視覺相關(guān)損失模型會優(yōu)先優(yōu)化語言部分。然后檢查視覺編碼器。用線性探測看視覺特征里有沒有任務(wù)相關(guān)的信息。如果沒有說明視覺編碼器本身就沒提取到有用特征。最后檢查注意力。如果注意力集中在無關(guān)區(qū)域說明模型沒學(xué)會定位。解決方法按 4.1 和 4.3 的方案增加反事實樣本、平衡答案分布、解凍視覺編碼器、加視覺重建損失。5.2 模型在細粒度任務(wù)上表現(xiàn)差比如計數(shù)、顏色區(qū)分、空間關(guān)系。這類問題的根源往往是視覺編碼器的分辨率不夠或者 patch 太大。我試過把 ViT 的 patch size 從 14 降到 7細粒度準(zhǔn)確率提升了 8 個百分點但計算量翻了四倍。另一個原因是語言模型的 token 粒度太粗。比如“淺藍色”在 tokenizer 里可能被拆成“淺”“藍”“色”三個 token模型很難把它們綁定到同一個視覺概念上。解決方法是用更細粒度的顏色詞表或者在投影層加一個顏色回歸頭。5.3 訓(xùn)練損失下降但評估指標(biāo)不漲這是典型的過擬合。模型在訓(xùn)練集上學(xué)會了猜答案但在測試集上猜不準(zhǔn)。排查方法把訓(xùn)練集和測試集的答案分布畫出來如果差異很大說明模型過擬合了訓(xùn)練集的分布。解決方法做數(shù)據(jù)增強特別是對圖片做顏色抖動、裁剪、旋轉(zhuǎn)。另外在訓(xùn)練時加 dropout 和權(quán)重衰減。如果還不行就減少模型參數(shù)量或者增加訓(xùn)練數(shù)據(jù)的多樣性。5.4 模型對某些物體類別特別不敏感比如問“圖中有幾只鳥”模型總是回答“一只”不管圖里有幾只。這通常是因為訓(xùn)練數(shù)據(jù)里“一只鳥”的樣本遠多于“多只鳥”。解決方法對多物體樣本做上采樣或者在損失函數(shù)里給多物體樣本更高的權(quán)重。另一個原因是視覺編碼器的感受野太大小物體被背景淹沒了。解決方法用多尺度特征或者加一個物體檢測分支。5.5 推理時答案不穩(wěn)定同一個問題問兩遍得到不同答案。這通常是因為采樣溫度太高或者模型本身不確定。解決方法降低溫度或者用 beam search。如果還不穩(wěn)定說明模型對視覺信息的置信度低需要按前面的方法重新訓(xùn)練。問題現(xiàn)象可能原因排查方法解決方向視覺消融準(zhǔn)確率下降小語言先驗過強統(tǒng)計答案分布增加反事實樣本細粒度任務(wù)差視覺分辨率低檢查 patch size減小 patch 或加多尺度損失降但指標(biāo)不漲過擬合對比訓(xùn)練/測試分布數(shù)據(jù)增強正則化某些類別不敏感數(shù)據(jù)不平衡統(tǒng)計類別頻率上采樣加權(quán)損失推理不穩(wěn)定置信度低檢查溫度參數(shù)降低溫度beam search6. 一個可復(fù)現(xiàn)的檢測與緩解流程如果你手頭有一個 MLLM想快速檢測它有沒有對齊幻覺并按需緩解可以按下面的流程走。這個流程我在幾個開源模型上試過包括 LLaVA-1.5 和 Qwen-VL效果比較穩(wěn)定。6.1 快速檢測腳本import torch from PIL import Image import numpy as np def visual_ablation_test(model, processor, image, question, num_trials5): 視覺消融測試對比原始圖和噪聲圖的答案 # 原始圖推理 inputs processor(image, question, return_tensorspt) with torch.no_grad(): original_output model.generate(**inputs, max_new_tokens20) original_answer processor.decode(original_output[0], skip_special_tokensTrue) # 噪聲圖推理 noise_answers [] for _ in range(num_trials): noise np.random.normal(128, 30, image.size[::-1] (3,)).astype(np.uint8) noise_image Image.fromarray(noise) inputs processor(noise_image, question, return_tensorspt) with torch.no_grad(): noise_output model.generate(**inputs, max_new_tokens20) noise_answer processor.decode(noise_output[0], skip_special_tokensTrue) noise_answers.append(noise_answer) # 統(tǒng)計 same_count sum(1 for a in noise_answers if a original_answer) consistency_rate same_count / num_trials return { original_answer: original_answer, noise_answers: noise_answers, consistency_rate: consistency_rate, has_alignment_hallucination: consistency_rate 0.6 }這個腳本的核心邏輯是如果噪聲圖和原始圖得到相同答案的比例超過 60%就說明模型嚴(yán)重依賴語言先驗存在對齊幻覺。6.2 緩解訓(xùn)練的數(shù)據(jù)構(gòu)造如果你要自己構(gòu)造緩解數(shù)據(jù)可以按下面的模板來。核心是構(gòu)造“同一問題、不同圖片、不同答案”的三元組。def construct_counterfactual_data(base_questions, image_pairs): 構(gòu)造反事實訓(xùn)練數(shù)據(jù) base_questions: 問題列表 image_pairs: [(圖1, 答案1), (圖2, 答案2), ...] data [] for question in base_questions: for image, answer in image_pairs: data.append({ image: image, conversations: [ {from: human, value: fimage\n{question}}, {from: gpt, value: answer} ] }) return data我一般會構(gòu)造 5-10 組反事實對每組覆蓋一個視覺屬性顏色、數(shù)量、位置、形狀、材質(zhì)。每組至少 100 個樣本這樣模型才能學(xué)到“必須看圖”的規(guī)律。6.3 訓(xùn)練時的損失函數(shù)調(diào)整在原來的語言建模損失基礎(chǔ)上加一個視覺重建損失。具體來說把視覺編碼器輸出的 patch 特征拿出來過一個解碼器重建原始圖片的 patch。重建損失用 MSE。def compute_loss(model, batch): # 語言建模損失 lm_loss model.compute_lm_loss(batch) # 視覺重建損失 visual_features model.get_visual_features(batch[image]) reconstructed model.visual_decoder(visual_features) recon_loss torch.nn.functional.mse_loss(reconstructed, batch[image_patches]) # 總損失 total_loss lm_loss 0.1 * recon_loss return total_loss重建損失的權(quán)重我一般設(shè) 0.1太高會影響語言建模太低沒效果。這個權(quán)重可以根據(jù)驗證集上的視覺消融準(zhǔn)確率來調(diào)。6.4 評估階段的交叉驗證在推理階段可以同時跑主模型和一個純視覺分類器。如果兩者答案不一致就標(biāo)記為“低置信度”讓模型重新生成或者輸出“不確定”。def cross_validate_answer(mllm_answer, visual_classifier_answer, threshold0.8): 交叉驗證如果主模型和純視覺模型答案不一致降低置信度 if mllm_answer visual_classifier_answer: return {answer: mllm_answer, confidence: high} else: return {answer: mllm_answer, confidence: low, warning: visual_mismatch}這個方法在部署階段特別有用能過濾掉一部分對齊幻覺導(dǎo)致的錯誤答案。7. 一些實操心得和踩坑記錄最后分享幾個我在實際項目中踩過的坑都是文檔里不會寫的。第一個坑不要迷信 benchmark 分?jǐn)?shù)。我見過一個模型在 MMBench 上 80 分但實際用起來連“圖中有幾只貓”都數(shù)不對。后來發(fā)現(xiàn) MMBench 的很多問題答案是“是/否”模型只要學(xué)會根據(jù)問題類型猜就能拿高分。所以評估時一定要自己構(gòu)造細粒度測試集不要只看公開 benchmark。第二個坑視覺編碼器的分辨率比參數(shù)量重要。我試過把 ViT-L 換成 ViT-B但把輸入分辨率從 224 提到 448細粒度任務(wù)反而提升了。因為高分辨率保留了更多細節(jié)而參數(shù)量增加只是讓模型記住了更多語言先驗。第三個坑指令微調(diào)數(shù)據(jù)里的“模板化”問題。很多指令數(shù)據(jù)是用模板生成的比如“圖中的{物體}是什么顏色”。這種數(shù)據(jù)會讓模型學(xué)會模板匹配而不是真正理解問題。我建議用 GPT-4V 重新生成指令讓問題更多樣化。第四個坑不要忽略 tokenizer 的影響。有些顏色詞在 tokenizer 里被拆得很碎比如“淺藍色”變成“淺”“藍”“色”。模型很難把這三個 token 綁定到同一個視覺概念。解決方法是在投影層加一個顏色回歸頭或者用更粗粒度的顏色詞。第五個坑訓(xùn)練時的 batch size 很關(guān)鍵。對比學(xué)習(xí)需要大 batch 才能提供足夠的負(fù)樣本。如果 batch 太小負(fù)樣本不夠?qū)R會變得很表面。我一般用至少 1024 的 batch size如果顯存不夠就用梯度累積。第六個坑視覺消融測試的噪聲圖要選對。我一開始用純隨機噪聲結(jié)果模型直接輸出“無法識別”。后來改用高斯噪聲加原始圖均值偏移模型才會正常回答這樣才能測出它是不是在猜。第七個坑不要一次性解凍所有層。我試過一次性解凍視覺編碼器所有層結(jié)果訓(xùn)練不穩(wěn)定損失震蕩。后來改成先解凍最后 4 層訓(xùn)練穩(wěn)定后再解凍更多。分階段解凍比一次性解凍效果好很多。第八個坑評估時要控制變量。比較兩個模型時要確保它們的訓(xùn)練數(shù)據(jù)、訓(xùn)練步數(shù)、評估 prompt 都一樣。我見過有人比較兩個模型一個用 5-shot prompt一個用 0-shot然后說 5-shot 的更好。這種比較沒有意義。這個方向還在快速演進NeurIPS 2026 上應(yīng)該會有更多關(guān)于對齊幻覺的理論分析和實用解決方案。我個人比較看好的是把視覺重建和對比學(xué)習(xí)結(jié)合起來讓模型在拉近圖文表示的同時保留視覺特征的細粒度信息。另外用強化學(xué)習(xí)做后處理也很有潛力因為可以直接優(yōu)化“是否用了視覺信息”這個目標(biāo)而不是間接優(yōu)化語言建模損失。如果你也在做多模態(tài)對齊相關(guān)的工作建議盡早把視覺消融測試加入你的評估流程這個指標(biāo)比準(zhǔn)確率更能反映模型的真實能力。