DPO微調(diào)是過(guò)去一年里我見(jiàn)過(guò)被誤解最深、也因此被錯(cuò)過(guò)最多的技術(shù)。很多人一聽(tīng)“直接偏好優(yōu)化”要么覺(jué)得它是RLHF的替代品、必須懂強(qiáng)化學(xué)習(xí)才能碰要么覺(jué)得只是換了個(gè)損失函數(shù)、隨便訓(xùn)一下就能讓模型變聽(tīng)話。這兩種理解都跑偏了。DPO本質(zhì)上是把大模型偏好對(duì)齊從“四階段強(qiáng)化學(xué)習(xí)工程”壓縮成“一份偏好數(shù)據(jù)二分類損失”的輕量流程不需要獎(jiǎng)勵(lì)模型不需要在線采樣不需要PPO那套穩(wěn)定訓(xùn)練技巧但效果卻能在大多數(shù)場(chǎng)景下逼近甚至追平傳統(tǒng)RLHF。這篇文章我會(huì)把DPO微調(diào)的原理、數(shù)據(jù)準(zhǔn)備、完整訓(xùn)練流程、關(guān)鍵參數(shù)和踩過(guò)的坑一次講清楚適合已經(jīng)跑通SFT、想進(jìn)一步做對(duì)齊的工程師也適合剛接觸偏好優(yōu)化、想搞明白它到底在干什么的入門(mén)者。1. 為什么需要DPO微調(diào)從RLHF到直接偏好優(yōu)化1.1 RLHF的固有痛點(diǎn)在DPO出現(xiàn)之前讓大模型學(xué)會(huì)“什么回答更好”主流路線是RLHF基于人類反饋的強(qiáng)化學(xué)習(xí)。標(biāo)準(zhǔn)流程至少四步先用高質(zhì)量指令數(shù)據(jù)做SFT再訓(xùn)練一個(gè)獎(jiǎng)勵(lì)模型對(duì)模型的回答打分然后用這個(gè)獎(jiǎng)勵(lì)模型給策略模型提供獎(jiǎng)勵(lì)信號(hào)最后通過(guò)PPO之類的強(qiáng)化學(xué)習(xí)算法去更新策略。邏輯上很清晰但工程上是另一回事。我到現(xiàn)在還記得第一次跑完整RLHF鏈路時(shí)的感受。獎(jiǎng)勵(lì)模型訓(xùn)出來(lái)之后分布稍微偏一點(diǎn)整個(gè)強(qiáng)化學(xué)習(xí)階段就像在泥潭里打滾同一個(gè)回答獎(jiǎng)勵(lì)模型的分?jǐn)?shù)抖動(dòng)能超過(guò)0.5PPO的策略更新一激進(jìn)生成質(zhì)量立刻崩。調(diào)試一個(gè)壞獎(jiǎng)勵(lì)模型的時(shí)間比訓(xùn)練整個(gè)SFT模型還長(zhǎng)。而且顯存壓力極大策略模型、參考模型、獎(jiǎng)勵(lì)模型、價(jià)值模型四份權(quán)重同時(shí)駐留一張80G的卡都緊巴巴。更隱蔽的問(wèn)題是更新過(guò)程的脆弱性。強(qiáng)化學(xué)習(xí)的核心是通過(guò)在線采樣不斷探索但大模型生成一個(gè)token的成本本來(lái)就高采樣策略還要維護(hù)KL散度約束、GAE估計(jì)、clip范圍等一堆超參任何一環(huán)配不好訓(xùn)練曲線就會(huì)在“獎(jiǎng)勵(lì)上升”和“文本質(zhì)量下降”之間反復(fù)橫跳。你花了大量時(shí)間調(diào)PPO最后往往得到一個(gè)分?jǐn)?shù)好看、讀起來(lái)卻很怪異的模型。1.2 DPO的核心思路轉(zhuǎn)變DPO的出發(fā)點(diǎn)是重新審視“獎(jiǎng)勵(lì)模型”的必要性。論文里證明了這樣一個(gè)結(jié)論在Bradley-Terry偏好模型假設(shè)下最優(yōu)策略的解可以直接用當(dāng)前策略和參考策略的比值表達(dá)獎(jiǎng)勵(lì)函數(shù)可以被吸收進(jìn)策略本身。也就是說(shuō)我們完全不需要單獨(dú)訓(xùn)練一個(gè)獎(jiǎng)勵(lì)模型再讓策略去擬合它而是可以直接在偏好數(shù)據(jù)上讓策略學(xué)會(huì)增大“被選中的回答”的概率、減小“被拒絕的回答”的概率。這個(gè)轉(zhuǎn)變帶來(lái)兩個(gè)直接收益。第一訓(xùn)練管線簡(jiǎn)化到了兩步準(zhǔn)備偏好數(shù)據(jù)然后像SFT一樣做監(jiān)督式優(yōu)化。第二訓(xùn)練目標(biāo)從“最大化獎(jiǎng)勵(lì)”變成了“最大化chosen與rejected之間的似然差距”穩(wěn)定性大幅提升。整個(gè)過(guò)程不需要強(qiáng)化學(xué)習(xí)采樣不需要獎(jiǎng)勵(lì)模型預(yù)測(cè)更不需要維護(hù)價(jià)值網(wǎng)絡(luò)一個(gè)具備常規(guī)監(jiān)督訓(xùn)練經(jīng)驗(yàn)的工程師就能接手。我個(gè)人的理解是DPO等于把“對(duì)齊”從優(yōu)化問(wèn)題變成了分類問(wèn)題。模型面對(duì)的不再是一個(gè)不斷變化的評(píng)分函數(shù)而是一批固定的、帶有正反標(biāo)簽的回答對(duì)。它要學(xué)習(xí)的不是“如何騙過(guò)獎(jiǎng)勵(lì)模型”而是“這類提示下偏好回答和拒絕回答之間到底差在哪里”。2. DPO原理拆解損失函數(shù)到底在做什么2.1 偏好數(shù)據(jù)的基本結(jié)構(gòu)DPO的訓(xùn)練數(shù)據(jù)在結(jié)構(gòu)上比SFT多一個(gè)“負(fù)樣本”。每條數(shù)據(jù)是一個(gè)提示詞prompt配上兩個(gè)回答一個(gè)是人類或AI更喜歡的chosen回答一個(gè)是相對(duì)較差的rejected回答。如下表所示。字段含義示例prompt用戶的指令或問(wèn)題“寫(xiě)一封請(qǐng)假郵件語(yǔ)氣正式”chosen更符合要求的回答格式完整、稱呼結(jié)尾齊全的郵件rejected存在明顯不足的回答語(yǔ)氣過(guò)于隨意、缺少抬頭或落款chosen和rejected必須來(lái)自同一個(gè)prompt否則模型無(wú)法判斷差異是由提示詞引起的還是由回答質(zhì)量引起的。數(shù)據(jù)來(lái)源可以是人工標(biāo)注、線上用戶反饋、強(qiáng)模型對(duì)比打分甚至可以是同一模型在不同temperature下采樣后篩選的結(jié)果。關(guān)鍵在于二者的質(zhì)量差距要真實(shí)可辨如果兩個(gè)回答只是措辭略有差異、實(shí)質(zhì)質(zhì)量接近DPO訓(xùn)練出的模型往往會(huì)原地踏步。2.2 損失函數(shù)與梯度背后的直覺(jué)DPO的損失函數(shù)寫(xiě)作[ L_{DPO}(\theta)-\mathbb{E}{(x,y_w,y_l)\sim D}\left[\log\sigma\left(\beta\log\frac{\pi\theta(y_w|x)}{\pi_{ref}(y_w|x)}-\beta\log\frac{\pi_\theta(y_l|x)}{\pi_{ref}(y_l|x)}\right)\right] ]如果你不熟悉數(shù)學(xué)符號(hào)可以這樣拆開(kāi)看。(\pi_\theta)是當(dāng)前正在訓(xùn)練的模型(\pi_{ref})是微調(diào)開(kāi)始前固定住的參考模型(y_w)是chosen回答(y_l)是rejected回答。對(duì)每個(gè)回答對(duì)我們分別計(jì)算當(dāng)前模型和參考模型在生成該回答時(shí)概率之比的對(duì)數(shù)然后拿chosen一側(cè)的數(shù)值減去rejected一側(cè)的數(shù)值。理想狀態(tài)下chosen一側(cè)的比值應(yīng)該越來(lái)越高rejected一側(cè)的比值應(yīng)該越來(lái)越低兩者差值越大說(shuō)明模型越能夠區(qū)分好壞回答。最后通過(guò)sigmoid和log函數(shù)把這個(gè)差值轉(zhuǎn)換成二分類損失。這個(gè)損失函數(shù)最巧妙的地方在于“自加權(quán)”。梯度的作用方向很明確提高chosen的生成概率降低rejected的生成概率。但權(quán)重不是均等的而是取決于模型當(dāng)前有多“違背”偏好如果模型已經(jīng)對(duì)chosen回答給了很高的概率說(shuō)明它在正確的路上更新步長(zhǎng)會(huì)變小如果模型對(duì)chosen回答的概率反而不如參考模型說(shuō)明它眼下把好回答學(xué)歪了更新步長(zhǎng)就會(huì)變大。這種自適應(yīng)特性讓DPO在訓(xùn)練后期不容易劇烈震蕩。2.3 為什么不需要強(qiáng)化學(xué)習(xí)也能實(shí)現(xiàn)偏好對(duì)齊DPO里隱式藏了一個(gè)獎(jiǎng)勵(lì)函數(shù)[ r(x,y)\beta\log\frac{\pi_\theta(y|x)}{\pi_{ref}(y|x)} ]簡(jiǎn)單說(shuō)一個(gè)回答的“隱含獎(jiǎng)勵(lì)”就是當(dāng)前模型相比參考模型對(duì)這個(gè)回答概率的提升程度。提升越多說(shuō)明當(dāng)前模型越認(rèn)為它是好回答。既然獎(jiǎng)勵(lì)可以用策略本身表達(dá)那策略優(yōu)化就變成了在這個(gè)隱式獎(jiǎng)勵(lì)下不斷調(diào)整策略參數(shù)的監(jiān)督學(xué)習(xí)。用生活類比來(lái)說(shuō)的話RLHF像你請(qǐng)了一位“判卷老師”獎(jiǎng)勵(lì)模型再讓學(xué)生反復(fù)考試強(qiáng)化每次考完根據(jù)判卷老師的評(píng)分調(diào)整學(xué)習(xí)方法。DPO則直接把往年的“標(biāo)準(zhǔn)答案”和“零分答卷”扔給學(xué)生告訴它同一道題這兩份答案差距在哪照著好的學(xué)。它不追求每一步動(dòng)作的獎(jiǎng)勵(lì)最大化只追求整體上不斷接近人類偏好分布。理解這一點(diǎn)很重要因?yàn)楹芏嗳藭?huì)把DPO單純當(dāng)成“二分類任務(wù)”。實(shí)際上它仍然在做策略優(yōu)化只是策略和獎(jiǎng)勵(lì)被綁定在了一起。這意味著訓(xùn)練時(shí)的每一步更新都會(huì)同時(shí)改變當(dāng)前策略對(duì)接下來(lái)生成結(jié)果的概率分布只是優(yōu)化的路徑被簡(jiǎn)化了。3. 實(shí)操全流程從數(shù)據(jù)準(zhǔn)備到訓(xùn)練完成3.1 數(shù)據(jù)集的構(gòu)建與清洗數(shù)據(jù)質(zhì)量幾乎決定了DPO的成敗。我第一次用開(kāi)源偏好數(shù)據(jù)集訓(xùn)練時(shí)直接拿了一個(gè)體量很大的混合數(shù)據(jù)集結(jié)果模型不僅沒(méi)變好反而學(xué)會(huì)了在回答里頻繁出現(xiàn)“抱歉我錯(cuò)了”之類的防御性措辭。后來(lái)排查發(fā)現(xiàn)數(shù)據(jù)集里大量rejected回答本身是正確但過(guò)于簡(jiǎn)短的回答chosen回答則普遍冗長(zhǎng)。模型學(xué)到的根本不是“質(zhì)量偏好”而是“回復(fù)越長(zhǎng)越好”。所以我現(xiàn)在的做法是先把原始數(shù)據(jù)按應(yīng)用場(chǎng)景分組然后在每組內(nèi)檢查chosen和rejected的質(zhì)量差異。最基本的清洗規(guī)則有三條。第一過(guò)濾掉chosen和rejected相同的樣本這類樣本沒(méi)有訓(xùn)練意義第二過(guò)濾掉prompt重復(fù)率過(guò)高的樣本防止單一指令在訓(xùn)練中被過(guò)度強(qiáng)化第三統(tǒng)一prompt的格式例如中文數(shù)據(jù)統(tǒng)一采用“指令\n輸入”這樣的模板避免模型把模板格式差異當(dāng)成偏好信號(hào)。數(shù)據(jù)量方面我的經(jīng)驗(yàn)是幾千到幾萬(wàn)對(duì)高質(zhì)量pair就能產(chǎn)生明顯效果。常見(jiàn)誤區(qū)是盲目追求大語(yǔ)料實(shí)際上DPO優(yōu)化的是偏好排布不是知識(shí)覆蓋。一個(gè)3萬(wàn)對(duì)的噪聲數(shù)據(jù)集很可能不如3000對(duì)經(jīng)過(guò)人工抽檢、質(zhì)量分層清晰的pair。每條樣本還要進(jìn)行長(zhǎng)度截?cái)?。?xùn)練時(shí)我一般把prompt最大長(zhǎng)度設(shè)為512個(gè)tokenprompt加回答的最大長(zhǎng)度設(shè)為1024個(gè)token。截?cái)嗖呗陨蟽?yōu)先保證prompt完整回答部分只截?cái)辔膊?。這樣做的原因是DPO需要評(píng)估模型在給定完整上下文后的整段生成偏好上下文缺失會(huì)讓chosen和rejected的對(duì)比失真。3.2 基座模型選擇與SFT前置條件DPO不是從零開(kāi)始教模型知識(shí)而是調(diào)整模型的偏好。所以基座模型必須先完成充分的SFT。如果基座本身連基本指令遵循都做不到DPO只會(huì)讓它在“錯(cuò)誤回答”和“更錯(cuò)誤回答”之間排序不會(huì)突然獲得新能力。一個(gè)常見(jiàn)的問(wèn)題是“能不能只做DPO、省掉SFT”。如果基座已經(jīng)在通用指令數(shù)據(jù)上做過(guò)SFT完全可以只做DPO來(lái)調(diào)整行為偏好如果基座是純預(yù)訓(xùn)練模型建議至少先用幾千條指令數(shù)據(jù)做一輪SFT否則DPO的訓(xùn)練信號(hào)太稀疏模型很難理解什么是“需要被偏好的回答”?；Ｐ鸵?guī)模上7B到14B這個(gè)量級(jí)最流行。配合LoRA做參數(shù)高效微調(diào)單張24G顯存就能跑得很舒服。如果你用的是更大的模型例如65B以上優(yōu)先考慮QLoRA量化加LoRA的組合否則光是參考模型和策略模型的顯存開(kāi)銷就會(huì)讓你頭疼。3.3 核心訓(xùn)練步驟與代碼配置下面給出一個(gè)基于開(kāi)源社區(qū)transformers、peft、trl庫(kù)的DPO訓(xùn)練示例。這個(gè)方案假設(shè)你已經(jīng)有了一組偏好數(shù)據(jù)格式為JSON每條記錄包含prompt、chosen和rejected三個(gè)字段。pip install transformers peft trl datasetsimport torch from transformers import AutoModelForCausalLM, AutoTokenizer from peft import LoraConfig, get_peft_model from trl import DPOTrainer, DPOConfig from datasets import load_dataset model_name your-sft-model-path dataset load_dataset(json, data_filespreference_data.json, splittrain) base_model AutoModelForCausalLM.from_pretrained(model_name, torch_dtypetorch.bfloat16) ref_model AutoModelForCausalLM.from_pretrained(model_name, torch_dtypetorch.bfloat16) tokenizer AutoTokenizer.from_pretrained(model_name) tokenizer.pad_token tokenizer.eos_token lora_config LoraConfig( r16, lora_alpha32, target_modules[q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj], lora_dropout0.05, biasnone, task_typeCAUSAL_LM, ) train_config DPOConfig( output_dir./dpo_output, per_device_train_batch_size4, gradient_accumulation_steps8, learning_rate5e-6, warmup_steps50, num_train_epochs2, logging_steps10, save_steps200, eval_strategysteps, eval_steps100, bf16True, max_length1024, max_prompt_length512, beta0.3, ) trainer DPOTrainer( modelbase_model, ref_modelref_model, argstrain_config, train_datasetdataset.select(range(9000)), eval_datasetdataset.select(range(9000, len(dataset))), tokenizertokenizer, peft_configlora_config, ) trainer.train()幾個(gè)參數(shù)的用意這里多說(shuō)一句。beta0.3是偏好強(qiáng)度的默認(rèn)起點(diǎn)對(duì)大多數(shù)中文指令對(duì)齊場(chǎng)景都適用learning_rate5e-6是我反復(fù)驗(yàn)證后覺(jué)得比較穩(wěn)的LoRA學(xué)習(xí)率太高容易讓模型忘記SFT階段的表達(dá)能力太低則訓(xùn)練基本不動(dòng)。num_train_epochs2看起來(lái)不多但DPO本質(zhì)上在重復(fù)學(xué)習(xí)偏好差異跑超過(guò)3輪很容易過(guò)擬合后面會(huì)詳細(xì)講。3.4 訓(xùn)練過(guò)程監(jiān)控與評(píng)估訓(xùn)練日志里重點(diǎn)看兩個(gè)指標(biāo)訓(xùn)練集loss和驗(yàn)證集上的chosen準(zhǔn)確率。chosen準(zhǔn)確率可以理解為模型對(duì)chosen回答的隱含獎(jiǎng)勵(lì)高于rejected回答的比例。剛開(kāi)始訓(xùn)練時(shí)它一般在55%到70%之間隨訓(xùn)練推進(jìn)逐步提升到80%以上比較理想。除此之外我自己習(xí)慣在訓(xùn)練過(guò)程中定期記錄“chosen平均獎(jiǎng)勵(lì)減去rejected平均獎(jiǎng)勵(lì)”的margin值。這個(gè)值比loss更直觀它反映了模型對(duì)兩類回答的分辨能力。如果loss還在下降但margin已經(jīng)開(kāi)始波動(dòng)或下降說(shuō)明模型可能在死記訓(xùn)練集中的個(gè)別模式而不是學(xué)到通用的偏好規(guī)則。評(píng)估階段不要只盯數(shù)值。每次保存checkpoint后拿出20到30條訓(xùn)練時(shí)沒(méi)見(jiàn)過(guò)的提示詞跑一遍生成把基座模型和DPO后的模型輸出放在一起對(duì)比。我推薦用盲評(píng)方式把兩個(gè)輸出打亂順序找同事或合作方標(biāo)注哪邊更符合目標(biāo)偏好。自動(dòng)指標(biāo)在這類主觀質(zhì)量評(píng)估上基本不可靠。4. 關(guān)鍵參數(shù)設(shè)置與調(diào)參經(jīng)驗(yàn)4.1 beta值的選取beta是DPO獨(dú)有的核心超參控制優(yōu)化強(qiáng)度。它站在損失函數(shù)中chosen和rejected的比值差前面直接放大或縮小每一步更新的壓力。beta越大策略偏離參考模型越困難訓(xùn)練更保守beta越小允許模型更快地改變生成分布但更容易受到數(shù)據(jù)噪聲影響。常見(jiàn)的有效區(qū)間是0.1到0.5。如果偏好數(shù)據(jù)質(zhì)量高且差異明顯用0.3左右就能得到不錯(cuò)的結(jié)果如果數(shù)據(jù)噪聲較大建議把beta調(diào)到0.4以上防止模型過(guò)度學(xué)習(xí)錯(cuò)誤樣本。反過(guò)來(lái)如果訓(xùn)練很久之后模型輸出幾乎沒(méi)有變化可以適當(dāng)降低beta到0.15試試給策略更多移動(dòng)空間。判斷beta是否需要調(diào)整最直接的經(jīng)驗(yàn)是觀察驗(yàn)證集margin的變化速度。正常情況下margin會(huì)穩(wěn)步上升如果margin上漲過(guò)快同時(shí)驗(yàn)證集生成質(zhì)量崩塌說(shuō)明beta太小如果margin始終低位徘徊說(shuō)明beta太大或?qū)W習(xí)率太低模型動(dòng)彈不得。4.2 學(xué)習(xí)率與有效batch sizeDPO在優(yōu)化行為偏好時(shí)非常敏感。LoRA插入的低秩矩陣本身參數(shù)量有限更新步幅過(guò)大會(huì)直接污染原本學(xué)好的表征。我在7B模型上測(cè)試5e-6到1e-5是安全區(qū)間14B模型上建議從2e-6起步。學(xué)習(xí)率調(diào)度器方面簡(jiǎn)單的warmup加線性衰減就夠用warmup步數(shù)50到100比較合適。有效batch size等于單卡batch size乘以梯度累積步數(shù)再乘以卡數(shù)。DPO訓(xùn)練時(shí)偏好信號(hào)方差大batch size太小會(huì)讓曲線劇烈抖動(dòng)。我建議有效batch size至少16到32。顯存不足時(shí)優(yōu)先減小單卡batch size、增加梯度累積而不是動(dòng)模型并行配置。注意梯度累積步數(shù)不要超過(guò)16否則參數(shù)更新頻率過(guò)低訓(xùn)練效率明顯下降。另一個(gè)與batch size相關(guān)的問(wèn)題是padding策略。DPOTrainer默認(rèn)會(huì)按batch內(nèi)最大長(zhǎng)度padding如果序列長(zhǎng)度差異懸殊實(shí)際有效計(jì)算量會(huì)大幅波動(dòng)。除了截?cái)鄊ax_length可以考慮在數(shù)據(jù)預(yù)處理階段按長(zhǎng)度分桶讓每個(gè)batch內(nèi)的樣本長(zhǎng)度盡量接近。這個(gè)細(xì)節(jié)能明顯提升訓(xùn)練效率。4.3 LoRA配置的選擇LoRA的rank決定可訓(xùn)練參數(shù)量和表達(dá)容量。rank太小模型沒(méi)有足夠自由度去重新組織偏好rank過(guò)大又容易記住過(guò)多偏好噪聲。對(duì)7B到14B模型r16、alpha32是我最常用的組合兼顧穩(wěn)定性和效果。如果你想要更激進(jìn)的行為改變可以把r加到32但必須配合更小的學(xué)習(xí)率和更短的訓(xùn)練步數(shù)。target_modules的選擇同樣關(guān)鍵。很多人只加attention層的q/k/v/o投影這在大多數(shù)對(duì)話偏好任務(wù)里足夠了。如果目標(biāo)是改變長(zhǎng)文本結(jié)構(gòu)偏好例如讓模型學(xué)會(huì)更規(guī)范的Markdown格式我會(huì)把gate_proj、up_proj、down_proj也加入LoRA范圍。讓更多線性層參與訓(xùn)練等于給了模型更多調(diào)整輸出風(fēng)格的空間。4.4 訓(xùn)練步數(shù)與早停策略DPO最容易出現(xiàn)的問(wèn)題就是過(guò)擬合。訓(xùn)練到后期模型會(huì)極其擅長(zhǎng)區(qū)分訓(xùn)練集里的chosen和rejected但生成時(shí)開(kāi)始出現(xiàn)重復(fù)套話、過(guò)度生硬等副作用。原因是模型不是在學(xué)偏好而是在背題。我堅(jiān)持每200步保存一次checkpoint用驗(yàn)證集評(píng)估每一份checkpoint。早停的依據(jù)有三個(gè)驗(yàn)證集loss開(kāi)始回升margin增速明顯放緩或下降人工抽檢樣例出現(xiàn)風(fēng)格退化。三者中只要出現(xiàn)兩個(gè)就果斷停止訓(xùn)練回滾到上一個(gè)表現(xiàn)最好的checkpoint。實(shí)踐中多數(shù)模型在400到1500步之間就能達(dá)到較好效果不要因?yàn)閘oss還在下降就一直跑下去。5. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄5.1 訓(xùn)練loss紋絲不動(dòng)如果你跑了幾百步訓(xùn)練loss幾乎不下降先從數(shù)據(jù)入手排查。用一段腳本統(tǒng)計(jì)每條樣本中chosen和rejected文本的編輯距離或token級(jí)別重合度。經(jīng)常出現(xiàn)兩個(gè)回答只是同一句話的細(xì)微改寫(xiě)DPO根本無(wú)法從概率分布上區(qū)分它們梯度信號(hào)自然接近零。其次檢查學(xué)習(xí)率和beta是否太低。把beta從0.3調(diào)低到0.1學(xué)習(xí)率從5e-6調(diào)到1e-5觀察loss是否開(kāi)始變化。如果仍然不動(dòng)最可能是參考模型、策略模型初始化權(quán)重不一致比如參考模型用了SFT后的最終權(quán)重而策略模型中途做過(guò)額外的preference訓(xùn)練。兩者概率分布差異過(guò)大會(huì)讓KL比值項(xiàng)在初始階段陷入鈍化區(qū)間。5.2 模型輸出明顯變差輸出質(zhì)量下降通常不是模型學(xué)壞了而是偏好數(shù)據(jù)分布和實(shí)際使用場(chǎng)景錯(cuò)配。一個(gè)典型例子是訓(xùn)練數(shù)據(jù)里rejected文本普遍較長(zhǎng)chosen文本簡(jiǎn)短直接模型被訓(xùn)練成“重短輕長(zhǎng)”在需要詳細(xì)解釋的場(chǎng)景下就開(kāi)始過(guò)度省略。遇到這種情況不要立刻懷疑DPO這個(gè)算法。先拿訓(xùn)練數(shù)據(jù)里的chosen文本和模型實(shí)際輸出做個(gè)分布對(duì)比長(zhǎng)度、標(biāo)點(diǎn)風(fēng)格、段落結(jié)構(gòu)。如果偏差主要來(lái)自數(shù)據(jù)選擇重新清洗數(shù)據(jù)、控制chosen和rejected的長(zhǎng)度比例是最直接的解法。如果模型確實(shí)丟掉了部分原本會(huì)的能力比如數(shù)學(xué)推理、代碼生成考慮降低beta或在后續(xù)訓(xùn)練中混入少量純SFT數(shù)據(jù)用普通監(jiān)督信號(hào)“復(fù)習(xí)”基礎(chǔ)能力。5.3 顯存不足顯存不足是LoRA訓(xùn)練中最常見(jiàn)的抱怨。DPO還需要常駐參考模型顯存開(kāi)銷幾乎是SFT微調(diào)的兩倍。三個(gè)改進(jìn)方向按投入產(chǎn)出比排序啟用梯度檢查點(diǎn)激活gradient_checkpointing_enabled把單卡batch size降到1用梯度累積補(bǔ)足有效batch size把基座模型換成4bit量化版。QLoRA加上DPO的組合在單卡24G上也能跑14B模型速度慢一些但穩(wěn)定。另一個(gè)容易忽視的點(diǎn)是max_length設(shè)置。很多人把max_length設(shè)成2048甚至4096實(shí)際上大多數(shù)偏好差異集中在后半個(gè)回答的語(yǔ)義中前段上下文長(zhǎng)度并不需要很大。把max_prompt_length限制在512到768之間能顯著降低計(jì)算壓力。5.4 參考模型和策略模型的一致性DPO的損失函數(shù)必須同時(shí)用到策略模型和參考模型在同一狀態(tài)下的概率比。如果參考模型加載的權(quán)重和策略模型初始權(quán)重不一致訓(xùn)練一開(kāi)始的KL項(xiàng)就會(huì)異常模型要么動(dòng)彈不得要么瘋狂輸出無(wú)意義內(nèi)容。我在實(shí)踐中養(yǎng)成了一個(gè)習(xí)慣從同一個(gè)模型目錄分別加載兩份模型實(shí)例初始化完成后先做一次前向驗(yàn)證對(duì)比固定輸入下的輸出概率。如果兩邊結(jié)果完全一致再開(kāi)始DPO訓(xùn)練。中途不要更換基座模型路徑也不要讓ref_model參與任何參數(shù)更新。5.5 評(píng)估效果困難偏好類任務(wù)很難用單個(gè)自動(dòng)指標(biāo)衡量。ROUGE、BLEU在生成式對(duì)話上和大模型輸出質(zhì)量的相關(guān)性極低別指望它們告訴你DPO有沒(méi)有生效。我的評(píng)估方案分三層第一層驗(yàn)證集上的chosen準(zhǔn)確率是否達(dá)到80%以上第二層20條領(lǐng)域內(nèi)提示詞的人工盲評(píng)看chosen率是否超過(guò)50%第三層對(duì)偏負(fù)面、偏風(fēng)險(xiǎn)的邊緣case做專項(xiàng)檢查。只有三層都通過(guò)才能判斷一次DPO訓(xùn)練真正有效。癥狀常見(jiàn)原因排查方向loss不下降偏好對(duì)差異太小 / beta太低檢查pair文本差異調(diào)低beta輸出變差數(shù)據(jù)分布與場(chǎng)景錯(cuò)配分析chosen長(zhǎng)度與風(fēng)格分布顯存OOM參考模型常駐顯存梯度檢查點(diǎn)、4bit量化訓(xùn)練后能力丟失LoRA rank過(guò)高 / beta過(guò)低降低rank、適度調(diào)高beta參考模型報(bào)錯(cuò)權(quán)重不一致同一目錄加載并前向驗(yàn)證最后再分享一個(gè)我個(gè)人的體會(huì)。DPO相比RLHF最大的價(jià)值不是算法本身的理論精巧而是它把偏好對(duì)齊變成了一個(gè)可迭代、可理解、可快速驗(yàn)證的流程。每次訓(xùn)練前用幾百條樣本跑一個(gè)小規(guī)模試訓(xùn)練確認(rèn)loss形態(tài)和chosen準(zhǔn)確率走勢(shì)正常再上全量數(shù)據(jù)這個(gè)習(xí)慣能幫你避開(kāi)大量后期返工。我在多個(gè)項(xiàng)目里發(fā)現(xiàn)把重點(diǎn)放在數(shù)據(jù)清洗和早停控制上訓(xùn)練本身反而很少需要大改。如果你剛接觸DPO不必糾結(jié)于復(fù)現(xiàn)論文里的每一項(xiàng)細(xì)節(jié)先搭起一條最簡(jiǎn)流程讓模型跑一輪完整訓(xùn)練再回頭對(duì)照這篇文章調(diào)整參數(shù)你會(huì)比我當(dāng)初踩坑時(shí)順利得多。