2026年,三個(gè)實(shí)驗(yàn)室的AI模型被同時(shí)要求做一件事:用希臘語(yǔ)進(jìn)行推理。不是用希臘語(yǔ)回答問(wèn)題這個(gè)早就有模型能做到。而是用希臘語(yǔ)思考問(wèn)題,把整個(gè)思考過(guò)程用希臘語(yǔ)寫出來(lái),讓使用者能看懂、能審查、能糾錯(cuò)。結(jié)果發(fā)現(xiàn),在這之前,沒(méi)有一個(gè)模型真正做到過(guò)這件事。這篇論文出自一家叫Sophea AI的公司,他們選了三個(gè)各自代表不同技術(shù)路線的開(kāi)源模型,阿里巴巴的Qwen、OpenAI的Gpt-OSS、英偉達(dá)的NemotronH,給它們做了同樣的希臘語(yǔ)推理微調(diào)。原本的研究計(jì)劃很簡(jiǎn)單:訓(xùn)練,測(cè)試準(zhǔn)確率,發(fā)論文。但真正有意思的部分,是他們撞上的一連串意外。一開(kāi)始,團(tuán)隊(duì)像所有人一樣,盯著準(zhǔn)確率這個(gè)數(shù)字看。訓(xùn)練前后對(duì)比,分?jǐn)?shù)幾乎沒(méi)變。這在做模型微調(diào)的人眼里幾乎是災(zāi)難性的結(jié)果,意味著幾個(gè)月的工作可能白費(fèi)了。于是他們做了一件幾乎所有論文都不會(huì)做的事:換個(gè)隨機(jī)種子,把訓(xùn)練重新跑一遍,其他什么都不變。結(jié)果分?jǐn)?shù)上下浮動(dòng)了7.7個(gè)百分點(diǎn)。這個(gè)數(shù)字比他們之前測(cè)試過(guò)的所有數(shù)據(jù)處理方法、所有訓(xùn)練配方調(diào)整帶來(lái)的效果差異都要大。換句話說(shuō),過(guò)去幾周他們辛辛苦苦調(diào)整語(yǔ)料庫(kù)、換訓(xùn)練方案,以為自己在改進(jìn)模型,實(shí)際上很可能只是在隨機(jī)噪聲里打轉(zhuǎn)。隨機(jī)種子*隨機(jī)種子*決定模型初始參數(shù)和訓(xùn)練數(shù)據(jù)順序的一個(gè)數(shù)字,理論上不應(yīng)該影響最終效果的方向性,只應(yīng)該帶來(lái)微小抖動(dòng)。這就像你想知道兩杯咖啡哪杯更濃,但你從來(lái)沒(méi)測(cè)過(guò)同一臺(tái)咖啡機(jī)連續(xù)煮兩杯的濃度差異有多大。如果連續(xù)煮出來(lái)的兩杯咖啡濃度本身就能差出一大截,那你拿換了新豆子和沒(méi)換豆子的兩杯做對(duì)比,得出的結(jié)論可能完全是噪聲在說(shuō)話,不是豆子的功勞。團(tuán)隊(duì)之前一直在比較用了新語(yǔ)料和沒(méi)用新語(yǔ)料這兩杯咖啡的濃淡,卻從沒(méi)測(cè)過(guò)咖啡機(jī)本身的抖動(dòng)有多大。如果不做這個(gè)種子對(duì)照實(shí)驗(yàn),論文里原本準(zhǔn)備寫的五六個(gè)重要發(fā)現(xiàn),可能沒(méi)有一個(gè)是真的。這次意外的發(fā)現(xiàn),把整篇論文的方向徹底改寫了。團(tuán)隊(duì)開(kāi)始意識(shí)到,準(zhǔn)確率這個(gè)單一數(shù)字,對(duì)一個(gè)小語(yǔ)種推理模型來(lái)說(shuō),可能壓根不是正確的度量方式。他們轉(zhuǎn)而去看那些準(zhǔn)確率這個(gè)數(shù)字根本捕捉不到的東西:模型到底用什么語(yǔ)言在思考,它花了多少計(jì)算資源,它能不能分辨題目的難易程度,它又在哪些地方悄悄退化了。零,一個(gè)驚人的數(shù)字在深入這些新維度之前,有一個(gè)數(shù)字值得單獨(dú)拎出來(lái)說(shuō)。研究團(tuán)隊(duì)測(cè)試了三個(gè)模型的基礎(chǔ)版本,也就是沒(méi)有經(jīng)過(guò)任何希臘語(yǔ)推理微調(diào)的原版模型,給它們1000道希臘語(yǔ)題目,讓它們開(kāi)啟思考模式作答。統(tǒng)計(jì)結(jié)果顯示,這些基礎(chǔ)模型在用希臘語(yǔ)思考的比例是:零。一千次嘗試,零次成功。哪怕問(wèn)題本身是希臘語(yǔ)寫的,模型的內(nèi)部推理過(guò)程也幾乎從來(lái)不會(huì)切換到希臘語(yǔ),而是習(xí)慣性地用英語(yǔ)打草稿,讀起來(lái)像是我們需要用希臘語(yǔ)回答一個(gè)選擇題……這樣的中英混雜開(kāi)場(chǎng),然后再把最終答案翻譯成希臘語(yǔ)呈現(xiàn)給用戶。這意味著什么?意味著一個(gè)希臘用戶提問(wèn),模型內(nèi)心其實(shí)在用英語(yǔ)盤算,用戶看到的希臘語(yǔ)答案,只是英語(yǔ)思考過(guò)程的翻譯產(chǎn)物。如果這個(gè)思考過(guò)程出了錯(cuò),用戶根本沒(méi)辦法讀懂中間發(fā)生了什么,更別提去糾正它。這就好比你請(qǐng)了一位翻譯幫你處理合同談判,對(duì)方開(kāi)出的條件,翻譯先在自己腦子里用他的母語(yǔ)盤算了一整套利弊,只把最后的結(jié)論翻譯給你聽(tīng)。你以為你在直接參與談判,其實(shí)你連談判過(guò)程的一半都看不到。如果不讓翻譯的思考過(guò)程本身也變得透明,你永遠(yuǎn)無(wú)法判斷這個(gè)結(jié)論是怎么來(lái)的,更沒(méi)法在談判過(guò)程中及時(shí)插話糾正方向。這個(gè)零就是整篇論文真正想解決的問(wèn)題:如何讓模型的思考過(guò)程,而不僅僅是最終答案,變得對(duì)希臘語(yǔ)用戶可讀、可審、可控。監(jiān)督微調(diào)做到了什么*監(jiān)督微調(diào)*SFT給模型展示大量問(wèn)題-推理過(guò)程-答案的樣本,讓模型模仿著學(xué)會(huì)類似的推理方式,是目前訓(xùn)練AI模型最常用的方法之一。團(tuán)隊(duì)構(gòu)建了一個(gè)包含約11.8萬(wàn)行希臘語(yǔ)數(shù)據(jù)的訓(xùn)練語(yǔ)料庫(kù),一半帶有完整的推理過(guò)程記錄,另一半是普通的問(wèn)答對(duì)話數(shù)據(jù)。有意思的是,這些推理過(guò)程本身也是精心設(shè)計(jì)出來(lái)的,不是簡(jiǎn)單翻譯英文數(shù)據(jù)集的內(nèi)容。團(tuán)隊(duì)發(fā)現(xiàn),直接把英文的推理鏈條翻譯成希臘語(yǔ),會(huì)得到一種整潔的總結(jié),而不是真正展現(xiàn)思考軌跡的文字。所以他們改用另一種做法:讓一個(gè)大模型重新用希臘語(yǔ)從頭解答每一道題,只保留那些最終答案和標(biāo)準(zhǔn)答案一致的推理過(guò)程,答案不對(duì)的直接丟棄,絕不修補(bǔ)。這里有個(gè)細(xì)節(jié)值得展開(kāi)講講。團(tuán)隊(duì)設(shè)計(jì)了一套打分標(biāo)準(zhǔn)來(lái)衡量什么樣的推理文字才算好,核心看的不是對(duì)錯(cuò),而是文字里有沒(méi)有真實(shí)思考的痕跡,比如嘗試了一種解法后發(fā)現(xiàn)不對(duì)、進(jìn)行了自我驗(yàn)證、中途改變了方向。他們測(cè)試了一個(gè)公開(kāi)的希臘語(yǔ)常識(shí)推理數(shù)據(jù)集,發(fā)現(xiàn)里面人工寫的解釋文字得分只有0.27分,幾乎沒(méi)有一條超過(guò)及格線;而用他們的方法重新生成的推理文字,得分跳到0.68分,97%都超過(guò)了及格線。這就像批改學(xué)生的解題過(guò)程,一份作業(yè)寫著答案是C,因?yàn)槠渌x項(xiàng)都不對(duì),另一份寫著我先試了A,算出來(lái)不符合條件,又試了B,發(fā)現(xiàn)漏掉了一個(gè)前提,最后確認(rèn)是C。兩份作業(yè)的最終答案可能一模一樣,但后一份才真正展示了這個(gè)人是怎么想問(wèn)題的。如果只滿足于第一種寫法,你訓(xùn)練出來(lái)的模型學(xué)會(huì)的只是報(bào)答案的套路,而不是真正的推理習(xí)慣。微調(diào)之后,效果如何呢?論文給出的數(shù)字相當(dāng)亮眼:四個(gè)正式發(fā)布的模型,推理過(guò)程用希臘語(yǔ)的比例從零跳到了97.4%到98.1%之間。語(yǔ)法評(píng)審也全面向好,四個(gè)模型的語(yǔ)法正確性都有提升,而且提升幅度最大的恰恰是原本表現(xiàn)最弱的那些模型。整體能力方面,和各自的基礎(chǔ)模型相比,差距都在幾個(gè)百分點(diǎn)以內(nèi),說(shuō)明微調(diào)沒(méi)有讓模型變笨,只是讓它換了個(gè)語(yǔ)言習(xí)慣思考。推理預(yù)算:省下來(lái)的錢去哪了除了語(yǔ)言切換,團(tuán)隊(duì)還測(cè)量了另一個(gè)維度:模型思考時(shí)到底花了多少字。在準(zhǔn)確率完全相同的情況下,基礎(chǔ)模型平均每道題要寫1010個(gè)詞的推理過(guò)程,而微調(diào)后的模型只需要150個(gè)詞。這看起來(lái)是個(gè)巨大的進(jìn)步,畢竟推理越簡(jiǎn)潔,理論上服務(wù)器成本越低。但這里藏著一個(gè)陷阱,團(tuán)隊(duì)管它叫分詞膨脹問(wèn)題。*分詞*tokenizer fertilityAI模型不是按字計(jì)費(fèi)的,而是按內(nèi)部切分出的token數(shù)量計(jì)費(fèi),不同語(yǔ)言切分出的token數(shù)量差異很大。希臘語(yǔ)每個(gè)詞平均要消耗2.3到2.5倍于英語(yǔ)的token數(shù)量。這意味著,如果你只看詞數(shù)減少了多少,可能會(huì)得出一個(gè)錯(cuò)誤的省錢結(jié)論,因?yàn)橄ＥD語(yǔ)本身的token成本就更高。團(tuán)隊(duì)用每個(gè)模型自己的分詞器重新計(jì)算了token成本,結(jié)果發(fā)現(xiàn)三個(gè)模型家族的表現(xiàn)截然不同:阿里的Qwen模型確實(shí)省錢了,微調(diào)后的token消耗只有基礎(chǔ)模型的三分之一;英偉達(dá)的NemotronH打了個(gè)平手,基本沒(méi)有變化;而OpenAI的Gpt-OSS反而更貴了,微調(diào)后的token消耗是原來(lái)的1.6倍。這就好比三家外賣平臺(tái)都宣稱配送時(shí)間縮短了,但你發(fā)現(xiàn)其中一家統(tǒng)計(jì)的是騎手實(shí)際騎車時(shí)間,另一家統(tǒng)計(jì)的是從下單到送達(dá)的總時(shí)間,第三家干脆換了個(gè)更堵車的路線來(lái)省油錢。如果你不把計(jì)費(fèi)單位統(tǒng)一,光看縮短了這個(gè)說(shuō)法,根本判斷不出誰(shuí)是真的省了成本。這也是為什么團(tuán)隊(duì)堅(jiān)持用詞數(shù)作為跨語(yǔ)言公平比較的單位,同時(shí)額外補(bǔ)充token數(shù)據(jù),讓讀者自己看清楚哪個(gè)層面的省錢是真的省錢。模型能分辨難易嗎這一部分的發(fā)現(xiàn),可能是整篇論文里最能體現(xiàn)微調(diào)價(jià)值的地方。團(tuán)隊(duì)設(shè)計(jì)了一個(gè)指標(biāo),專門衡量模型是不是對(duì)著簡(jiǎn)單題目也使勁刷時(shí)間。他們統(tǒng)計(jì)每道題在所有測(cè)試模型上的平均推理長(zhǎng)度,如果某個(gè)模型在一道至少80%的模型都能答對(duì)的簡(jiǎn)單題目上,推理長(zhǎng)度卻達(dá)到了平均值的三倍以上,就判定為超支。結(jié)果顯示,基礎(chǔ)模型在98%的簡(jiǎn)單題目上都出現(xiàn)了這種超支現(xiàn)象,而且更讓人意外的是,它在簡(jiǎn)單題目和困難題目上的超支比例幾乎一模一樣,都在98%左右。這說(shuō)明什么?說(shuō)明基礎(chǔ)模型壓根不知道一道題是簡(jiǎn)單還是困難,它對(duì)每道題都用同樣多的力氣去想,無(wú)論這道題是不是三下五除二就能解決的。而微調(diào)后的模型,超支比例直接降到了0.2%到12%之間,并且在困難題目上花的時(shí)間明顯比簡(jiǎn)單題目多。這就像一個(gè)剛?cè)肼毜男聠T工,不管任務(wù)是回復(fù)一封簡(jiǎn)單郵件還是撰寫一份復(fù)雜報(bào)告,都要反復(fù)檢查修改二十遍,因?yàn)樗植磺迥膫€(gè)任務(wù)值得認(rèn)真對(duì)待、哪個(gè)任務(wù)簡(jiǎn)單處理就行;而一個(gè)有經(jīng)驗(yàn)的老員工,簡(jiǎn)單郵件幾分鐘處理完,復(fù)雜報(bào)告才會(huì)花心思反復(fù)打磨。如果一個(gè)AI系統(tǒng)不具備判斷任務(wù)難度的能力,即使它最終答案是對(duì)的,它消耗的算力成本也會(huì)高得不成比例,尤其是在需要大規(guī)模部署、每天處理成千上萬(wàn)個(gè)請(qǐng)求的場(chǎng)景下,這種一視同仁式的低效會(huì)被無(wú)限放大。被誤判的遺忘微調(diào)一個(gè)模型,人們最擔(dān)心的就是學(xué)了新的,忘了舊的,這在機(jī)器學(xué)習(xí)里叫災(zāi)難性遺忘。論文里有一段特別值得說(shuō)的插曲。團(tuán)隊(duì)最初發(fā)現(xiàn),微調(diào)后的模型在常識(shí)推理測(cè)試上,普遍出現(xiàn)了3個(gè)百分點(diǎn)左右的下滑,而且是十二個(gè)不同訓(xùn)練版本全部出現(xiàn)同樣的下滑趨勢(shì)。這看起來(lái)就是教科書(shū)級(jí)別的學(xué)了希臘語(yǔ),忘了常識(shí)的證據(jù)。但當(dāng)團(tuán)隊(duì)換了一種提問(wèn)方式重新測(cè)試,要求模型只回答一個(gè)選項(xiàng)字母,而不是寫一大段解釋,這個(gè)下滑現(xiàn)象直接反轉(zhuǎn)成了1.7個(gè)百分點(diǎn)的提升。真相是什么?真相是模型的常識(shí)判斷能力從來(lái)沒(méi)有丟失,只是當(dāng)它被要求寫長(zhǎng)篇大論的推理過(guò)程時(shí),某種格式上的習(xí)慣變化讓它在最后給出答案時(shí)絆了一下。這不是能力問(wèn)題,是表達(dá)方式的問(wèn)題。這就像一個(gè)老師傅做菜手藝沒(méi)退步,但你要求他一邊炒菜一邊用蹩腳的英語(yǔ)解說(shuō)每一步操作,他解說(shuō)時(shí)磕磕巴巴,你可能會(huì)誤以為他廚藝變差了。讓他用熟悉的方式操作、只在最后報(bào)菜名,他立刻恢復(fù)水平。如果只看一邊解說(shuō)一邊炒菜這個(gè)特定場(chǎng)景下的表現(xiàn),就下結(jié)論說(shuō)他廚藝退步了,那就冤枉他了。團(tuán)隊(duì)還專門找了語(yǔ)言評(píng)審來(lái)打分,考察模型在語(yǔ)域控制該用正式語(yǔ)氣還是隨意語(yǔ)氣和語(yǔ)法準(zhǔn)確性上的表現(xiàn)。結(jié)果是語(yǔ)域控制在所有模型上都沒(méi)有丟失甚至原本表現(xiàn)最弱的兩個(gè)模型還有提升語(yǔ)法正確性更是全面進(jìn)步進(jìn)步最明顯的恰恰是原本語(yǔ)法最差的模型。六次儀器說(shuō)謊的經(jīng)歷這篇論文最讓人印象深刻的地方,可能不是它證明了什么,而是它誠(chéng)實(shí)地記錄了自己被誤導(dǎo)過(guò)多少次。團(tuán)隊(duì)總共遇到了六次自己搭建的測(cè)量工具出了問(wèn)題的經(jīng)歷,每一次都曾讓他們相信了一個(gè)后來(lái)被推翻的結(jié)論。第一次,他們的評(píng)分程序沒(méi)有專門去找模型要求寫的那句答案是某某的固定格式,而是掃描整個(gè)回答文本,讓最后一次提到的選項(xiàng)獲勝。這導(dǎo)致一個(gè)話癆型模型,哪怕正確說(shuō)出了答案,又花大段篇幅解釋為什么其他選項(xiàng)不對(duì),最后被這套評(píng)分邏輯誤判成了錯(cuò)誤答案。這個(gè)漏洞在某次測(cè)試?yán)镏圃斐?9.8個(gè)百分點(diǎn)的虛假優(yōu)勢(shì),相當(dāng)于18倍標(biāo)準(zhǔn)差,一個(gè)統(tǒng)計(jì)學(xué)上幾乎不可能出現(xiàn)的極端偏差。第二次就是前面提到的常識(shí)推理假性遺忘事件。第三次更微妙:團(tuán)隊(duì)發(fā)現(xiàn)他們的邏輯推理測(cè)試題庫(kù)里,有38.9%的題目和訓(xùn)練數(shù)據(jù)來(lái)自同一個(gè)題庫(kù),屬于事實(shí)上的考試泄題,盡管表面看起來(lái)是兩個(gè)獨(dú)立的數(shù)據(jù)集。這種污染肉眼幾乎看不出來(lái),常規(guī)的文本重復(fù)檢測(cè)方法也沒(méi)能第一時(shí)間發(fā)現(xiàn),是團(tuán)隊(duì)后來(lái)專門核查才揪出來(lái)的。第四次,團(tuán)隊(duì)用機(jī)器翻譯的方式把一個(gè)英文數(shù)學(xué)測(cè)試集擴(kuò)充成希臘語(yǔ)版本,卻沒(méi)意識(shí)到用來(lái)做翻譯的AI模型,和用來(lái)生成訓(xùn)練數(shù)據(jù)的AI模型是同一個(gè)家族。結(jié)果微調(diào)后的模型對(duì)這種翻譯腔調(diào)格外適應(yīng),在機(jī)器翻譯的題目上得分虛高,而在人工翻譯的對(duì)照組題目上,基礎(chǔ)模型反而領(lǐng)先。這暴露了一個(gè)容易被忽略的坑:如果你用AI翻譯搭建測(cè)試基準(zhǔn),又用同一個(gè)AI家族生成訓(xùn)練數(shù)據(jù),你的微調(diào)模型會(huì)因?yàn)樽x懂了同一種翻譯腔而作弊得分,而這種作弊,常規(guī)的數(shù)據(jù)污染檢測(cè)完全查不出來(lái),因?yàn)轭}目本身確實(shí)是全新的,只是口音被模型摸透了。第五次是個(gè)技術(shù)細(xì)節(jié)但影響深遠(yuǎn)的錯(cuò)誤:希臘語(yǔ)和多數(shù)歐洲語(yǔ)言一樣,用句點(diǎn)分隔千位,用逗號(hào)表示小數(shù)點(diǎn),這和英語(yǔ)的書(shū)寫習(xí)慣正好相反。團(tuán)隊(duì)的答案提取程序按照英語(yǔ)習(xí)慣處理數(shù)字,導(dǎo)致模型正確地用希臘語(yǔ)格式寫出17.500十七點(diǎn)五千這樣的答案時(shí),被誤判為17.2這樣的錯(cuò)誤數(shù)值。這個(gè)錯(cuò)誤發(fā)現(xiàn)得晚,但影響范圍小,只影響了個(gè)別測(cè)試題,沒(méi)有改變論文的最終結(jié)論,但它揭示的問(wèn)題很有普遍意義:給非英語(yǔ)語(yǔ)言設(shè)計(jì)的測(cè)試工具,必須專門檢驗(yàn)它在目標(biāo)語(yǔ)言自己的數(shù)字書(shū)寫習(xí)慣下能不能正常工作,不然它會(huì)把流利的目標(biāo)語(yǔ)言表達(dá),誤判成錯(cuò)誤。第六次是在做強(qiáng)化學(xué)習(xí)實(shí)驗(yàn)時(shí),團(tuán)隊(duì)發(fā)現(xiàn)某個(gè)默認(rèn)設(shè)置悄悄地把要求模型深度思考的模式關(guān)掉了,導(dǎo)致他們花了四個(gè)GPU、整整四小時(shí)跑出來(lái)的結(jié)果,其實(shí)測(cè)的根本不是他們以為的那個(gè)模式,而是另一套設(shè)置下的數(shù)據(jù),文件名卻寫著原本預(yù)期的模式名稱。整個(gè)過(guò)程沒(méi)有報(bào)錯(cuò)、沒(méi)有警告,數(shù)字看起來(lái)完全合理,卻是錯(cuò)的。這六次經(jīng)歷共同指向一個(gè)道理:一個(gè)自動(dòng)化的測(cè)量工具,完全有可能對(duì)整門語(yǔ)言都產(chǎn)生系統(tǒng)性偏差,卻在所有的英語(yǔ)測(cè)試?yán)锉憩F(xiàn)得完美無(wú)缺,不會(huì)露出任何破綻。這也是為什么團(tuán)隊(duì)反復(fù)強(qiáng)調(diào),每一個(gè)行為指標(biāo)都需要一個(gè)對(duì)照組來(lái)驗(yàn)證,而不是簡(jiǎn)單的歸一化處理就能解決問(wèn)題。三種訓(xùn)練配方的較量論文里還有一段獨(dú)立的對(duì)比實(shí)驗(yàn),雖然團(tuán)隊(duì)自己也說(shuō)這不是論文的主線,但很值得單獨(dú)講講,因?yàn)樗忉屃肆硪粋€(gè)重要的失敗模式。訓(xùn)練語(yǔ)料庫(kù)分成兩半,一半帶推理過(guò)程,一半是普通問(wèn)答對(duì)話。團(tuán)隊(duì)試了三種組合方式。第一種,把兩半數(shù)據(jù)混在一起,一次性訓(xùn)練。結(jié)果模型學(xué)會(huì)了不管三七二十一先給答案,哪怕明確要求它進(jìn)行深度思考,它也有23.6%的概率直接跳過(guò)推理過(guò)程,交一份空白的思考記錄。第二種,先用推理數(shù)據(jù)訓(xùn)練,再接著用混合數(shù)據(jù)繼續(xù)訓(xùn)練。這修復(fù)了跳過(guò)思考的問(wèn)題,空白思考記錄的比例降到了1.3%以下,但帶來(lái)了新麻煩:模型開(kāi)始經(jīng)常不按要求的格式給出最終答案,這個(gè)格式失敗率從12%飆升到33%到40%。第三種,只用推理數(shù)據(jù)訓(xùn)練,完全不碰普通問(wèn)答數(shù)據(jù)。這個(gè)方案的準(zhǔn)確率和格式合規(guī)率都是最好的,代價(jià)是模型失去了直接對(duì)話不深度思考這個(gè)模式的能力。團(tuán)隊(duì)后來(lái)專門做了一個(gè)統(tǒng)計(jì):把只用推理數(shù)據(jù)和兩階段混合訓(xùn)練這兩種做法,累計(jì)跑了15次獨(dú)立訓(xùn)練,用統(tǒng)計(jì)學(xué)方法對(duì)比,得出只用推理數(shù)據(jù)訓(xùn)練平均高出6.9個(gè)百分點(diǎn)這個(gè)結(jié)論,而且這個(gè)結(jié)果在概率上非常顯著,不太可能是偶然。這也是整篇論文里,唯一一個(gè)經(jīng)受住了隨機(jī)種子噪聲考驗(yàn)、真正站得住腳的準(zhǔn)確率層面的發(fā)現(xiàn)。這就像開(kāi)一家餐廳,同時(shí)經(jīng)營(yíng)外賣和堂食兩種業(yè)務(wù),如果廚師被要求兩種訂單混著做,他可能會(huì)習(xí)慣性地走捷徑,把堂食也當(dāng)外賣簡(jiǎn)化處理;如果先專門練一段時(shí)間精致堂食手藝,再插入外賣訓(xùn)練,堂食質(zhì)量保住了,但上菜規(guī)范可能會(huì)亂套;如果干脆專心只做堂食,不接外賣單子,出品質(zhì)量和規(guī)范性都是最好的但這家店就沒(méi)法做外賣生意了。選哪種方案,取決于你到底需不需要外賣這項(xiàng)業(yè)務(wù),這是一個(gè)業(yè)務(wù)取舍,不是誰(shuí)天生更優(yōu)越的問(wèn)題。修復(fù)語(yǔ)言死鎖前面提到,微調(diào)后的某個(gè)版本被明確要求用英語(yǔ)來(lái)思考時(shí),卻依然一字不差地用希臘語(yǔ)作答,一千次嘗試,一次都沒(méi)有聽(tīng)從指令。團(tuán)隊(duì)管這個(gè)現(xiàn)象叫語(yǔ)言死鎖。深挖之后發(fā)現(xiàn),問(wèn)題的根源不在于教會(huì)模型說(shuō)希臘語(yǔ)這件事本身,而在于訓(xùn)練數(shù)據(jù)只朝一個(gè)方向設(shè)計(jì):全都是希臘語(yǔ)問(wèn)題配希臘語(yǔ)推理。模型因此學(xué)會(huì)了一種過(guò)于死板的規(guī)則,不管指令怎么說(shuō),一律用希臘語(yǔ)思考。解決方法是重新設(shè)計(jì)訓(xùn)練數(shù)據(jù),讓希臘語(yǔ)問(wèn)題配希臘語(yǔ)推理、英語(yǔ)問(wèn)題配英語(yǔ)推理,兩種語(yǔ)言方向都要覆蓋到,并且嚴(yán)格篩選掉那些推理過(guò)程中途串臺(tái)的樣本。這個(gè)調(diào)整之后,重新訓(xùn)練出來(lái)的模型在1900道英語(yǔ)問(wèn)題上,100%都用英語(yǔ)進(jìn)行推理,一次語(yǔ)言混雜都沒(méi)有出現(xiàn)。同時(shí),在希臘語(yǔ)測(cè)試上,依然保持97.98%的希臘語(yǔ)推理比例。更進(jìn)一步,團(tuán)隊(duì)還測(cè)試了能不能用明確指令讓模型反著來(lái),比如對(duì)一道希臘語(yǔ)題目下達(dá)請(qǐng)用英語(yǔ)思考的指令。這次,模型在44.8%到62.5%的情況下(不同模型家族表現(xiàn)不同)確實(shí)會(huì)切換到英語(yǔ)思考,雖然沒(méi)能做到完全服從,但至少不再是鐵板一塊的0%了。這就像教一個(gè)孩子在家說(shuō)中文、在學(xué)校說(shuō)英文,如果你只教他家里永遠(yuǎn)說(shuō)中文,他可能會(huì)養(yǎng)成一種固執(zhí)的習(xí)慣,哪怕老師用英語(yǔ)明確要求他回答,他還是忍不住脫口而出中文。而如果你從小就讓他知道這取決于場(chǎng)合和對(duì)方的要求,他才能真正學(xué)會(huì)隨情境切換,即使不是每次都能做得完美。這揭示了一個(gè)更深的道理:教AI模型某種行為習(xí)慣的時(shí)候,如果訓(xùn)練數(shù)據(jù)本身缺乏方向上的多樣性,模型學(xué)到的往往不是靈活運(yùn)用這個(gè)能力,而是一條死板到近乎頑固的單行道規(guī)則。強(qiáng)化學(xué)習(xí)登場(chǎng),補(bǔ)上SFT補(bǔ)不了的洞監(jiān)督微調(diào)雖然做到了讓模型用希臘語(yǔ)思考,但它有幾個(gè)天生的軟肋。*強(qiáng)化學(xué)習(xí)*RL不同于監(jiān)督微調(diào)照著樣本模仿,強(qiáng)化學(xué)習(xí)是讓模型自己嘗試,根據(jù)結(jié)果好壞給予獎(jiǎng)勵(lì)或懲罰,讓模型自主摸索出更好的行為方式。*RLVR*全稱帶可驗(yàn)證獎(jiǎng)勵(lì)的強(qiáng)化學(xué)習(xí),獎(jiǎng)勵(lì)信號(hào)來(lái)自可以客觀核實(shí)的規(guī)則,而不是依賴另一個(gè)AI模型或人類主觀打分。監(jiān)督微調(diào)訓(xùn)練出來(lái)的Qwen模型,存在兩個(gè)明確的缺陷:24%的希臘語(yǔ)問(wèn)題,模型沒(méi)有按要求的格式給出最終答案;3.5%的情況下,答案本該出現(xiàn)在最終回復(fù)里,卻泄漏進(jìn)了推理過(guò)程的文字里,沒(méi)有正確分離。這兩個(gè)問(wèn)題,單純靠模仿現(xiàn)成樣本很難徹底根除,因?yàn)槟７聦W(xué)習(xí)從來(lái)沒(méi)見(jiàn)過(guò)正確分離答案和推理這件事失敗時(shí)會(huì)發(fā)生什么后果。團(tuán)隊(duì)設(shè)計(jì)了一套獎(jiǎng)勵(lì)機(jī)制,把這幾個(gè)可以客觀核對(duì)的指標(biāo)直接作為強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)信號(hào):答案對(duì)不對(duì)、思考語(yǔ)言對(duì)不對(duì)、格式對(duì)不對(duì)、有沒(méi)有在規(guī)定長(zhǎng)度內(nèi)結(jié)束、以及是否服從明確的語(yǔ)言切換指令。整套機(jī)制不需要依賴另一個(gè)AI模型來(lái)打分,因?yàn)锳I裁判本身可能帶有偏見(jiàn)或被投機(jī)取巧,而這套規(guī)則是完全客觀、可審計(jì)的。在正式訓(xùn)練之前,團(tuán)隊(duì)還專門設(shè)計(jì)了28種作弊手法來(lái)測(cè)試這套獎(jiǎng)勵(lì)系統(tǒng)會(huì)不會(huì)被鉆空子,比如讓模型只寫答案不寫推理過(guò)程、寫一堆流暢但毫無(wú)計(jì)算內(nèi)容的廢話、故意用代碼塊把英文內(nèi)容偽裝成合規(guī)格式等等。這個(gè)測(cè)試提前抓出了三個(gè)獎(jiǎng)勵(lì)機(jī)制本身設(shè)計(jì)上的漏洞,避免了模型學(xué)會(huì)投機(jī)取巧而不是真正改進(jìn)。結(jié)果如何?在增加了一個(gè)隨機(jī)獎(jiǎng)勵(lì)作為對(duì)照組的前提下(這個(gè)對(duì)照組獎(jiǎng)勵(lì)是完全隨機(jī)給出的,用來(lái)驗(yàn)證效果是不是真的來(lái)自學(xué)習(xí),而不是碰巧),強(qiáng)化學(xué)習(xí)把格式合規(guī)率從24%降到了2.5%,把答案泄漏率從3.5%降到了0%,而隨機(jī)獎(jiǎng)勵(lì)對(duì)照組這兩個(gè)數(shù)字幾乎沒(méi)有變化,證明這確實(shí)是有效學(xué)習(xí)帶來(lái)的改善,不是巧合。至于能不能讓模型更聽(tīng)話地服從語(yǔ)言切換指令這件事,強(qiáng)化學(xué)習(xí)讓服從比例從44.8%提升到53.9%,提高了9.1個(gè)百分點(diǎn),但沒(méi)有達(dá)到團(tuán)隊(duì)預(yù)先設(shè)定的訓(xùn)練成功標(biāo)準(zhǔn)線,也就是說(shuō)這個(gè)能力確實(shí)對(duì)獎(jiǎng)勵(lì)有反應(yīng),但還沒(méi)被徹底教會(huì)。最讓團(tuán)隊(duì)意外的是,他們?cè)緭?dān)心的一件事沒(méi)有發(fā)生:純粹追求準(zhǔn)確率的強(qiáng)化學(xué)習(xí)梯度,理論上可能會(huì)侵蝕模型好不容易學(xué)會(huì)的希臘語(yǔ)思考習(xí)慣,但實(shí)際測(cè)試下來(lái),這個(gè)希臘語(yǔ)思考的比例在沒(méi)有專門保護(hù)措施的情況下,依然保持在98%以上,幾乎沒(méi)有退化。這就像給一位新員工制定績(jī)效考核,如果只考核完成任務(wù)的速度,他很可能會(huì)為了趕時(shí)間放棄你希望他保持的其他好習(xí)慣,比如認(rèn)真核對(duì)細(xì)節(jié)。團(tuán)隊(duì)原本擔(dān)心強(qiáng)化學(xué)習(xí)這個(gè)速度優(yōu)先的考核方式,會(huì)讓模型放棄辛苦養(yǎng)成的希臘語(yǔ)思考習(xí)慣,但測(cè)試下來(lái)這個(gè)習(xí)慣出乎意料地穩(wěn)固,并沒(méi)有被侵蝕。三個(gè)模型家族,三種脾氣論文里還有一段特別接地氣的內(nèi)容,記錄了團(tuán)隊(duì)在實(shí)際操作三個(gè)不同模型家族時(shí)踩過(guò)的坑,這些細(xì)節(jié)在正式的模型說(shuō)明文檔里根本查不到。阿里的Qwen模型,它的專家模塊是以堆疊參數(shù)的形式存儲(chǔ)的,導(dǎo)致適配器沒(méi)辦法直接加載回評(píng)估工具里,必須先把適配器合并進(jìn)模型主體才能測(cè)試,團(tuán)隊(duì)為此白白損失了一整輪評(píng)估時(shí)間。它的基礎(chǔ)版本還有個(gè)隱藏的坑:如果生成長(zhǎng)度限制設(shè)得太短,大部分回答會(huì)被硬生生截?cái)?導(dǎo)致準(zhǔn)確率驟降到20.8分,而放寬限制后能跳到77.2分,這說(shuō)明拿這類模型做對(duì)比測(cè)試時(shí),如果不注意生成長(zhǎng)度設(shè)置,測(cè)出來(lái)的根本不是模型能力,而是長(zhǎng)度限制本身。OpenAI的Gpt-OSS模型走的是完全不同的路子,它不用常見(jiàn)的思考標(biāo)簽來(lái)標(biāo)記推理過(guò)程,而是用專門的通道來(lái)區(qū)分推理內(nèi)容和最終回答,如果評(píng)分程序是按另一種標(biāo)記方式設(shè)計(jì)的,會(huì)讀錯(cuò)整個(gè)內(nèi)容。更麻煩的是,即使明確告訴它不要深度思考,它依然會(huì)在幾乎所有情況下打開(kāi)推理通道,這意味著不能簡(jiǎn)單地靠有沒(méi)有出現(xiàn)推理標(biāo)記來(lái)判斷它是不是在思考。英偉達(dá)的NemotronH是個(gè)混合架構(gòu)模型,它的專家模塊是逐個(gè)獨(dú)立存儲(chǔ)的,導(dǎo)致適配器數(shù)量暴漲到4188個(gè),是Qwen模型的一百多倍,訓(xùn)練速度因此慢了三到七倍。團(tuán)隊(duì)還發(fā)現(xiàn)三個(gè)隱藏的系統(tǒng)設(shè)置陷阱,任何一個(gè)沒(méi)調(diào)對(duì),輕則拖慢訓(xùn)練,重則導(dǎo)致訓(xùn)練報(bào)錯(cuò)或者訓(xùn)練完成后才在推理階段崩潰,而且沒(méi)有任何提前警告。這段經(jīng)歷傳遞出一個(gè)樸素但重要的教訓(xùn):一套代碼能在新模型上跑完全程,不代表它跑對(duì)了。寫在后面讀完這篇論文,最讓我意外的不是模型學(xué)會(huì)了用希臘語(yǔ)思考,而是那個(gè)隨機(jī)種子換一下,分?jǐn)?shù)跳了7.7個(gè)百分點(diǎn)的發(fā)現(xiàn)。這個(gè)數(shù)字比論文里絕大多數(shù)精心設(shè)計(jì)的實(shí)驗(yàn)對(duì)比結(jié)果都要大,意味著如果沒(méi)有做這次意外的對(duì)照實(shí)驗(yàn),整篇論文很可能建立在一堆噪聲之上而不自知。這讓我想到一個(gè)更普遍的問(wèn)題:我們平時(shí)看到的很多A方法比B方法好的結(jié)論,到底有多少是經(jīng)受住了換個(gè)隨機(jī)種子重跑一次這種最樸素檢驗(yàn)的?這篇論文沒(méi)有回避這個(gè)尷尬,反而把它當(dāng)作核心發(fā)現(xiàn)之一寫了出來(lái),這種誠(chéng)實(shí)本身,比論文里任何一個(gè)準(zhǔn)確率數(shù)字都更值得記住。另一個(gè)讓我反復(fù)琢磨的細(xì)節(jié),是希臘語(yǔ)數(shù)字書(shū)寫習(xí)慣和英語(yǔ)相反導(dǎo)致的評(píng)分錯(cuò)誤。這提醒我,給非英語(yǔ)語(yǔ)言做AI工具的時(shí)候,那些看起來(lái)無(wú)關(guān)緊要的約定俗成,比如標(biāo)點(diǎn)、數(shù)字格式、書(shū)寫方向,恰恰是最容易被忽略、也最容易造成系統(tǒng)性偏差的地方。一個(gè)只在英語(yǔ)世界測(cè)試過(guò)的工具,拿到另一種語(yǔ)言里,可能連最基礎(chǔ)的對(duì)錯(cuò)判斷都會(huì)出問(wèn)題,而且不會(huì)有任何警報(bào)提醒你。如果一個(gè)AI系統(tǒng)連數(shù)字的千位分隔符都可能讀反,那些更復(fù)雜的、我們還沒(méi)意識(shí)到需要檢查的文化和語(yǔ)言差異,又藏了多少?QAQ1這篇論文測(cè)試的希臘語(yǔ)推理模型,準(zhǔn)確率到底提升了沒(méi)有?A幾乎沒(méi)有提升,最好的微調(diào)版本在測(cè)試基準(zhǔn)上得分76.5,基礎(chǔ)模型是77.2,差距在訓(xùn)練本身產(chǎn)生的隨機(jī)波動(dòng)范圍之內(nèi)。但準(zhǔn)確率不是重點(diǎn),重點(diǎn)是模型從完全不用希臘語(yǔ)思考,變成了97%以上都用希臘語(yǔ)思考,推理過(guò)程從此變得可讀可審查。Q2為什么說(shuō)隨機(jī)種子換一下,分?jǐn)?shù)能差7.7個(gè)百分點(diǎn)是個(gè)大問(wèn)題?A因?yàn)檫@個(gè)數(shù)字比論文里測(cè)試過(guò)的所有數(shù)據(jù)處理方法、訓(xùn)練配方改進(jìn)帶來(lái)的效果差異都要大。這意味著如果不做這個(gè)種子對(duì)照實(shí)驗(yàn),很多看起來(lái)有效的改進(jìn)措施,可能只是隨機(jī)噪聲在起作用,根本不是真實(shí)的效果提升。Q3強(qiáng)化學(xué)習(xí)到底解決了監(jiān)督微調(diào)沒(méi)解決的什么問(wèn)題?A主要解決了兩個(gè)格式類問(wèn)題,把不按要求格式給答案的比例從24%降到2.5%,把答案錯(cuò)誤地泄漏進(jìn)推理過(guò)程的比例從3.5%降到0%。同時(shí)它讓模型服從用另一種語(yǔ)言思考這種明確指令的比例提高了9.1個(gè)百分點(diǎn),但還沒(méi)有完全教會(huì)這個(gè)能力。