如果你正打算在2026年沖刺大模型方向的崗位不管是算法崗、推理優(yōu)化崗還是Agent應(yīng)用崗架構(gòu)題幾乎都是繞不開的必考題。我過去一年帶過不少模擬面試發(fā)現(xiàn)一個(gè)特別普遍的現(xiàn)象簡歷上的項(xiàng)目都寫得挺漂亮一旦被追問到“GPT、LLaMA、DeepSeek、Qwen這四類主流大模型的架構(gòu)到底差在哪各自做了什么取舍”大多數(shù)人就只會(huì)背參數(shù)表說不清任何設(shè)計(jì)背后的理由。這篇文章把我自己在準(zhǔn)備和復(fù)盤面試時(shí)反復(fù)用的那套架構(gòu)拆解框架完整整理出來從Transformer這個(gè)共同祖先出發(fā)把四類模型各自的代表性設(shè)計(jì)掰開揉碎講清楚再給出一套可以直接套用的答題模板和避坑清單。適合正在沖刺2026年大模型崗位的同學(xué)也適合想系統(tǒng)梳理架構(gòu)知識(shí)、又不想硬啃原始論文的工程師。1. 面試官考架構(gòu)到底在考什么1.1 架構(gòu)問題是“偽裝成知識(shí)題的能力題”很多人以為架構(gòu)題就是背知識(shí)點(diǎn)實(shí)際上面試官根本不關(guān)心你能不能背出GPT-3有96層、12288維這種數(shù)字。他們真正想驗(yàn)證的是三件事第一你有沒有形成完整的系統(tǒng)認(rèn)知而不是只停留在調(diào)API第二你能不能把一個(gè)模型的某個(gè)設(shè)計(jì)調(diào)整講清楚它帶來的收益和代價(jià)第三面對(duì)一個(gè)從來沒見過的模型你有沒有能力快速拆解它的架構(gòu)。這三件事對(duì)應(yīng)的恰好多是面試中追問環(huán)節(jié)的深挖方向。比如你提到LLaMA用了GQA面試官馬上會(huì)問為什么不用MQA為什么不直接上MHA——如果答不上來前面背得再熟也白搭。所以我建議你把架構(gòu)題當(dāng)成一道開放性的系統(tǒng)設(shè)計(jì)題來準(zhǔn)備而不是死記硬背。1.2 所有主流大模型都源自同一個(gè)祖先Decoder-only Transformer在聊GPT、LLaMA、DeepSeek、Qwen之前有一點(diǎn)必須先說清楚這四類模型沒有本質(zhì)上的代差它們都是Decoder-only 自回歸路線的產(chǎn)物共同祖先是2017年提出的Transformer。Transformer最初的形態(tài)是Encoder-Decoder結(jié)構(gòu)編碼器負(fù)責(zé)理解輸入解碼器負(fù)責(zé)生成輸出。翻譯任務(wù)很適合這種結(jié)構(gòu)但到了大語言模型時(shí)代大家逐漸發(fā)現(xiàn)只用解碼器也能做得很好。原因其實(shí)很樸素LLM的核心目標(biāo)是根據(jù)前文預(yù)測下一個(gè)Token這個(gè)目標(biāo)本身就是自回歸式的天然對(duì)應(yīng)解碼器的因果注意力機(jī)制。編碼器那套雙向注意力主要用于理解任務(wù)但理解最終也得轉(zhuǎn)化為生成繞一圈反而增加了訓(xùn)練和推理的復(fù)雜度。于是從GPT系列開始業(yè)界逐步收斂到了一個(gè)通用配方一個(gè)只有Decoder的Transformer內(nèi)部結(jié)構(gòu)由Token嵌入層、若干Decoder層每層包含注意力子層和前饋?zhàn)訉?、輸出層組成。所有后續(xù)模型的優(yōu)化本質(zhì)上都是在這些子層上做文章注意力怎么算、歸一化怎么做、激活函數(shù)用哪個(gè)、位置信息怎么編碼、參數(shù)要不要稀疏化。掌握了這個(gè)通用配方任何新模型出來你都能快速拆解。1.3 我一直在用的架構(gòu)拆解分析框架每次看到一個(gè)新的開源大模型我都會(huì)按固定的七個(gè)模塊去拆面試時(shí)回答問題也按這個(gè)順序組織輸入表示詞表大小、Embedding維度、是否綁定輸出層權(quán)重。位置編碼絕對(duì)位置、相對(duì)位置、RoPE還是AliBi。注意力機(jī)制MHA、MQA還是GQA有沒有特殊的KV壓縮策略。歸一化層LayerNorm還是RMSNormPre-Norm還是Post-Norm。前饋網(wǎng)絡(luò)普通MLP還是帶門控的SwiGLU中間維度擴(kuò)張幾倍。稀疏化策略是Dense模型還是MoE專家數(shù)量、激活參數(shù)占比。訓(xùn)練與推理細(xì)節(jié)上下文長度、是否多Token預(yù)測、混合精度、KV Cache策略。這套框架在面試中特別實(shí)用因?yàn)樗軒湍阍谛畔⒉蝗那闆r下也能有條理地分析。哪怕你不了解某個(gè)新模型按這個(gè)順序推斷大概率能蒙中一半以上的設(shè)計(jì)選擇。后面四類模型的對(duì)比我也嚴(yán)格按這個(gè)框架展開。2. GPT系列Decoder-only的開創(chuàng)者至今仍是標(biāo)準(zhǔn)基線2.1 GPT核心設(shè)計(jì)自回歸、因果掩碼、單方向信息流GPT系列是Decoder-only路線的提出者和堅(jiān)持者它的核心思想簡單到只有一句話預(yù)測下一個(gè)Token。為了實(shí)現(xiàn)這個(gè)目標(biāo)模型在注意力計(jì)算時(shí)使用因果掩碼Causal Mask也就是在計(jì)算第i個(gè)位置的表示時(shí)只能看到第1到第i個(gè)位置的Token未來信息全部屏蔽。很多人在面試時(shí)會(huì)把因果掩碼和Padding Mask搞混這是一個(gè)特別容易失分的細(xì)節(jié)。Padding Mask處理的是Batch內(nèi)不同長度樣本的對(duì)齊問題把填充位置置為一個(gè)極小值讓注意力不會(huì)分配到無意義的位置上而因果掩碼是每個(gè)樣本內(nèi)部的操作保證當(dāng)前位置不能偷看未來信息。前者是工程問題后者是模型定義問題兩者可以同時(shí)存在比如一個(gè)Batch里每個(gè)樣本既要做Padding Mask又要在注意力矩陣上疊加因果掩碼的下三角遮蔽。GPT系列另一個(gè)容易被忽略的設(shè)計(jì)是無編碼器。它沒有單獨(dú)的編碼器分支也沒有交叉注意力所有信息都靠Decoder內(nèi)部的因果自注意力自己攫取。這個(gè)設(shè)計(jì)讓模型訓(xùn)練和推理高度一致訓(xùn)練你是預(yù)測下一個(gè)詞部署你也是預(yù)測下一個(gè)詞沒有Transformer翻譯時(shí)代那種訓(xùn)練和推理行為不一致的別扭感。這也是為什么Decoder-only逐漸在生成任務(wù)上壓制了Encoder-Decoder方案。2.2 GPT系列演進(jìn)路線中的關(guān)鍵變化GPT系列的演進(jìn)幾乎是這幾年大模型發(fā)展史的一個(gè)縮影。初代GPT參數(shù)量只有約1.1億基本驗(yàn)證了預(yù)訓(xùn)練微調(diào)這條路走得通。GPT-2把參數(shù)量拉到15億展示了零樣本也能干活的能力。真正引爆行業(yè)的是GPT-3參數(shù)量到達(dá)1750億96層Transformer層隱層維度12288上下文窗口2048詞表大小約5萬——這是大力出奇跡的巔峰之作。到GPT-4時(shí)公開信息不再完整但從各種披露和側(cè)面信息看它大概率引入了稀疏注意力機(jī)制內(nèi)部是一個(gè)或多個(gè)MoE混合專家結(jié)構(gòu)總參數(shù)量遠(yuǎn)大于暴露出來的數(shù)字。這條路線說明一個(gè)趨勢(shì)在Dense模型上繼續(xù)暴力堆參數(shù)邊際收益在下降廠商開始轉(zhuǎn)向稀疏激活來提升單位參數(shù)的效果。GPT系列對(duì)面試的啟發(fā)主要有兩點(diǎn)一是要理解Scale Law參數(shù)規(guī)模、數(shù)據(jù)規(guī)模、訓(xùn)練計(jì)算量之間存在冪律關(guān)系模型性能大致隨三者同比例提升二是要理解對(duì)齊Alignment的價(jià)值GPT-3的基座能力已經(jīng)很強(qiáng)但真正讓它變成合格對(duì)話助手的是后續(xù)的監(jiān)督微調(diào)和基于人類反饋的強(qiáng)化學(xué)習(xí)階段。面試官如果問為什么GPT效果好你光說模型大是不夠的架構(gòu)、數(shù)據(jù)、對(duì)齊三者缺一不可。2.3 聊GPT時(shí)哪些細(xì)節(jié)能明顯加分面試中講到GPT最容易出彩的細(xì)節(jié)是訓(xùn)練目標(biāo)和生成目標(biāo)的一致性。Transformer最初用于翻譯時(shí)訓(xùn)練階段把金標(biāo)準(zhǔn)輸出一次性喂進(jìn)去生成階段卻只能一步一步輸出行為差異會(huì)積累錯(cuò)誤。而GPT只做自回歸預(yù)測訓(xùn)練和推理都是基于已生成的內(nèi)容預(yù)測下一步這個(gè)一致性就是Decoder-only路線能勝出的底層原因。另外一個(gè)加分點(diǎn)是追問為什么GPT不做雙向注意力。答案不只是為了生成任務(wù)還在于雙向信息流會(huì)讓每個(gè)位置的表示都包含全局信息做生成時(shí)必須強(qiáng)行因果化導(dǎo)致訓(xùn)練推理不一致。單向注意力看似損失了能看到整句話的能力但換來了嚴(yán)格的自回歸語義這正是語言模型作為概率分布估計(jì)器最自然的形式。3. LLaMA系列開源模型的“架構(gòu)樣板間”3.1 LLaMA的四個(gè)關(guān)鍵設(shè)計(jì)RMSNorm、SwiGLU、RoPE、GQA如果說GPT系列是閉源模型里的參考標(biāo)桿那LLaMA系列就是開源社區(qū)名副其實(shí)的架構(gòu)樣板間?，F(xiàn)在市面上能見到的開源模型絕大多數(shù)都能在LLaMA身上找到源頭原因就是LLaMA把一整套被驗(yàn)證有效的設(shè)計(jì)組合在了一起而且參數(shù)完全開放復(fù)現(xiàn)成本低。第一個(gè)關(guān)鍵設(shè)計(jì)是RMSNorm取代LayerNorm。傳統(tǒng)的LayerNorm要對(duì)輸入做均值和方差歸一化RMSNorm把均值中心化這步直接去掉只按均方根做縮放再乘一個(gè)可學(xué)習(xí)的縮放系數(shù)。這么做把歸一化的計(jì)算量明顯降了下來而實(shí)驗(yàn)證明去掉均值中心化對(duì)最終效果影響很小。對(duì)動(dòng)輒幾十億參數(shù)的大模型來說每一層少做一次均值計(jì)算都是可觀的訓(xùn)練收益。第二個(gè)是SwiGLU激活函數(shù)替代ReLU或GeLU。SwiGLU本質(zhì)是門控線性單元它把輸入分成兩路一路經(jīng)過SiLU激活另一路作為門控信號(hào)兩者逐元素相乘。相比于簡單的ReLUSwiGLU給前饋網(wǎng)絡(luò)帶來了更強(qiáng)的非線性表達(dá)能力在相同參數(shù)預(yù)算下效果更好。代價(jià)是前饋層需要三個(gè)權(quán)重矩陣而不是兩個(gè)參數(shù)總量會(huì)上升但業(yè)界普遍認(rèn)為這個(gè)交換劃算。第三個(gè)是RoPE旋轉(zhuǎn)位置編碼。位置編碼是大模型的空間坐標(biāo)系統(tǒng)Transformer原始方案用正余弦絕對(duì)位置編碼但絕對(duì)位置信息不便于模型感知兩個(gè)Token之間的距離這種相對(duì)關(guān)系。RoPE的核心思路是在做Attention之前通過旋轉(zhuǎn)矩陣把位置信息編碼進(jìn)查詢和鍵向量讓兩個(gè)向量的內(nèi)積天然包含相對(duì)位置信息。它不僅效果好而且對(duì)外推長文本很友好后來的NTK、YaRN等長度外推方案都建立在RoPE基礎(chǔ)之上。第四個(gè)是GQA分組查詢注意力。標(biāo)準(zhǔn)的MHA讓每個(gè)注意力頭都維護(hù)獨(dú)立的鍵值對(duì)推理時(shí)要為每個(gè)Token保存所有頭的KV Cache內(nèi)存開銷巨大。MQA多查詢注意力把鍵值頭壓縮成一組大幅節(jié)省內(nèi)存但信息表達(dá)能力下降。GQA是兩者折中把注意力頭分成若干組組內(nèi)共享鍵值頭。LLaMA-2的70B版本采用GQA后KV Cache約為同參數(shù)MHA模型的十分之一長序列推理時(shí)優(yōu)勢(shì)極其明顯。3.2 Pre-Norm還是Post-Norm一個(gè)影響訓(xùn)練的底層抉擇LLaMA不是第一個(gè)用Pre-Norm預(yù)歸一化的模型但它把這個(gè)設(shè)計(jì)推向了主流。Transformer最初用的是Post-Norm也就是注意力/前饋計(jì)算之后再歸一化訓(xùn)練深層的Transformer時(shí)梯度很容易爆炸或消失需要非常精細(xì)的初始化策略和學(xué)習(xí)率控制。Pre-Norm則把歸一化放到子層之前讓每層輸入保持穩(wěn)定的尺度梯度路徑更平滑深層網(wǎng)絡(luò)更容易訓(xùn)練。用生活化的類比來理解Post-Norm像先做飯?jiān)偾謇碓钆_(tái)每做完一道菜灶臺(tái)上可能已經(jīng)堆滿油漬下一道菜越做越危險(xiǎn)Pre-Norm則是開工前就把灶臺(tái)清理干凈每道菜在干凈的臺(tái)面上操作。LLaMA選擇Pre-Norm換來了穩(wěn)定的訓(xùn)練代價(jià)是理論上限略低于完美調(diào)參的Post-Norm但實(shí)操中這個(gè)差距幾乎可以忽略因?yàn)榉€(wěn)定性的收益遠(yuǎn)大于理論精度上那一點(diǎn)差異。3.3 為什么開源社區(qū)幾乎都選擇在LLaMA上做二次創(chuàng)新面試中經(jīng)常被問到一個(gè)工程類問題給你一個(gè)基座模型做微調(diào)你會(huì)選哪個(gè)這個(gè)問題背后想考察的其實(shí)是你的架構(gòu)理解和生態(tài)判斷力。LLaMA系列之所以成為默認(rèn)選項(xiàng)首先是因?yàn)樗焉鲜鰩讉€(gè)設(shè)計(jì)組合成了一個(gè)效果與參數(shù)比例很平衡的方案底子足夠好其次它的權(quán)重開放社區(qū)圍繞它衍生出了海量的微調(diào)框架、量化工具和部署方案。還有一點(diǎn)容易被忽視LLaMA系列展現(xiàn)了無對(duì)齊基座模型的通用遷移能力。它本身沒有做太多指令微調(diào)就是一個(gè)純預(yù)訓(xùn)練模型但你拿它繼續(xù)訓(xùn)練做垂直領(lǐng)域效果往往比很多看似什么都會(huì)的通用助手模型更好。因?yàn)榛Ｐ蜎]有因?yàn)閷?duì)齊階段被馴化得過于保守反而保留了對(duì)數(shù)據(jù)分布更強(qiáng)的擬合彈性。面試時(shí)如果能說出這一層會(huì)明顯區(qū)別于只會(huì)說LLaMA效果好的候選人。4. DeepSeek系列把“省”做到極致的推理效率派4.1 從MLA說起把KV Cache壓縮成低秩表示DeepSeek系列在架構(gòu)上最出圈的一個(gè)創(chuàng)新是MLA多頭潛在注意力Multi-head Latent Attention它解決了大模型推理中一個(gè)很現(xiàn)實(shí)的瓶頸KV Cache太大。Transformer推理時(shí)每個(gè)Token都要把它的Key和Value向量緩存下來供后續(xù)Token做注意力計(jì)算用。上下文越長、Token越多KV Cache占用顯存就越大甚至超過模型權(quán)重本身。GQA已經(jīng)通過共享KV頭減少了緩存但DeepSeek的思路更激進(jìn)與其共享不如壓縮。MLA對(duì)Key和Value做一個(gè)低秩投影把它們映射到一個(gè)低維的潛在空間存儲(chǔ)計(jì)算注意力的時(shí)候再從潛在空間投影回去。我可以用一個(gè)比喻來解釋MHA是每個(gè)人都完整記錄自己見過的一切資料全但倉庫巨大GQA是一組人共享一套檔案省了空間但稍顯粗糙MLA則是一套檔案編碼系統(tǒng)先把所有信息編碼成摘要入庫需要用的時(shí)候再解碼還原。MLA讓KV Cache開銷降到傳統(tǒng)MHA方案的極小比例在長上下文推理場景下優(yōu)勢(shì)幾乎是壓倒性的。面試中一旦提到DeepSeekMLA是必須主動(dòng)展開的核心亮點(diǎn)。4.2 DeepSeek-V3的MoE架構(gòu)671B總參數(shù)、37B激活參數(shù)是怎么算出來的DeepSeek-V3在面試題里出現(xiàn)頻率極高因?yàn)樗膮?shù)量分布特別適合出計(jì)算題。它的總參數(shù)是671B但每次推理只激活37B參數(shù)這里面的關(guān)鍵是MoE結(jié)構(gòu)。MoE混合專家的思路是不要用一個(gè)巨大的稠密網(wǎng)絡(luò)處理所有輸入而是訓(xùn)練一組專家子網(wǎng)絡(luò)每個(gè)Token通過一個(gè)路由網(wǎng)絡(luò)Router動(dòng)態(tài)選擇最合適的少量專家來計(jì)算。DeepSeek-V3一共有256個(gè)專家每個(gè)Token在注意力層之后會(huì)被路由到Top-8個(gè)專家上這8個(gè)專家各自做一次前饋計(jì)算再加權(quán)合并。總參數(shù)量來自256個(gè)專家的全部參數(shù)激活參數(shù)量只和路由選中的8個(gè)專家以及注意力層的共享參數(shù)有關(guān)。把賬算細(xì)一點(diǎn)一個(gè)專家是約1.2B參數(shù)規(guī)模8個(gè)專家激活約9.6B再加上共享專家部分和注意力、嵌入等公共參數(shù)湊出37B左右的激活量。MoE的核心收益是用總參數(shù)換容量、用激活參數(shù)換算力——模型的知識(shí)容量由671B支撐而單次推理的算力成本只按37B支付。這就是為什么DeepSeek能以相對(duì)低的訓(xùn)練成本拿到接近頂尖閉源模型的能力。4.3 無輔助損失負(fù)載均衡MoE最容易翻車的點(diǎn)MoE模型最頭疼的問題是負(fù)載不均如果所有Token都偏好某幾個(gè)萬能專家其他專家就閑置了稀疏化的收益直接清零。傳統(tǒng)做法是給路由損失加一個(gè)輔助Loss懲罰不均勻路由但輔助Loss會(huì)和主Loss競爭反而損害模型最終效果。DeepSeek-V3的做法是無輔助損失負(fù)載均衡訓(xùn)練時(shí)為每個(gè)專家維護(hù)一個(gè)偏置系數(shù)如果一個(gè)專家被選中的頻率偏高就在它的路由分?jǐn)?shù)里扣掉一個(gè)固定偏置被選得少的專家則加上偏置。這樣讓路由過程自適應(yīng)地向冷門專家傾斜卻不會(huì)在Loss計(jì)算中引入額外優(yōu)化目標(biāo)。這個(gè)細(xì)節(jié)是DeepSeek架構(gòu)題里公認(rèn)的深水區(qū)能說清楚為什么不用輔助Loss基本就能和普通候選人拉開差距。4.4 DeepSeek還值得記住的三個(gè)工程配套設(shè)計(jì)DeepSeek-V3不只是架構(gòu)新它的訓(xùn)練和推理工程方案同樣是面試考點(diǎn)。第一個(gè)是多Token預(yù)測MTP讓模型在預(yù)測下一個(gè)Token的同時(shí)還要預(yù)測后續(xù)第二個(gè)、第三個(gè)Token。不要小看這個(gè)改動(dòng)它在訓(xùn)練階段相當(dāng)于把每個(gè)位置榨出更多學(xué)習(xí)信號(hào)而且推理時(shí)可被用來做推測解碼加速一魚兩吃。第二個(gè)是FP8混合精度訓(xùn)練。DeepSeek-V3在訓(xùn)練中大規(guī)模使用FP8精度明顯降低了顯存占用和通信量這也是它訓(xùn)練成本能壓下來的重要原因。第三個(gè)是它對(duì)長上下文推理的支持結(jié)合MLA的低KV Cache開銷長文本場景的性價(jià)比很突出。面試時(shí)提到這些點(diǎn)其實(shí)是向面試官傳遞一個(gè)信號(hào)你不僅看模型結(jié)構(gòu)還關(guān)注成本和工程落地。5. Qwen系列實(shí)用主義與Agent時(shí)代的均衡派5.1 Qwen的架構(gòu)底子大詞表、GQA與長上下文Qwen系列的定位和LLaMA不太一樣它更像一個(gè)工程落地優(yōu)先的實(shí)用主義選手在設(shè)計(jì)上非常舍得為實(shí)際應(yīng)用做配置。比如它的詞表普遍比較大達(dá)到十五萬級(jí)別甚至更高。大詞表意味著同樣一段中文文本會(huì)被切成更少的Token訓(xùn)練和推理時(shí)的序列長度更短對(duì)中文用戶來說就是實(shí)打?qū)嵉某杀竟?jié)省和速度提升。在注意力層面Qwen主力型號(hào)用了GQA分組查詢注意力。它吸取了MHA和MQA兩邊的優(yōu)點(diǎn)在保證表示能力的同時(shí)顯著壓縮KV Cache占用。對(duì)Agent或長上下文場景來說這個(gè)選擇可以說非常關(guān)鍵KV Cache變小同樣一塊顯卡就能塞下更長的上下文或者更大的并發(fā)。上下文長度也是Qwen系列反復(fù)迭代的重點(diǎn)。早期版本已經(jīng)支持?jǐn)?shù)千Token的上下文后續(xù)版本通過YaRN等RoPE擴(kuò)展方法把長文本能力進(jìn)一步提升到很高的水平。這里有個(gè)值得學(xué)習(xí)的套路不更換模型主體架構(gòu)只通過修改位置編碼的外推方式來拉長上下文成本遠(yuǎn)低于重新訓(xùn)練一個(gè)大模型。這是工程上的典型四兩撥千斤。5.2 同族多尺寸與MoE版本的“統(tǒng)一架構(gòu)”策略Qwen系列有一個(gè)明顯特征在一個(gè)大旗號(hào)下發(fā)布從零點(diǎn)幾B到70B級(jí)別的一整條尺寸線。面試官很喜歡借這個(gè)現(xiàn)象考察你對(duì)Dense vs MoE的理解。小尺寸模型如0.5B、1.5B、7B用Dense結(jié)構(gòu)性價(jià)比更高因?yàn)閰?shù)量本來就不大引入MoE反而增加路由開銷和部署復(fù)雜度。中到大尺寸模型如14B、72B則可以使用MoE版本來擴(kuò)大知識(shí)容量、控制激活成本。這種多尺寸統(tǒng)一架構(gòu)策略的工程價(jià)值在于用戶可以根據(jù)機(jī)器資源選不同尺寸的模型微調(diào)后蒸餾到小模型或者把大模型的結(jié)果作為小模型的訓(xùn)練數(shù)據(jù)源形成一套完整的模型矩陣。面試中如果被問如何設(shè)計(jì)一個(gè)模型家族你可以直接引用這樣一套思路基座統(tǒng)一、尺寸分層、稀疏化從大到小逐步引入。5.3 Qwen在Agent與工具調(diào)用場景的架構(gòu)配合近幾年Agent應(yīng)用爆發(fā)Qwen系列在工具調(diào)用、函數(shù)調(diào)用場景的表現(xiàn)被頻繁提及。很多人以為這是純粹的指令微調(diào)數(shù)據(jù)功勞其實(shí)架構(gòu)也在其中起了配合作用。Agent場景要求模型在對(duì)話中準(zhǔn)確輸出結(jié)構(gòu)化的調(diào)用意圖比如我要根據(jù)用戶的意圖調(diào)用某個(gè)工具填入這幾個(gè)參數(shù)。這意味著模型內(nèi)部要建立起意圖理解到參數(shù)映射的穩(wěn)固通路。Qwen系列的詞表設(shè)計(jì)和預(yù)訓(xùn)練數(shù)據(jù)安排使它對(duì)結(jié)構(gòu)化指令更敏感加上對(duì)齊階段大量使用真實(shí)工具調(diào)用數(shù)據(jù)進(jìn)行微調(diào)才形成我們看到的效果。面試時(shí)若被問為什么同一個(gè)模型微調(diào)前后工具調(diào)用能力差別這么大標(biāo)準(zhǔn)答法是架構(gòu)決定了模型的上限數(shù)據(jù)決定了下限附近的實(shí)際表現(xiàn)二者是乘數(shù)關(guān)系而不是加法關(guān)系。5.4 比較視角Qwen在長文本與多語言場景的平衡取舍Qwen和LLaMA放在一起對(duì)比是個(gè)很經(jīng)典的面試問題。LLaMA在英文生態(tài)和通用學(xué)術(shù)評(píng)測上積累深厚但詞表對(duì)中文和多語言并不友好Qwen的大詞表天然覆蓋更多的中文Token在中文長文本、多語言混合場景下序列更短、效率更高。代價(jià)是詞表變大會(huì)讓Embedding層參數(shù)顯著增加模型體積變大小顯存設(shè)備部署時(shí)需要額外處理。這里可以延伸到Unsliced Tokenizer的思考大詞表并不是免費(fèi)午餐它把更多負(fù)擔(dān)轉(zhuǎn)嫁到最終用戶端模型文件更大、內(nèi)存占用更高。面試官如果問為什么很多國產(chǎn)模型詞表大你可以從中文漢字?jǐn)?shù)量多、常用詞組合豐富這個(gè)角度回答同時(shí)主動(dòng)說出詞表增大的副作用體現(xiàn)權(quán)衡思維。6. 一張表看清四家主流架構(gòu)以及如何回答“設(shè)計(jì)一個(gè)新模型”6.1 四類模型核心架構(gòu)維度橫向?qū)Ρ葘?duì)比維度GPT系列LLaMA系列DeepSeek系列Qwen系列基礎(chǔ)路線Decoder-only 自回歸Decoder-only 自回歸Decoder-only 自回歸Decoder-only 自回歸代表結(jié)構(gòu)Dense為主后期疑似引入MoEDense70B級(jí)別MoE為主MLA注意力Dense與MoE并存按尺寸分層注意力機(jī)制MHA早期GQA后期MHA→GQAMLA低秩KV壓縮GQA位置編碼絕對(duì)位置早期RoPE后期RoPERoPERoPE YaRN外推歸一化Pre-Norm LayerNorm演變Pre-Norm RMSNormPre-Norm RMSNormPre-Norm RMSNorm激活函數(shù)GeLU早期SwiGLU后期SwiGLUSwiGLUSwiGLU詞表大小較小5萬左右起步較小3.2萬左右中等很大15萬級(jí)核心特色開創(chuàng)性、Scale Law、對(duì)齊開源樣板、生態(tài)完善、訓(xùn)練穩(wěn)定推理效率極強(qiáng)、成本控制極致中英文場景友好、Agent適配強(qiáng)典型應(yīng)用啟示通用對(duì)話、閉源API微調(diào)基座、學(xué)術(shù)研究長上下文、高并發(fā)推理中文應(yīng)用、工具調(diào)用、端側(cè)部署這張表不用死記硬背關(guān)鍵是要能解釋每一行的為什么。真正優(yōu)秀的面試回答是我給你這個(gè)格子你能說出這個(gè)選擇的收益和代價(jià)。6.2 “如果讓你從零設(shè)計(jì)一個(gè)新LLM”的萬能答題框架這幾乎是架構(gòu)類面試的壓軸題也是最能拉開分差的題目。我給出一套經(jīng)過實(shí)戰(zhàn)驗(yàn)證的答題框架你按順序說面試官會(huì)明顯感覺到你腦子里有體系。第一步先定大方向選Decoder-only不做Encoder-Decoder。理由說清楚訓(xùn)練推理一致、生成任務(wù)天然匹配、生態(tài)工具鏈成熟。第二步定基礎(chǔ)組件歸一化選RMSNorm激活函數(shù)選SwiGLU位置編碼選RoPE。這三個(gè)幾乎是當(dāng)前業(yè)界共識(shí)選它們不用過多解釋但你要主動(dòng)說出RMSNorm省去了均值歸一化、SwiGLU帶來更強(qiáng)非線性、RoPE對(duì)長文本友好這三點(diǎn)理由。第三步定注意力方案根據(jù)部署場景選GQA或MLA。如果做長上下文、需要控制KV CacheMLA是更優(yōu)解如果追求兼容主流推理框架GQA更穩(wěn)妥。面試官問為什么少用MHA時(shí)就從顯存和長序列推理兩個(gè)角度答。第四步定稀疏化策略回答要點(diǎn)是想清楚Dense和MoE的分界線。小模型用Dense大模型引入MoE并給出總參數(shù)決定知識(shí)容量、激活參數(shù)決定推理成本這句關(guān)鍵判斷。第五步定上下文與訓(xùn)練策略把詞表大小、上下文長度、是否做多Token預(yù)測、是否用FP8訓(xùn)練一并說清楚。到這里你已經(jīng)把架構(gòu)、成本、部署、訓(xùn)練四方面都覆蓋到了面試官很難再從追問里找到明顯漏洞。7. 高頻真題演練與易踩坑清單7.1 五道高頻架構(gòu)題及答題要點(diǎn)第一道為什么現(xiàn)在主流大模型都用Decoder-only而不是Encoder-Decoder核心答三點(diǎn)自回歸生成任務(wù)天然匹配Decoder訓(xùn)練推理行為一致Encoder的交叉注意力增加了復(fù)雜度和推理開銷而收益在語言建模上沒有明顯體現(xiàn)。第二道MHA、MQA、GQA、MLA有什么區(qū)別先定義MHA每頭獨(dú)立KVMQA所有Q頭共享一組KVGQA分組共享KVMLA對(duì)KV做低秩壓縮存儲(chǔ)。然后落到KV Cache和推理速度上展開最好舉一個(gè)數(shù)值例子比如70B模型用GQA后KV Cache縮小為MHA的約十分之一。第三道MoE為什么能省算力總參數(shù)和激活參數(shù)什么關(guān)系用DeepSeek-V3做例子671B總參數(shù)、37B激活參數(shù)、256個(gè)專家Top-8路由。說明稀疏激活的核心是把容量和算力解耦。第四道RoPE為什么能擴(kuò)展長文本解釋RoPE把相對(duì)位置編碼進(jìn)內(nèi)積配合NTK/YaRN這些頻率調(diào)整手段可以對(duì)沒見過的更長位置進(jìn)行外推。再補(bǔ)充一句外推不是無限度的超過訓(xùn)練長度太多質(zhì)量仍會(huì)下降。第五道訓(xùn)練一個(gè)大模型你會(huì)怎么降低顯存開銷從訓(xùn)練和推理兩個(gè)階段分別答訓(xùn)練階段用混合精度、梯度檢查點(diǎn)、ZeRO等分布式策略推理階段用KV Cache優(yōu)化GQA/MLA、量化FP8/INT8、投機(jī)解碼等。7.2 三個(gè)最容易在現(xiàn)場被問崩的細(xì)節(jié)第一個(gè)是Q、K、V三個(gè)投影矩陣的維度關(guān)系。很多人講不清楚GQA里每個(gè)共享KV頭對(duì)應(yīng)多少Q(mào)頭或者說不清注意力分?jǐn)?shù)的scale為什么是除以根號(hào)d。要記住d是每個(gè)頭的維度除以根號(hào)d是為了防止點(diǎn)積過大導(dǎo)致Softmax進(jìn)入飽和區(qū)。第二個(gè)是Embedding層要不要參與參數(shù)統(tǒng)計(jì)。當(dāng)面試官問7B模型里Embedding占多少參數(shù)時(shí)很多人直接傻掉。計(jì)算方法是詞表大小乘以隱藏維度假設(shè)詞表5萬、隱藏維度4096那Embedding就是5萬×4096約2億參數(shù)占總參數(shù)比重不小。這也是大詞表模型體積變大的原因。第三個(gè)是推理時(shí)KV Cache為什么不能提前算好。Transformer推理需要每生成一個(gè)Token就把它的K和V追加到緩存里下一輪計(jì)算時(shí)使用。如果你回答KV Cache只在生成階段出現(xiàn)、訓(xùn)練階段沒有這就是送分題訓(xùn)練階段每個(gè)Token同時(shí)可見不需要增量緩存而推理是增量式的KV Cache正是為此服務(wù)的。7.3 一條從背教材到真懂架構(gòu)的實(shí)操路徑如果看完全文還是覺得心里沒底我給你一條不需要GPU的實(shí)操路徑。去開源模型倉庫把一個(gè)中等尺寸模型的配置文件打開對(duì)照本文的七個(gè)模塊逐一找到對(duì)應(yīng)字段詞表大小在config.json里一般是vocab_size隱藏層維度叫hidden_size層數(shù)是num_hidden_layers注意力頭是num_attention_heads是否分組查詢看num_key_value_heads是不是小于前者歸一化類型在norm_type或model_type字段激活函數(shù)在hidden_act里位置編碼看rope_scaling之類的參數(shù)?？赐暌粋€(gè)大模型再隨便換另一個(gè)模型的配置文件對(duì)比一遍就會(huì)發(fā)現(xiàn)同一個(gè)選擇反復(fù)出現(xiàn)RMSNorm、SwiGLU、RoPE、GQA幾乎是標(biāo)配。此時(shí)你就能真正理解所謂主流大模型架構(gòu)全景并不是四家各玩各的而是在同一套共同祖先模板上各自在效率、成本、應(yīng)用場景上做權(quán)衡。架構(gòu)題的答案從來不是唯一的只要你把為什么選擇這個(gè)而不是那個(gè)的邏輯講清楚就已經(jīng)達(dá)到面試官對(duì)架構(gòu)能力的基本預(yù)期了。我個(gè)人在實(shí)際帶模擬面試時(shí)有個(gè)很深的體會(huì)能把LLaMA和DeepSeek的差異講到GQA是共享KV、MLA是壓縮KV一個(gè)靠共享省顯存、一個(gè)靠壓縮省顯存這個(gè)粒度的人后面聊到任何新出的模型都不會(huì)怵場。因?yàn)槟阏莆盏囊呀?jīng)不是一個(gè)模型的參數(shù)表而是一套看模型的坐標(biāo)軸。下次再遇到一個(gè)新開源的架構(gòu)試著先不看官方技術(shù)報(bào)告自己按這套框架推理一遍它大概長什么樣再回去對(duì)照驗(yàn)證。練過三輪之后你會(huì)回來感謝這套框架的。