先把算子這個詞說清楚很多人第一次聽到算子是在學(xué)數(shù)學(xué)分析或者泛函的時候那時候它指的是從一個函數(shù)空間到另一個函數(shù)空間的映射比如微分算子、積分算子。但今天在 AI 圈子里說的算子含義要樸素得多基本就是一次具體的運算操作。你打開 PyTorch 寫一行y torch.matmul(a, b)這就是一次矩陣乘法算子寫torch.relu(x)這是激活函數(shù)算子寫F.softmax(scores, dim-1)這是 softmax 算子。一個神經(jīng)網(wǎng)絡(luò)不管是卷積網(wǎng)絡(luò)還是 Transformer本質(zhì)上就是一張算子組成的計算圖輸入張量沿著這張圖流動每經(jīng)過一個節(jié)點就被做一次變換最后輸出結(jié)果。訓(xùn)練時反向傳播也是沿著這張圖把梯度一個個算子地傳回去。所以你可以把算子理解成深度學(xué)習框架里的原子操作?？蚣芎途幾g器的工作就是把這些高層的算子翻譯成 GPU 上真正執(zhí)行的 CUDA 內(nèi)核kernel。一個算子在 GPU 上跑得快不快取決于很多底層細節(jié)訪存是不是連續(xù)、有沒有把數(shù)據(jù)盡量留在高速緩存里、計算和訪存的比例也就是常說的算術(shù)強度夠不夠高、有沒有被啟動開銷和同步開銷拖慢。為什么這玩意兒值得專門拿出來說因為大模型的規(guī)模把這些問題放大到了極致。一個千億參數(shù)的模型前向一次要做海量的矩陣乘法和注意力計算任何一個高頻算子的效率差一點乘以幾十層、乘以每個 token、乘以萬億級的訓(xùn)練步數(shù)最后就是電費、顯卡租用費、訓(xùn)練周期上的巨大差別。反過來能把顯存占用降下來就意味著同樣的卡能塞更大的 batch、更長的上下文訓(xùn)練和推理的經(jīng)濟賬完全不一樣。這就是為什么訓(xùn)練大模型的團隊幾乎都會在算子層面投入大量工程資源——這不是什么獨家秘方而是這行的基本功。理解了這一層再來看 DeepSeek 做的事情就能更準確地判斷哪些是真創(chuàng)新、哪些是把基本功做得比較狠。DeepSeek 在算子層面做的幾件事混合專家MoE里的路由與調(diào)度DeepSeek-V3 是一個混合專家模型里面有大量專家子網(wǎng)絡(luò)但每個 token 每次只激活其中很小的一部分。MoE 這個架構(gòu)本身不是 DeepSeek 發(fā)明的早年的 Switch Transformer、GShard 都是這個路子。MoE 真正的難點恰恰就落在算子和調(diào)度層面。第一個難點是路由gating / router。路由器本身是一個小算子它給每個 token 打分決定把它送給哪幾個專家。路由算子看起來簡單但它的質(zhì)量直接決定了 MoE 的效率如果路由不準token 被送去了不相關(guān)的專家等于白算如果路由太偏科某些專家被擠爆、某些專家閑著負載不均整個并行效率就垮了。DeepSeek 在路由上引入過帶負載均衡損失的輔助機制讓專家之間的負載盡量均勻這本質(zhì)上是在路由算子里加了一個約束項犧牲一點點單點最優(yōu)換整體吞吐。第二個難點是專家并行Expert Parallelism下的通信。當專家分散在很多張卡上時一個 token 要去找它的專家就得跨卡傳數(shù)據(jù)這就是 all-to-all 通信。all-to-all 是 MoE 訓(xùn)練里最容易被卡脖子的算子之一因為它通信量大、模式不規(guī)則。DeepSeek 在 V3 里用了一種叫 DualPipe 的流水線并行方案核心思想是讓通信和計算盡量重疊——在等數(shù)據(jù)傳過來的時候GPU 別閑著去算下一段能算的東西。這個思路業(yè)界都有但 DeepSeek 把它做到了比較精細的程度配合它自己的流水線切分方式把氣泡bubble也就是 GPU 空轉(zhuǎn)的時間壓得比較小。所以 MoE 這塊DeepSeek 的貢獻更多是在超大規(guī)模下把路由、負載均衡、通信重疊這些算子和調(diào)度細節(jié)調(diào)到位而不是憑空造了一個新算子。多頭潛在注意力MLA這是 DeepSeek 在算子層面最常被提到的一項也確實是比較有原創(chuàng)性的改動。先回憶標準的多頭注意力MHA和它的省顯存變體 GQA/MQA。注意力計算里每個 token 會生成 Query、Key、Value 三組向量。訓(xùn)練時還好麻煩在推理為了自回歸地生成下一個 token模型要把歷史上所有 token 的 Key 和 Value 都存下來這就是 KV 緩存。上下文一長、batch 一大KV 緩存能吃掉巨量顯存而且訪存帶寬會成為瓶頸——注意力算子很多時候不是算不過來是數(shù)據(jù)搬不過來。MLA 的思路是既然 KV 緩存這么占地方那我干脆把 Key 和 Value 先壓縮到一個低維的潛在向量里緩存只存這個壓縮后的低維表示算注意力時再把它解壓回高維去用。這樣緩存的體積就按壓縮比例降下來了。DeepSeek 還做了一個巧妙的設(shè)計叫解耦位置編碼——把跟位置有關(guān)的那部分單獨拿出來不塞進壓縮的潛在向量里避免位置信息干擾壓縮效果。從算子角度看MLA 的代價是計算圖變復(fù)雜了多了一步壓縮、多了一步解壓矩陣乘法的形狀也變了。它省的是顯存和訪存但并沒有省掉計算量本身甚至因為多了投影單看 FLOPs 可能還略增。這筆賬劃不劃算取決于你的瓶頸到底在顯存/帶寬還是在算力。對推理這種通?？ㄔ陲@存和帶寬上的場景MLA 是劃算的這也是為什么它主要服務(wù)于推理效率。值得說一句的是MLA 不是免費午餐。它引入了額外的投影矩陣這些矩陣本身的訓(xùn)練和數(shù)值穩(wěn)定性需要調(diào)壓縮維度選多少也是個 trade-off壓太狠會掉精度。DeepSeek 的貢獻在于把這套設(shè)計在大規(guī)模模型上驗證跑通了并且給出了工程上可實現(xiàn)的算子寫法而不是停留在論文里。FP8 低精度訓(xùn)練傳統(tǒng)大模型訓(xùn)練主流用 BF16也有用 FP16 的。FP8 是更短的浮點數(shù)格式只有 8 位意味著同樣的顯存能存更多數(shù)、顯存帶寬要搬的數(shù)據(jù)更少、GPU 上 FP8 的矩陣乘法單元吞吐更高。聽起來很美但 8 位浮點數(shù)的動態(tài)范圍和精度都非常有限直接拿來訓(xùn)練梯度、激活值很容易溢出或者下溢模型訓(xùn)著訓(xùn)著就崩了。DeepSeek 在 V3 上把 FP8 訓(xùn)練真正做到了大規(guī)?？捎眠@里面算子層面的功夫主要在兩塊。一塊是縮放scaling。FP8 表示范圍窄所以要在算之前給張量乘一個縮放因子把數(shù)值挪到 FP8 能表示的區(qū)間里算完再除回來。這個縮放因子怎么定、多久更新一次、是按張量整體縮放還是按更細的粒度比如按 block、按 channel縮放都是算子實現(xiàn)里的細節(jié)?？s放做得太粗精度丟得多做得太細開銷又上去了。另一塊是誤差補償和混合精度策略。不是所有算子都無腦上 FP8。DeepSeek 的做法是關(guān)鍵的、對精度敏感的環(huán)節(jié)比如某些累加、某些歸一化、損失計算保留更高精度把真正占大頭的矩陣乘法放到 FP8 上跑。同時配合一些數(shù)值穩(wěn)定的技巧讓訓(xùn)練不炸。這本質(zhì)上是在算子級別做精度的分區(qū)調(diào)度哪里能省、哪里不能省分得很細。FP8 這塊 DeepSeek 走得比較靠前是少數(shù)公開把 FP8 端到端訓(xùn)練跑通到前沿模型規(guī)模的案例之一。但也要客觀Hopper 架構(gòu)的 GPU 本身就支持 FP8 硬件加速DeepSeek 是第一個把這套硬件能力在超大規(guī)模訓(xùn)練里用出效果的團隊之一而不是發(fā)明了 FP8 格式。底層工程手寫內(nèi)核、內(nèi)存復(fù)用、算子融合這部分最不性感但往往是效率差距的真正來源也最不像營銷話術(shù)能吹出來的——因為它是實打?qū)嵉拇a。**算子融合kernel fusion**是常見手段把多個連續(xù)的算子合并成一個 GPU 內(nèi)核減少中間結(jié)果寫回顯存再讀出來的開銷。比如把矩陣乘 加偏置 激活融成一個內(nèi)核中間結(jié)果就不用落地到顯存了。DeepSeek 在訓(xùn)練和推理棧里大量用這類融合。內(nèi)存復(fù)用和重計算activation recomputation / gradient checkpointing訓(xùn)練時為了省顯存不把所有中間激活都存著而是在反向傳播需要時重新算一遍。這是用計算換顯存DeepSeek 在超大規(guī)模下把這套策略和它的并行方案配合得很緊。手寫 CUDA 內(nèi)核框架自帶的通用算子往往不是針對某個特定形狀、特定硬件的最優(yōu)解。當某個算子被調(diào)用了幾十億次手寫一個針對性的內(nèi)核把訪存模式、寄存器使用、線程塊劃分都調(diào)到貼合硬件收益就很可觀。DeepSeek 的開源代碼里能看到不少這類針對性實現(xiàn)。通信庫和并行策略的定制除了 DualPipeDeepSeek 還配合了它自己的流水線切分、張量并行、專家并行的組合方式讓不同并行維度之間的通信盡量不互相阻塞。這些都不是單個算子而是算子之上的調(diào)度層但它們最終都落到 GPU 上執(zhí)行的通信算子和計算算子的配合上。一個更冷靜的總結(jié)把上面這些串起來看DeepSeek 在算子層面的創(chuàng)新比較準確的描述是它沒有發(fā)明一個橫空出世、別人完全沒想過的新算子而是把一堆業(yè)界已知的優(yōu)化方向——MoE 路由與負載均衡、注意力壓縮MLA 這一項原創(chuàng)性相對高、FP8 低精度訓(xùn)練、通信計算重疊、算子融合與手寫內(nèi)核——在超大規(guī)模、真實訓(xùn)練前沿模型的條件下做得比較扎實、比較省并且公開驗證了可行性。它的成本優(yōu)勢是算法選型 工程細節(jié) 硬件適配三者一起堆出來的而不是靠某一個神奇算子一招制勝。MLA 是其中原創(chuàng)性最強的一個FP8 大規(guī)模訓(xùn)練是其中工程難度最高的一個DualPipe 和 MoE 調(diào)度是其中把已知思路做到極致的代表。所以與其把 DeepSeek 看成算子魔法不如把它看成一個把基本功練到極致的團隊在別人覺得差不多就行了的底層細節(jié)上多摳了那么幾刀最后摳出了別人用不起的成本結(jié)構(gòu)。這既不神化它也不貶低它大概是描述這件事最合適的尺度。