隨著大語言模型的能力持續(xù)飆升一個(gè)長期困擾行業(yè)的最后一公里問題正在被逐步攻克如何在算力受限、功耗受限的終端設(shè)備上高效運(yùn)行數(shù)十億乃至數(shù)百億參數(shù)的大模型2026 年 7 月多款面向端側(cè)的大模型推理芯片在行業(yè)展會(huì)上集中亮相其中基于軟件定義近存計(jì)算Near-Memory Computing架構(gòu)的 3D 堆疊芯片成為最受關(guān)注的技術(shù)突破。這類芯片通過在三維空間內(nèi)將計(jì)算單元與存儲(chǔ)單元極致靠近排布大幅縮短數(shù)據(jù)搬運(yùn)距離從而在遠(yuǎn)低于傳統(tǒng)方案的功耗下實(shí)現(xiàn)本地大模型的實(shí)時(shí)推理。這不僅是一次芯片架構(gòu)層面的創(chuàng)新更是 AI 普惠進(jìn)程中的關(guān)鍵節(jié)點(diǎn)。當(dāng)模型推理不再依賴云端連接隱私、成本、可靠性等一系列長期制約 AI 落地的瓶頸將得到根本性緩解。一、為什么端側(cè) AI 是必爭之地過去幾年AI 推理主要發(fā)生在云端數(shù)據(jù)中心。廠商購買或租用 GPU 集群通過 API 的方式對外提供服務(wù)。這種模式的優(yōu)勢在于集中算力、彈性擴(kuò)展但劣勢同樣明顯每一次推理請求都需要將用戶數(shù)據(jù)上傳至服務(wù)器這對隱私敏感型場景醫(yī)療記錄、財(cái)務(wù)信息、私人對話構(gòu)成了天然的法律與信任障礙同時(shí)持續(xù)的 API 調(diào)用費(fèi)用在大規(guī)模部署時(shí)將成為顯著的運(yùn)營成本此外網(wǎng)絡(luò)延遲與可用性也限制了實(shí)時(shí)性要求極高的應(yīng)用場景。端側(cè) AI 的核心價(jià)值在于數(shù)據(jù)不動(dòng)模型動(dòng)。推理在設(shè)備本地完成數(shù)據(jù)從未離開終端既滿足了隱私合規(guī)要求也消除了網(wǎng)絡(luò)依賴。想象一下一部手機(jī)可以在離線狀態(tài)下完成文檔摘要、實(shí)時(shí)翻譯、圖像生成一輛智能汽車可以在隧道、地下車庫等無網(wǎng)絡(luò)區(qū)域持續(xù)運(yùn)行智能座艙功能一臺(tái)工業(yè)巡檢相機(jī)可以在現(xiàn)場即時(shí)分析設(shè)備異常無需等待云端返回結(jié)果——這些場景正在從概念走向現(xiàn)實(shí)。二、3D 近存計(jì)算打破存儲(chǔ)墻傳統(tǒng)芯片架構(gòu)中計(jì)算單元與存儲(chǔ)單元通常分別放置在芯片的不同區(qū)域數(shù)據(jù)在兩者之間通過總線傳輸。隨著模型規(guī)模增大每一次矩陣運(yùn)算都需要頻繁從內(nèi)存讀取權(quán)重?cái)?shù)據(jù)而內(nèi)存帶寬的增長速度遠(yuǎn)跟不上計(jì)算需求的增長形成所謂的存儲(chǔ)墻Memory Wall問題。3D 近存計(jì)算的核心思路是將存儲(chǔ)單元主要是 SRAM 或 DRAM以芯片堆疊3D Stacking的方式直接放置在計(jì)算單元上方或相鄰位置大幅縮短互連距離降低數(shù)據(jù)搬運(yùn)能耗與延遲。近存計(jì)算更進(jìn)一步不只是讓存儲(chǔ)更近而是在存儲(chǔ)陣列附近直接完成部分計(jì)算操作減少數(shù)據(jù)在存儲(chǔ)與計(jì)算之間的往返次數(shù)。這兩項(xiàng)技術(shù)結(jié)合使得在數(shù)瓦功耗約束下運(yùn)行數(shù)十億參數(shù)模型成為可能。值得注意的是本次亮相的多款芯片還引入了軟件定義的設(shè)計(jì)理念——即芯片的運(yùn)算單元可根據(jù)不同的模型架構(gòu)與任務(wù)類型進(jìn)行動(dòng)態(tài)配置而不僅限于固定的功能模塊。這使得同一塊芯片可以通過軟件更新適配未來出現(xiàn)的新模型架構(gòu)大幅延長了硬件的生命周期降低了終端廠商的迭代成本。三、落地場景從消費(fèi)電子到工業(yè) IoT端側(cè) AI 芯片的第一波落地將集中在以下幾個(gè)場景AI 手機(jī)搭載專用 NPU 的旗艦手機(jī)可在本地運(yùn)行 70 億~130 億參數(shù)的語言模型實(shí)現(xiàn)實(shí)時(shí)語音助手、文檔處理、AI 攝影增強(qiáng)等功能隱私數(shù)據(jù)全程不離手機(jī)。智能座艙車載系統(tǒng)在離線環(huán)境下提供語音交互、導(dǎo)航增強(qiáng)、駕駛員狀態(tài)監(jiān)測等服務(wù)端側(cè)推理確保了毫秒級(jí)的響應(yīng)延遲。工業(yè) IoT 與邊緣計(jì)算工廠、電站、礦山等場景中的巡檢相機(jī)、傳感器網(wǎng)關(guān)可在邊緣側(cè)完成異常檢測與初步?jīng)Q策減少數(shù)據(jù)傳輸量與決策延遲?？纱┐髟O(shè)備智能眼鏡、AR 頭顯借助端側(cè)芯片實(shí)現(xiàn)實(shí)時(shí)翻譯、物體識(shí)別、信息疊加擺脫對手機(jī)或網(wǎng)絡(luò)的依賴。這些場景的共同特征是對延遲敏感、對隱私要求高、需要離線可用或間歇性聯(lián)網(wǎng)。端側(cè) AI 芯片精準(zhǔn)命中這些需求痛點(diǎn)。四、模型壓縮與芯片共同演進(jìn)的關(guān)鍵技術(shù)端側(cè) AI 的落地不僅是芯片的功勞模型壓縮技術(shù)的同步成熟同樣不可或缺。主流的壓縮技術(shù)包括量化Quantization——將模型權(quán)重從 FP32 壓縮至 INT8、INT4 甚至更低精度大幅減少存儲(chǔ)需求與計(jì)算量知識(shí)蒸餾Distillation——用大模型監(jiān)督訓(xùn)練一個(gè)小模型使其繼承大模型的泛化能力同時(shí)具備更快的推理速度稀疏化Pruning——剪除對輸出貢獻(xiàn)較小的神經(jīng)元或連接減少無效計(jì)算。這些技術(shù)與端側(cè)芯片的硬件特性定點(diǎn)運(yùn)算單元、近存計(jì)算架構(gòu)深度配合形成了算法-硬件協(xié)同優(yōu)化的完整鏈條。單獨(dú)依靠任何一方都難以實(shí)現(xiàn)理想效果只有兩者同步推進(jìn)端側(cè) AI 才能真正達(dá)到用起來和云端差不多的體驗(yàn)。五、挑戰(zhàn)與未來方向端側(cè) AI 芯片賽道雖然熱鬧但仍面臨多重挑戰(zhàn)。首先是芯片制造成本3D 堆疊工藝對封裝技術(shù)要求極高良率控制難度大導(dǎo)致單芯片成本仍處于較高水平其次是散熱管理端側(cè)設(shè)備的被動(dòng)散熱能力有限在持續(xù)高負(fù)載推理時(shí)如何控制芯片溫度是一大工程難題第三是應(yīng)用生態(tài)開發(fā)者需要針對端側(cè)硬件重新優(yōu)化模型與工作流現(xiàn)有的工具鏈與遷移路徑還不夠成熟。展望未來三到五年端側(cè) AI 芯片有望經(jīng)歷從能用到好用的跨越。隨著制程工藝進(jìn)步、封裝成本下降以及開源壓縮工具鏈的成熟十億參數(shù)級(jí)別的模型在手機(jī)、汽車等消費(fèi)級(jí)設(shè)備上流暢運(yùn)行將成為常態(tài)。這一進(jìn)程的深入將重新定義 AI 應(yīng)用的分布格局——本地智能與云端智能各司其職、互為補(bǔ)充共同服務(wù)于一個(gè)更加普惠、隱私友好的 AI 時(shí)代。