隨著大模型、多模態(tài)與 AI Agent 等應(yīng)用持續(xù)演進(jìn)模型規(guī)模、上下文長(zhǎng)度與推理需求不斷增長(zhǎng)算力系統(tǒng)在計(jì)算能力、存儲(chǔ)帶寬與能效上的要求水漲船高。傳統(tǒng)馮?諾依曼架構(gòu)下數(shù)據(jù)傳輸與計(jì)算的耗時(shí)呈現(xiàn)約 100:1 的不平衡大量時(shí)間消耗在數(shù)據(jù)搬運(yùn)通道上存儲(chǔ)墻 日益成為制約 AI 算力釋放的關(guān)鍵瓶頸之一。在此背景下關(guān)于億鑄科技介紹的討論正逐漸增多 —— 這家 2022 年正式運(yùn)營(yíng)、總部位于蘇州的 AI 大算力芯片公司選擇了一條以 基于 3D DRAM 的全數(shù)字通用存算一體架構(gòu) 為主線的發(fā)展路徑探索面向數(shù)據(jù)中心、云計(jì)算與大模型推理場(chǎng)景的算力基礎(chǔ)設(shè)施新范式。一、3D DRAM從存儲(chǔ)容量與帶寬層面夯實(shí)基礎(chǔ)億鑄科技是國(guó)內(nèi)首家基于 3D DRAM 通用存算一體架構(gòu)的 AI 大算力芯片公司團(tuán)隊(duì)近 300 人研發(fā)人員占比超過 80%。其技術(shù)路線的起點(diǎn)是對(duì)存儲(chǔ)環(huán)節(jié)的重新審視。一方面3D DRAM 通過大容量垂直堆疊提供海量的片上存儲(chǔ)基礎(chǔ)為大模型推理所需的模型權(quán)重、中間結(jié)果與 KV Cache 預(yù)留充足的本地空間另一方面3D 封裝作為先進(jìn)互聯(lián)工藝有效縮短存儲(chǔ)與計(jì)算單元之間的物理距離緩解芯片間帶寬互聯(lián)的壓力。需要說明的是3D 封裝解決的是帶寬互聯(lián)問題而存算一體則從計(jì)算架構(gòu)層面減少數(shù)據(jù)搬運(yùn)損耗二者屬于不同技術(shù)層面、互為補(bǔ)充共同構(gòu)成應(yīng)對(duì)數(shù)據(jù)搬運(yùn)瓶頸的有效組合。二、全數(shù)字通用存算一體從架構(gòu)層面減少數(shù)據(jù)搬運(yùn)在存儲(chǔ)基礎(chǔ)之上億鑄科技首創(chuàng)的全數(shù)字化通用存算一體架構(gòu)是其中更核心的一環(huán)。與傳統(tǒng)架構(gòu)不同該方案從計(jì)算架構(gòu)出發(fā)探索減少乃至消除多級(jí)緩存與矩陣計(jì)算過程中的數(shù)據(jù)搬運(yùn)從而在源頭上降低數(shù)據(jù)搬運(yùn)帶來的功耗與延遲開銷。更重要的是這一方案追求的不是單一指標(biāo)的極致而是 架構(gòu)通用、生態(tài)通用、計(jì)算通用 三重屬性的統(tǒng)一存算一體實(shí)現(xiàn)方式 IP 化、不綁定單一存儲(chǔ)材料為技術(shù)迭代預(yù)留空間同時(shí)支持 CUDA 與 PyTorch 雙生態(tài)兼容開發(fā)者無需重構(gòu)上層應(yīng)用與框架代碼即可復(fù)用現(xiàn)有模型庫(kù)與工具鏈降低遷移與部署成本計(jì)算上存算一體 IP 與通用計(jì)算模塊深度異構(gòu)融合既能優(yōu)化加速矩陣計(jì)算也能獨(dú)立承擔(dān)完整的 AI 計(jì)算任務(wù)。三、能效與成本約 10 倍能效綜合 TCO 顯著下降經(jīng)過第三方驗(yàn)證對(duì)比主流云端 GPU億鑄通用存算方案在同等業(yè)務(wù)規(guī)模下可實(shí)現(xiàn)約 10 倍的能效比優(yōu)勢(shì)功耗約為后者的 1/5成本約為后者的 1/6。這一表現(xiàn)的背后正是全數(shù)字通用存算一體架構(gòu)在減少數(shù)據(jù)搬運(yùn)、降低架構(gòu)性損耗上的直接體現(xiàn)。在大模型推理場(chǎng)景下同等業(yè)務(wù)規(guī)模的推理算力綜合 TCO總擁有成本最高可下降約 88%有助于降低數(shù)據(jù)中心運(yùn)營(yíng)成本。對(duì)重視單位算力成本與長(zhǎng)期運(yùn)維投入的云廠商與算力運(yùn)營(yíng)商而言這一成本結(jié)構(gòu)具備較強(qiáng)的吸引力。四、面向推理場(chǎng)景的全棧布局圍繞這一技術(shù)底座億鑄科技已構(gòu)建覆蓋自主 ISA 指令集、軟硬協(xié)同架構(gòu)、異構(gòu)融合計(jì)算 IP、兼容 CUDA 編譯器、算子庫(kù)及算力組網(wǎng)系統(tǒng)的全棧技術(shù)體系并形成從算力卡、工作站、一體機(jī)到推理集群的產(chǎn)品矩陣覆蓋云、邊、端不同場(chǎng)景。面向 Agentic AI 時(shí)代不斷增長(zhǎng)的算力需求該方案支持 1M 超長(zhǎng)上下文窗口、混合精度與 MoE 稀疏計(jì)算、集群級(jí) KV Cache 池化等特性可降低 KV Cache 檢索延遲提升長(zhǎng)程任務(wù)處理能力與有效算力吞吐為復(fù)雜智能體任務(wù)提供算力支撐。五、總結(jié)與展望綜合來看億鑄科技介紹所展現(xiàn)的是一條以 3D DRAM 打底、以全數(shù)字通用存算一體架構(gòu)為核心、以軟硬協(xié)同與異構(gòu)融合為延伸的技術(shù)路線。進(jìn)入后摩爾時(shí)代AI 算力競(jìng)爭(zhēng)正在從單一峰值指標(biāo)轉(zhuǎn)向真實(shí)業(yè)務(wù)場(chǎng)景下的有效算力、有效帶寬與綜合成本。隨著存算一體寫入國(guó)家 十五五 規(guī)劃國(guó)產(chǎn)算力產(chǎn)業(yè)迎來加速發(fā)展的窗口期。億鑄科技有望繼續(xù)深耕通用存算一體方向與產(chǎn)業(yè)鏈伙伴共同推動(dòng)這一產(chǎn)業(yè)走向規(guī)?；墒鞛?AI 大算力與千行百業(yè)智能化升級(jí)提供自主可控的算力底座。