算力網(wǎng)絡(luò)這個(gè)詞圈內(nèi)聊了三四年但真正被大家掛在嘴邊還是大模型和AI算力需求爆發(fā)之后的事。我在做算力調(diào)度平臺(tái)和智算中心建設(shè)的這幾年里最大的感受是算力網(wǎng)絡(luò)不是把一個(gè)GPU集群用網(wǎng)線連起來(lái)那么簡(jiǎn)單它更像是在構(gòu)建一套“算力的電網(wǎng)”里面涉及資源度量、路由調(diào)度、確定性傳輸以及最容易被忽略的——算力負(fù)載對(duì)能源系統(tǒng)的沖擊。尤其是“AI負(fù)載中電池系統(tǒng)對(duì)電網(wǎng)的平滑能力怎么計(jì)算”這個(gè)問(wèn)題最近被問(wèn)得特別多說(shuō)明行業(yè)已經(jīng)從單純堆卡進(jìn)入精細(xì)化運(yùn)營(yíng)階段了。這篇內(nèi)容我把自己在算力網(wǎng)絡(luò)項(xiàng)目中的實(shí)際經(jīng)驗(yàn)做個(gè)系統(tǒng)性梳理。從算力網(wǎng)絡(luò)的核心框架開(kāi)始一步步拆解到算力度量、調(diào)度策略、AI訓(xùn)練場(chǎng)景下的網(wǎng)絡(luò)要求再落到儲(chǔ)能平滑能力的量化計(jì)算最后聊聊應(yīng)用落地和常見(jiàn)坑。盡量講透能直接拿去參考。1. 算力網(wǎng)絡(luò)的本質(zhì)把分散算力變成“一鍵調(diào)用”的資源池1.1 算力網(wǎng)絡(luò)到底解決什么問(wèn)題先說(shuō)個(gè)本質(zhì)問(wèn)題算力網(wǎng)絡(luò)想解決的不是“算力不夠”而是“算力分布不均、利用率參差、調(diào)用門(mén)檻高”。很多企業(yè)自己采購(gòu)了一堆GPU服務(wù)器但利用率可能只有20%~30%另一邊有些科研團(tuán)隊(duì)急著跑模型本地算力根本不夠要排隊(duì)等資源。兩邊信息不通資源就僵在那里。算力網(wǎng)絡(luò)做的事情是把分散在不同地理位置、不同所有權(quán)、不同架構(gòu)的計(jì)算資源通過(guò)高速網(wǎng)絡(luò)連接起來(lái)形成一個(gè)對(duì)用戶(hù)透明的“算力資源池”。用戶(hù)提交一個(gè)任務(wù)網(wǎng)絡(luò)層負(fù)責(zé)找到最合適的算力節(jié)點(diǎn)完成數(shù)據(jù)流轉(zhuǎn)和結(jié)果回傳。這聽(tīng)起來(lái)和云計(jì)算很像但算力網(wǎng)絡(luò)的范圍更廣——它不只做集中式的云而是把云、邊緣、甚至數(shù)據(jù)中心空閑資源統(tǒng)一納管起來(lái)。我的理解是算力網(wǎng)絡(luò)本質(zhì)上就是一個(gè)“算力調(diào)度系統(tǒng) 高速傳輸網(wǎng)絡(luò) 資源度量標(biāo)準(zhǔn)”的結(jié)合體。它的目標(biāo)是讓用戶(hù)手中的計(jì)算任務(wù)像用電一樣——插上插頭就能用不用關(guān)心電是從哪個(gè)電廠來(lái)的。1.2 算力網(wǎng)絡(luò)與云計(jì)算的核心區(qū)別很多人問(wèn)算力網(wǎng)絡(luò)和云計(jì)算到底有什么區(qū)別一個(gè)關(guān)鍵差別在于“資源的可見(jiàn)性和調(diào)度范圍”。云計(jì)算模式下用戶(hù)依賴(lài)某一個(gè)云廠商資源在廠商的數(shù)據(jù)中心里調(diào)度范圍是單一集群或單一地域。算力網(wǎng)絡(luò)則跨越多個(gè)數(shù)據(jù)中心、多個(gè)算力節(jié)點(diǎn)甚至兼容多個(gè)云廠商的資源調(diào)度范圍不再局限于某一個(gè)系統(tǒng)。這帶來(lái)了一個(gè)難點(diǎn)誰(shuí)來(lái)統(tǒng)一度量不同廠商、不同架構(gòu)的算力資源又該如何在保證安全的前提下把任務(wù)調(diào)度到別人的資源上另一個(gè)差別是“網(wǎng)絡(luò)的角色”。云計(jì)算中網(wǎng)絡(luò)更多是“管道”負(fù)責(zé)把數(shù)據(jù)送到虛擬機(jī)或容器里。算力網(wǎng)絡(luò)中網(wǎng)絡(luò)是“大腦”要讓數(shù)據(jù)在恰當(dāng)?shù)臅r(shí)機(jī)流到最空閑、最便宜的算力上。這就必須引入算力路由、狀態(tài)感知、智能調(diào)度這些能力網(wǎng)絡(luò)不再只是傳輸而是參與決策。2. 算力網(wǎng)絡(luò)的整體架構(gòu)與技術(shù)框架2.1 分層拆解算力、網(wǎng)絡(luò)、調(diào)度、交易我在實(shí)際項(xiàng)目中傾向于把算力網(wǎng)絡(luò)拆成四層來(lái)看。第一層是算力資源層解決“有哪些算力”的問(wèn)題。包括數(shù)據(jù)中心機(jī)房、GPU服務(wù)器、CPU集群、邊緣節(jié)點(diǎn)以及各種加速硬件如NPU、FPGA。需要說(shuō)明的是算力類(lèi)型千差萬(wàn)別訓(xùn)練大模型要的是高吞吐的GPU跑推理可能要低延遲的NPU做視頻渲染又依賴(lài)CPU主頻。資源層要做的就是把異構(gòu)算力抽象出來(lái)形成可操作的資源描述。第二層是網(wǎng)絡(luò)連接層解決“怎么連”的問(wèn)題。算力節(jié)點(diǎn)之間需要大帶寬、低時(shí)延、高可靠的傳輸通道。這一層不只是光纜和交換機(jī)還涉及網(wǎng)絡(luò)切片、確定性轉(zhuǎn)發(fā)、擁塞控制等技術(shù)。尤其是AI訓(xùn)練任務(wù)多機(jī)并行通信對(duì)網(wǎng)絡(luò)質(zhì)量極其敏感丟包率哪怕只有0.1%都可能讓集群的整體訓(xùn)練效率顯著下降。第三層是算力調(diào)度層解決“給誰(shuí)用、怎么用”的問(wèn)題。這一層我理解是整個(gè)算力網(wǎng)絡(luò)的“操作系統(tǒng)”。它持續(xù)收集所有節(jié)點(diǎn)的實(shí)時(shí)狀態(tài)包括利用率、溫度、網(wǎng)絡(luò)質(zhì)量、電費(fèi)成本然后根據(jù)用戶(hù)請(qǐng)求決定把任務(wù)放到哪里。調(diào)度算法可以基于時(shí)延最優(yōu)、成本最優(yōu)、能耗最優(yōu)等不同策略。第四層是算力交易層解決“怎么結(jié)算”的問(wèn)題。算力網(wǎng)絡(luò)的長(zhǎng)期目標(biāo)是形成開(kāi)放的算力市場(chǎng)需求方和供給方之間能夠按量計(jì)價(jià)、按需結(jié)算。這部分涉及計(jì)費(fèi)體系、SLA保障、身份認(rèn)證和隱私保護(hù)。目前真正跑通交易層的案例不多但算力并網(wǎng)和算力度量的標(biāo)準(zhǔn)化工作一直在推進(jìn)。2.2 算力網(wǎng)絡(luò)的四大關(guān)鍵組件在上述架構(gòu)下我認(rèn)為有幾個(gè)組件是繞不開(kāi)的核心。第一個(gè)是算力網(wǎng)關(guān)。它是連接用戶(hù)和算力網(wǎng)絡(luò)的入口負(fù)責(zé)接收任務(wù)請(qǐng)求、完成身份認(rèn)證、把任務(wù)翻譯成調(diào)度層能懂的描述。你可以把它理解成“用電的插頭”用戶(hù)不需要關(guān)心后臺(tái)怎么接電只管插入即可。第二個(gè)是算力路由。這是調(diào)度決策的執(zhí)行器根據(jù)調(diào)度層的策略計(jì)算出任務(wù)應(yīng)該發(fā)往哪個(gè)算力節(jié)點(diǎn)。它和傳統(tǒng)路由器的區(qū)別在于不僅看網(wǎng)絡(luò)地址還要看“算力資源狀態(tài)”。哪個(gè)節(jié)點(diǎn)GPU空閑、哪個(gè)節(jié)點(diǎn)價(jià)格便宜、哪個(gè)節(jié)點(diǎn)數(shù)據(jù)已緩存都是路由決策的輸入。第三個(gè)是全局狀態(tài)感知系統(tǒng)。它監(jiān)聽(tīng)算力網(wǎng)絡(luò)中所有節(jié)點(diǎn)的健康狀態(tài)和負(fù)載信息。沒(méi)有這個(gè)系統(tǒng)調(diào)度就是盲的。狀態(tài)感知的數(shù)據(jù)要實(shí)時(shí)更新通常秒級(jí)采集一次因?yàn)樗懔Y源的空閑狀態(tài)變化太快信息滯后幾秒鐘調(diào)度決策可能就失真了。第四個(gè)是調(diào)度策略引擎。它負(fù)責(zé)執(zhí)行調(diào)度算法比如最小化任務(wù)排隊(duì)時(shí)間、最大化資源利用率、平衡各節(jié)點(diǎn)的能耗等。更復(fù)雜的策略還會(huì)結(jié)合電力市場(chǎng)的電價(jià)波動(dòng)把可延遲的任務(wù)放到低谷電價(jià)時(shí)段執(zhí)行。這類(lèi)“算力電力”協(xié)同調(diào)度在實(shí)際工程中非常有效。3. 算力度量與算力路由調(diào)度決策的基礎(chǔ)3.1 算力度量怎么給異構(gòu)算力“打分”做算力網(wǎng)絡(luò)最頭疼的一件事就是怎么定義“1份算力”GPU的算力通常用每秒浮點(diǎn)運(yùn)算次數(shù)TFLOPS表示CPU算力可以用每秒指令數(shù)IPS但這些單位之間怎么換算一塊A100和一臺(tái)高性能CPU服務(wù)器到底誰(shuí)算力更強(qiáng)在異構(gòu)資源池中很難用單一指標(biāo)衡量。實(shí)際項(xiàng)目中我建議從三個(gè)維度做度量。第一個(gè)是理論峰值算力用標(biāo)準(zhǔn)Benchmark如ResNet-50訓(xùn)練功耗、BERT推理延遲跑出來(lái)的結(jié)果作為參考。第二個(gè)是實(shí)際利用率考慮可分配比、調(diào)度效率、并行擴(kuò)展效率。比如一個(gè)GPU集群?jiǎn)螜C(jī)性能再?gòu)?qiáng)如果多機(jī)通信效率低下實(shí)際可用算力會(huì)遠(yuǎn)低于峰值。第三個(gè)是綜合服務(wù)能力包括網(wǎng)絡(luò)帶寬、存儲(chǔ)IOPS、內(nèi)存容量。行業(yè)里現(xiàn)在也沒(méi)有統(tǒng)一的度量標(biāo)準(zhǔn)各家平臺(tái)都在推自己的“算力單位”。但我們做項(xiàng)目時(shí)不糾結(jié)統(tǒng)一單位更強(qiáng)調(diào)的是“給任務(wù)匹配資源”。方法是為每個(gè)算力節(jié)點(diǎn)打一套標(biāo)簽比如{GPU類(lèi)型: A100, 顯存: 80GB, 單卡FP16算力: 312 TFLOPS, 互聯(lián)帶寬: 600GB/s}調(diào)度系統(tǒng)根據(jù)任務(wù)需求做匹配。只要標(biāo)簽定義一致在不跨平臺(tái)的前提下這套方法是穩(wěn)定可用的。3.2 算力路由算法從最短路徑到綜合最優(yōu)算力路由算法是算力網(wǎng)絡(luò)的核心技術(shù)難點(diǎn)之一。傳統(tǒng)的IP路由以“最短路徑優(yōu)先”為目標(biāo)算力路由的選路邏輯復(fù)雜得多既要考慮網(wǎng)絡(luò)路徑質(zhì)量又要考慮算力節(jié)點(diǎn)的負(fù)載狀態(tài)和成本。我常用的調(diào)度算法思路是這樣的初始候選集從網(wǎng)絡(luò)中篩選出所有滿足計(jì)算資源要求的節(jié)點(diǎn)要求包括GPU類(lèi)型匹配、內(nèi)存充足、軟件環(huán)境匹配。然后對(duì)候選節(jié)點(diǎn)做網(wǎng)絡(luò)質(zhì)量評(píng)估測(cè)的是用戶(hù)到節(jié)點(diǎn)的時(shí)延、可用帶寬、丟包率。接著結(jié)合節(jié)點(diǎn)實(shí)時(shí)負(fù)載計(jì)算“預(yù)測(cè)等待時(shí)間”也就是任務(wù)提交后要排隊(duì)多久才能開(kāi)始執(zhí)行。最后綜合評(píng)估成本包括算力單價(jià)、數(shù)據(jù)傳輸費(fèi)用。打分公式可以很簡(jiǎn)單調(diào)度得分 節(jié)點(diǎn)可用性權(quán)重 × 負(fù)載得分 網(wǎng)絡(luò)質(zhì)量權(quán)重 × 網(wǎng)絡(luò)得分 成本權(quán)重 × 成本得分。真正的難點(diǎn)在于權(quán)重怎么定——不同業(yè)務(wù)差異太大。實(shí)時(shí)推理任務(wù)網(wǎng)絡(luò)時(shí)延權(quán)重最高離線訓(xùn)練任務(wù)算力價(jià)格和利用率權(quán)重更高。所以我在項(xiàng)目中不做全靜態(tài)的權(quán)重而是給每個(gè)業(yè)務(wù)類(lèi)型配置一套默認(rèn)權(quán)重參數(shù)線上觀察再調(diào)優(yōu)。3.3 算力路由的時(shí)延敏感性與動(dòng)態(tài)調(diào)整算力網(wǎng)絡(luò)里有一個(gè)特殊場(chǎng)景任務(wù)持續(xù)數(shù)小時(shí)甚至數(shù)天中途節(jié)點(diǎn)狀態(tài)會(huì)劇烈變化。比如GPU訓(xùn)練任務(wù)剛提交時(shí)節(jié)點(diǎn)空閑跑了1小時(shí)后其他任務(wù)也涌進(jìn)來(lái)了節(jié)點(diǎn)的排隊(duì)時(shí)間大幅上升。這時(shí)候需要?jiǎng)討B(tài)調(diào)整也就是重路由——把尚未完成的任務(wù)遷移到其他更空閑的節(jié)點(diǎn)。任務(wù)遷移在算力網(wǎng)絡(luò)里是個(gè)高風(fēng)險(xiǎn)操作因?yàn)樯婕按罅恐虚g狀態(tài)和數(shù)據(jù)的搬運(yùn)。我建議采取“先復(fù)制、再切換、后清理”三步走先將任務(wù)快照復(fù)制到目標(biāo)節(jié)點(diǎn)在網(wǎng)絡(luò)層做流量切換最后由調(diào)度系統(tǒng)原節(jié)點(diǎn)避免遷移過(guò)程對(duì)任務(wù)造成中斷。不過(guò)要特別注意遷移決策要在“遷移開(kāi)銷(xiāo)”和“資源收益”之間做權(quán)衡。如果任務(wù)只剩下半小時(shí)即使原節(jié)點(diǎn)排隊(duì)時(shí)間變長(zhǎng)遷移的收益也可能不劃算。計(jì)算遷移收益時(shí)我會(huì)預(yù)估遷移耗時(shí)、預(yù)估目標(biāo)節(jié)點(diǎn)收益、對(duì)比二者差值只有當(dāng)收益大于1.5倍開(kāi)銷(xiāo)時(shí)才執(zhí)行遷移這個(gè)閾值是實(shí)踐經(jīng)驗(yàn)大模型訓(xùn)練任務(wù)尤其要保守一些。4. AI算力網(wǎng)絡(luò)的落地實(shí)踐大模型訓(xùn)練與推理的視角4.1 AI算力網(wǎng)絡(luò)和傳統(tǒng)算力網(wǎng)絡(luò)有何不同有了上面的基礎(chǔ)再來(lái)看AI負(fù)載帶來(lái)的獨(dú)特挑戰(zhàn)。傳統(tǒng)的計(jì)算任務(wù)比如網(wǎng)頁(yè)服務(wù)、大數(shù)據(jù)分析通信模式相對(duì)簡(jiǎn)單。AI任務(wù)尤其是大模型訓(xùn)練完全不同。大模型分布式訓(xùn)練采用的是“數(shù)據(jù)并行 模型并行 張量并行”的混合模式每經(jīng)過(guò)一個(gè)計(jì)算步驟所有GPU都要做一次梯度同步。這個(gè)同步過(guò)程對(duì)網(wǎng)絡(luò)的要求是極端的——不僅要帶寬大時(shí)延還必須低且穩(wěn)定。我見(jiàn)過(guò)不少團(tuán)隊(duì)單機(jī)8卡訓(xùn)練速度很快一上多機(jī)集群性能直接掉一半問(wèn)題就出在跨機(jī)通信上。算力網(wǎng)絡(luò)如果承載AI訓(xùn)練任務(wù)網(wǎng)絡(luò)層面必須做到“確定性”和“無(wú)損”。確定性是指延遲波動(dòng)小因?yàn)橥竭^(guò)程是周期性集體動(dòng)作一次卡頓就會(huì)拖慢整個(gè)訓(xùn)練步。無(wú)損是指零丟包RoCE或InfiniBand環(huán)境下?lián)砣斐傻膩G包會(huì)被流控重傳機(jī)制懲罰吞吐量瞬間崩塌。4.2 訓(xùn)練作業(yè)的調(diào)度不是“放下去”就行AI訓(xùn)練任務(wù)對(duì)調(diào)度系統(tǒng)的要求很細(xì)核心有三點(diǎn)。第一是“集群親和性”。一個(gè)訓(xùn)練作業(yè)通常由幾十甚至上千張卡組成這些卡最好分配到同一個(gè)機(jī)房、同一臺(tái)交換機(jī)之下避免跨區(qū)域通信。調(diào)度系統(tǒng)需要把集群理解為“拓?fù)涓兄馁Y源組”而不是零散的單卡池。第二是“排他性分配”。訓(xùn)練任務(wù)往往全程占卡除非主動(dòng)遷出否則調(diào)度系統(tǒng)不應(yīng)該把其他任務(wù)插入已分配的GPU中。這和微服務(wù)場(chǎng)景的彈性伸縮邏輯完全不同。第三是“容錯(cuò)恢復(fù)”。訓(xùn)練跑了幾小時(shí)一張卡壞了最理想的是調(diào)度器能自動(dòng)找到替代節(jié)點(diǎn)拉起斷點(diǎn)續(xù)訓(xùn)。斷點(diǎn)續(xù)訓(xùn)依賴(lài)定期保存的模型權(quán)重和優(yōu)化器狀態(tài)調(diào)度系統(tǒng)要管理好這些checkpoint的存儲(chǔ)位置。我的經(jīng)驗(yàn)是checkpoint存儲(chǔ)要做到“本地快 遠(yuǎn)端穩(wěn)”近端用NVMe緩存遠(yuǎn)端用分布式存儲(chǔ)冗余頻率控制在每10~20分鐘一次。4.3 算力網(wǎng)絡(luò)中的推理場(chǎng)景反向調(diào)度邏輯訓(xùn)練是重載推理則是高頻短任務(wù)。推理場(chǎng)景下算力網(wǎng)絡(luò)要處理的更多是“冷熱分離”。熱數(shù)據(jù)緩存到離用戶(hù)最近的邊緣節(jié)點(diǎn)冷數(shù)據(jù)則回源中心云處理。這里有一個(gè)很重要的點(diǎn)推理任務(wù)比訓(xùn)練任務(wù)更適合結(jié)合“電價(jià)”做調(diào)度。比如某些區(qū)域的推理請(qǐng)求有明顯的波峰波谷波谷時(shí)段電能充裕且便宜可以在那些地域預(yù)置推理服務(wù)實(shí)例提前加載模型。算力網(wǎng)絡(luò)的調(diào)度引擎如果接入電價(jià)的實(shí)時(shí)接口可以根據(jù)“算力成本 電力成本 網(wǎng)絡(luò)成本”綜合成本做推理路由。這個(gè)方向我在實(shí)際項(xiàng)目中已經(jīng)試過(guò)能把整體的推理成本壓低大約15%~20%前提是要有足夠多的地域節(jié)點(diǎn)容錯(cuò)。5. AI負(fù)載的電網(wǎng)沖擊與電池系統(tǒng)平滑能力計(jì)算5.1 為什么AI負(fù)載對(duì)電網(wǎng)沖擊特別大把目光從網(wǎng)絡(luò)拉到機(jī)房之外。AI算力負(fù)載有一個(gè)讓電力工程師非常頭疼的特點(diǎn)——突變性強(qiáng)。大模型訓(xùn)練任務(wù)的啟動(dòng)和停止是瞬間性的一個(gè)訓(xùn)練作業(yè)啟動(dòng)可能意味著幾百臺(tái)GPU服務(wù)器在幾秒內(nèi)滿負(fù)荷運(yùn)行功率從幾百千瓦飆升到幾兆瓦訓(xùn)練結(jié)束功率又陡降下來(lái)。這種大幅度的功率突變對(duì)電網(wǎng)是很大的壓力。電網(wǎng)對(duì)用電用戶(hù)有一個(gè)指標(biāo)叫做“功率變化率”或“爬坡率”指的是單位時(shí)間內(nèi)功率允許變化的幅度。光伏、風(fēng)電這類(lèi)新能源發(fā)電因?yàn)槌隽Σ环€(wěn)定電網(wǎng)已經(jīng)要花很多成本調(diào)峰現(xiàn)在AI負(fù)載再來(lái)一個(gè)隨機(jī)性很強(qiáng)的沖擊會(huì)造成電壓頻率波動(dòng)嚴(yán)重時(shí)影響電網(wǎng)穩(wěn)定性。所以許多地區(qū)對(duì)大用戶(hù)有了更嚴(yán)格的要求如果功率爬坡率超過(guò)規(guī)定值會(huì)面臨處罰。這就要求算力中心配置儲(chǔ)能系統(tǒng)來(lái)“削峰填谷”和“平滑功率曲線”。5.2 儲(chǔ)能平滑能力的計(jì)算邏輯與核心參數(shù)回到那個(gè)關(guān)鍵問(wèn)題電池系統(tǒng)對(duì)電網(wǎng)的平滑能力怎么計(jì)算平滑能力不是直觀的“儲(chǔ)能容量”指標(biāo)它由三個(gè)指標(biāo)共同決定功率支撐能力指儲(chǔ)能系統(tǒng)在單位時(shí)間內(nèi)能吸收或釋放多少功率決定儲(chǔ)能能不能“跟上”負(fù)載的突變能量容量指儲(chǔ)能能支撐多長(zhǎng)時(shí)間決定能不能熬過(guò)整個(gè)波動(dòng)周期響應(yīng)速度指從檢測(cè)到功率偏差到儲(chǔ)能系統(tǒng)開(kāi)始動(dòng)作的時(shí)間這個(gè)越短越好建議在百毫秒級(jí)別。具體計(jì)算方法按照工程實(shí)踐分為幾步。第一步確定“目標(biāo)平滑曲線”也就是電網(wǎng)允許的功率波動(dòng)范圍。第二步采集算力中心實(shí)際的負(fù)載曲線關(guān)鍵是識(shí)別出最大爬坡率。第三步計(jì)算“偏差功率”用實(shí)際負(fù)載變化率減去允許的爬坡率。第四步對(duì)偏差功率在時(shí)間維度上積分得到所需的能量容量。最后一步加上安全系數(shù)。5.3 10MW算力園區(qū)儲(chǔ)能配置計(jì)算實(shí)例我舉一個(gè)實(shí)際算例來(lái)說(shuō)明。假設(shè)一個(gè)智算中心規(guī)劃容量10MW電網(wǎng)對(duì)它的功率爬坡率要求是“1分鐘內(nèi)功率變化不超過(guò)1MW”也就是爬坡率1MW/min。實(shí)測(cè)發(fā)現(xiàn)由于AI訓(xùn)練任務(wù)并發(fā)啟動(dòng)負(fù)載在2分鐘內(nèi)從2MW飆升至8MW爬坡率3MW/min。這已經(jīng)超過(guò)電網(wǎng)允許值1MW/min差額是2MW/min且超限狀態(tài)持續(xù)了2分鐘。需要的儲(chǔ)能功率支撐3MW/min - 1MW/min 2MW。這意味著儲(chǔ)能系統(tǒng)至少需要2MW的功率輸出能力來(lái)“吞掉”多余的突變功率。需要存儲(chǔ)的能量2MW × 2min 4MWh。實(shí)際配置時(shí)會(huì)考慮裕量系數(shù)1.2倍儲(chǔ)能功率取2.4MW如果波動(dòng)比較頻繁能量裕量要考慮“連續(xù)多次波動(dòng)的疊加”配置到6MWh以上。這就是一個(gè)最基本的儲(chǔ)能容量估算。5.4 儲(chǔ)能系統(tǒng)的響應(yīng)控制策略?xún)?chǔ)能不是“配置了就行”關(guān)鍵是控制策略。我用過(guò)的控制邏輯是“功率變化率限值反饋控制”實(shí)時(shí)監(jiān)測(cè)關(guān)口功率計(jì)算1分鐘滑動(dòng)窗口內(nèi)的平均變化率一旦超過(guò)設(shè)定閾值儲(chǔ)能系統(tǒng)立即反向出力。上漲過(guò)快就充電吸收多余功率下跌過(guò)快就放電補(bǔ)充功率缺口。響應(yīng)延時(shí)是整個(gè)系統(tǒng)的生命線。國(guó)產(chǎn)主流PCS儲(chǔ)能變流器的響應(yīng)時(shí)間通常小于100ms電池系統(tǒng)的總響應(yīng)控制在幾百毫秒這個(gè)水平足以應(yīng)對(duì)分鐘級(jí)功率變化。有個(gè)容易忽視的細(xì)節(jié)SOC荷電狀態(tài)管理。儲(chǔ)能系統(tǒng)如果在“吸收功率”時(shí)把電池充滿了后續(xù)再發(fā)生負(fù)載上漲就沒(méi)有余量繼續(xù)充電平滑能力就“虛標(biāo)”了。我建議SOC工作區(qū)間設(shè)置在10%~90%平時(shí)保持在50%附近給雙向調(diào)節(jié)留足空間。另外采用“功率優(yōu)先、能量兜底”的控制模式正常情況下維持削峰填谷功能當(dāng)容量低于下限時(shí)切換為保電模式優(yōu)先保障重要負(fù)載的供電。5.5 算力調(diào)度與儲(chǔ)能的聯(lián)動(dòng)優(yōu)化最后分享一個(gè)進(jìn)階玩法算力調(diào)度系統(tǒng)和儲(chǔ)能系統(tǒng)聯(lián)動(dòng)。既然AI負(fù)載的突變是任務(wù)調(diào)度引發(fā)的那能不能在調(diào)度時(shí)就考慮電力和儲(chǔ)能的約束我們?cè)趯?shí)踐中給算力調(diào)度系統(tǒng)增加了“功率上限”參數(shù)。系統(tǒng)會(huì)實(shí)時(shí)獲取電網(wǎng)允許功率上限和儲(chǔ)能剩余容量當(dāng)預(yù)測(cè)到即將啟動(dòng)的訓(xùn)練任務(wù)會(huì)使整體功率超出上限時(shí)調(diào)度器會(huì)選擇延遲任務(wù)啟動(dòng)、降低任務(wù)優(yōu)先級(jí)、或者分布到其他地域的節(jié)點(diǎn)。這種做法直接從源頭減少了功率突變的幅度比被動(dòng)加儲(chǔ)能更經(jīng)濟(jì)。聯(lián)動(dòng)方案還有一個(gè)額外收益——電價(jià)套利。儲(chǔ)能系統(tǒng)在低谷電價(jià)時(shí)充電高峰電價(jià)時(shí)放電來(lái)支撐算力負(fù)載能直接降低電費(fèi)成本。配上算力調(diào)度讓“高耗能任務(wù)跑在低谷電價(jià)時(shí)段”綜合算下來(lái)省下的電費(fèi)相當(dāng)可觀。6. 算力網(wǎng)絡(luò)的實(shí)際應(yīng)用場(chǎng)景與商業(yè)化觀察6.1 幾個(gè)跑得通的落地場(chǎng)景算力網(wǎng)絡(luò)這幾年真正落地的場(chǎng)景我觀察下來(lái)有這么幾個(gè)?？绲赜虻拇竽Ｐ陀?xùn)練容災(zāi)是最典型的場(chǎng)景之一。兩個(gè)不同城市的算力節(jié)點(diǎn)組成訓(xùn)練集群算力網(wǎng)絡(luò)負(fù)責(zé)在節(jié)點(diǎn)間同步數(shù)據(jù)和checkpoint。萬(wàn)一主節(jié)點(diǎn)故障備節(jié)點(diǎn)可以速拉起訓(xùn)練拉低訓(xùn)練中斷的風(fēng)險(xiǎn)敞口。城市級(jí)分布式推理網(wǎng)絡(luò)也很實(shí)用。面向政務(wù)服務(wù)、醫(yī)療影像、工業(yè)質(zhì)檢等實(shí)時(shí)推理場(chǎng)景算力網(wǎng)絡(luò)把部署在城區(qū)各個(gè)邊緣節(jié)點(diǎn)的推理服務(wù)納入統(tǒng)一路由。請(qǐng)求進(jìn)來(lái)網(wǎng)絡(luò)自動(dòng)找到離用戶(hù)最近、負(fù)載最低、還有算力余量的節(jié)點(diǎn)完成任務(wù)。這類(lèi)場(chǎng)景對(duì)時(shí)延和穩(wěn)定性要求高算力網(wǎng)絡(luò)的價(jià)值非常明顯。科研計(jì)算資源共享是面向高校和科研院所的典型應(yīng)用。各實(shí)驗(yàn)室的算力資源不均算力網(wǎng)絡(luò)把空閑GPU資源公開(kāi)出來(lái)其他團(tuán)隊(duì)可以申請(qǐng)調(diào)度使用。需要一套好用的身份認(rèn)證體系和配額機(jī)制但運(yùn)行起來(lái)后資源利用率可以提升得很明顯。6.2 幾種主流商業(yè)模式算力網(wǎng)絡(luò)的商業(yè)模式仍在探索我見(jiàn)到比較靠譜的有四種。第一種是“算力零售”類(lèi)似云廠商把算力資源標(biāo)準(zhǔn)化后按小時(shí)出租適合初創(chuàng)企業(yè)快速獲取GPU資源。第二種是“算力批發(fā)”面向有大模型訓(xùn)練需求的企業(yè)提供整集群長(zhǎng)期包租服務(wù)附帶運(yùn)維和調(diào)度優(yōu)化。第三種是“調(diào)度平臺(tái)服務(wù)”自己不擁有算力資源只負(fù)責(zé)連接供需兩側(cè)從交易流水中抽傭。第四種是“算力能源套餐”結(jié)合綠色能源、儲(chǔ)能平滑、電價(jià)優(yōu)化提供一體化解決方案這類(lèi)模式粘性最高因?yàn)殡娰M(fèi)節(jié)省和服務(wù)綁定會(huì)讓客戶(hù)很難離開(kāi)。6.3 算力交易與算力并網(wǎng)的實(shí)踐難點(diǎn)交易和并網(wǎng)聽(tīng)起來(lái)很美好實(shí)際落地難處不少。第一個(gè)難點(diǎn)是度的標(biāo)準(zhǔn)化。不同GPU類(lèi)型的“算力當(dāng)量”如何換算同一張卡在不同軟件環(huán)境下跑出來(lái)的性能差異很大如何保證“買(mǎi)到的算力和描述一致”目前只能靠Benchmark基準(zhǔn)測(cè)試加SLA約束。第二個(gè)難點(diǎn)是安全邊界。企業(yè)把算力接入公共算力網(wǎng)絡(luò)意味著有外部任務(wù)可能會(huì)跑在自己的硬件上數(shù)據(jù)隔離和網(wǎng)絡(luò)安全風(fēng)險(xiǎn)需要非常謹(jǐn)慎地處理。我的經(jīng)驗(yàn)是必須在物理容器化或虛擬機(jī)隔離的基礎(chǔ)上再加一層安全sandbox并做好數(shù)據(jù)不留存的承諾和審計(jì)。第三個(gè)難點(diǎn)是計(jì)費(fèi)模型。算力網(wǎng)絡(luò)涉及的計(jì)費(fèi)因子太多不僅有計(jì)算時(shí)長(zhǎng)還有網(wǎng)絡(luò)流量、存儲(chǔ)占用、跨地域數(shù)據(jù)復(fù)制費(fèi)用。計(jì)費(fèi)模型設(shè)計(jì)得過(guò)于復(fù)雜會(huì)讓用戶(hù)難以理解過(guò)于簡(jiǎn)單則平臺(tái)很難盈利。目前常見(jiàn)的做法是“算力單價(jià) x 時(shí)間 網(wǎng)絡(luò)流量費(fèi) 基礎(chǔ)服務(wù)費(fèi)”。7. 常見(jiàn)問(wèn)題與工程排查實(shí)錄7.1 作業(yè)排隊(duì)很長(zhǎng)但節(jié)點(diǎn)利用率很低我接手過(guò)一個(gè)算力平臺(tái)表現(xiàn)是“任務(wù)大量排隊(duì)但節(jié)點(diǎn)利用率數(shù)據(jù)很低”。排查擋前先別動(dòng)調(diào)度算法先看數(shù)據(jù)采集。后來(lái)發(fā)現(xiàn)節(jié)點(diǎn)利用率指標(biāo)采集的是CPU利用率而任務(wù)跑在GPU上指標(biāo)定義本身就選錯(cuò)了。這是很常見(jiàn)的坑監(jiān)控指標(biāo)沒(méi)對(duì)齊業(yè)務(wù)負(fù)載類(lèi)型。調(diào)整監(jiān)控口徑之后真實(shí)利用率浮出水面——確實(shí)有些節(jié)點(diǎn)是滿載的有些節(jié)點(diǎn)因?yàn)閿?shù)據(jù)版本不匹配一直處于空轉(zhuǎn)等待狀態(tài)。7.2 訓(xùn)練任務(wù)總是斷斷續(xù)續(xù)網(wǎng)絡(luò)檢查沒(méi)問(wèn)題另一個(gè)項(xiàng)目訓(xùn)練任務(wù)頻繁中斷網(wǎng)絡(luò)工程師檢查鏈路一切正常。最后定位到問(wèn)題出在“交換機(jī)緩存不足”上。大模型訓(xùn)練的同步通信是“突發(fā)密集”的瞬時(shí)擁塞會(huì)導(dǎo)致buffer溢出觸發(fā)重傳和降速。解決方案是開(kāi)啟交換機(jī)的無(wú)損網(wǎng)絡(luò)配置PFC并調(diào)整流控的緩沖區(qū)大小。這個(gè)問(wèn)題的經(jīng)驗(yàn)是大模型訓(xùn)練場(chǎng)景ROCE和IB網(wǎng)絡(luò)務(wù)必開(kāi)啟無(wú)損配置。7.3 跨地域調(diào)度時(shí)數(shù)據(jù)集傳輸耗時(shí)太長(zhǎng)跨地域調(diào)度數(shù)據(jù)已經(jīng)放到了B節(jié)點(diǎn)A節(jié)點(diǎn)卻不知道又重新拉了一遍造成巨大的無(wú)用網(wǎng)絡(luò)開(kāi)銷(xiāo)。解決思路是建設(shè)全局元數(shù)據(jù)和緩存索引調(diào)度時(shí)優(yōu)先選擇“已有數(shù)據(jù)的節(jié)點(diǎn)”或者先觸發(fā)數(shù)據(jù)預(yù)取。加上數(shù)據(jù)壓縮全局緩存跨地域傳輸?shù)拈_(kāi)銷(xiāo)才能控制在合理范圍。7.4 儲(chǔ)能配置到位平滑效果還是不行儲(chǔ)能裝機(jī)容量足夠PCS響應(yīng)速度也快但平滑效果不達(dá)標(biāo)。檢查后發(fā)現(xiàn)控制系統(tǒng)在計(jì)算“1分鐘平均功率變化率”時(shí)采用了先平均后差值的算法但調(diào)度端的功率突變和儲(chǔ)能端的響應(yīng)之間存在1~2秒的指令延遲導(dǎo)致補(bǔ)償總是慢半拍。改造方案是把計(jì)算窗口縮短到秒級(jí)并引入預(yù)測(cè)算法提前1秒發(fā)出補(bǔ)償指令。這類(lèi)系統(tǒng)的瓶頸往往在于“感知—決策—執(zhí)行”的鏈路延遲而不是硬件本身的性能。8. 給入局者的幾個(gè)實(shí)操建議做算力網(wǎng)絡(luò)項(xiàng)目前期的定位一定要想清楚。先明確你的核心指標(biāo)是提升現(xiàn)有GPU集群的利用率還是實(shí)現(xiàn)跨地域統(tǒng)一調(diào)度亦或是省電費(fèi)。不同側(cè)重點(diǎn)后續(xù)技術(shù)選型完全不同。只做單集群內(nèi)調(diào)度商用調(diào)度器加腳本就能解決想做到跨地域的統(tǒng)一調(diào)度就必須在網(wǎng)絡(luò)和資源抽象上投入大量精力這是一個(gè)系統(tǒng)性的工程。對(duì)于剛起步的團(tuán)隊(duì)我的建議是從“資源接入 統(tǒng)一監(jiān)控 簡(jiǎn)單路由”開(kāi)始先把可視化做到位讓用戶(hù)看得見(jiàn)算力在哪、任務(wù)跑在哪、花了多少成本再去碰復(fù)雜的調(diào)度算法和自動(dòng)化決策。用戶(hù)的信任感一旦建立后續(xù)的自動(dòng)化功能推進(jìn)才會(huì)順暢。關(guān)于開(kāi)源方案可以選擇性關(guān)注業(yè)界現(xiàn)有的編排平臺(tái)和技術(shù)標(biāo)準(zhǔn)。但不要迷信一套方案能解決所有問(wèn)題所謂“今天部署明天就能跨云調(diào)度算力”大多不現(xiàn)實(shí)。自己團(tuán)隊(duì)寫(xiě)核心調(diào)度策略把精力放在業(yè)務(wù)適配上是比較務(wù)實(shí)的路徑。儲(chǔ)能平滑這一塊目前最大的落地障礙往往是“算力調(diào)度系統(tǒng)和電力監(jiān)控系統(tǒng)各管各”。我特別建議做AI算力云平臺(tái)的團(tuán)隊(duì)盡早和電力工程師坐下來(lái)一起設(shè)計(jì)接口把“功率上限”和“電價(jià)窗口”作為算力調(diào)度器的一等公民參數(shù)而不是事后補(bǔ)救。想清楚這一點(diǎn)項(xiàng)目落地的質(zhì)感和技術(shù)壁壘都會(huì)高出同行很多。最后再分享一個(gè)細(xì)節(jié)算力網(wǎng)絡(luò)項(xiàng)目上線后的前三個(gè)月一定要有人隨時(shí)盯著調(diào)度日志和網(wǎng)絡(luò)性能曲線這時(shí)候暴露的問(wèn)題會(huì)超出你的預(yù)期。踩過(guò)幾次坑之后你會(huì)發(fā)現(xiàn)算力網(wǎng)絡(luò)真正的門(mén)檻不是單一技術(shù)的先進(jìn)性而是把算力、網(wǎng)絡(luò)、能源三條線的坑同時(shí)填平的工程能力。這條路急不來(lái)但是一旦跑通價(jià)值會(huì)持續(xù)釋放。