編者按當(dāng)模型能力逐漸成為可采購的通用商品企業(yè)之間的差距將不再由模型清單拉開而由圍繞模型構(gòu)建的工程體系決定。這一點(diǎn)正在成為企業(yè)AI從試點(diǎn)走向規(guī)模化生產(chǎn)的分水嶺。過去幾年圍繞人工智能的討論幾乎被同一條敘事主導(dǎo)更大的模型、更強(qiáng)的推理能力、更長(zhǎng)的上下文窗口、更高的基準(zhǔn)分?jǐn)?shù)。每一次能力躍遷都會(huì)引發(fā)一輪「換模型」的討論仿佛只要選對(duì)了那個(gè)榜單上最靠前的模型企業(yè)的AI戰(zhàn)略就能自動(dòng)成立。但MIT Technology Review刊發(fā)的這篇題為《Designing an AI serving harness built to last》的文章提出了一個(gè)不同的判斷企業(yè)AI的下一個(gè)競(jìng)爭(zhēng)優(yōu)勢(shì)與其說取決于你選擇哪個(gè)模型不如說取決于你在模型周圍構(gòu)建了什么。這是一個(gè)重要的轉(zhuǎn)向——它意味著競(jìng)爭(zhēng)的焦點(diǎn)正從「模型能力」遷移到「系統(tǒng)能力」。一、模型正在變成可替換的零件理解這一轉(zhuǎn)向首先要明白模型市場(chǎng)正在發(fā)生什么。開源模型與閉源模型的能力差距持續(xù)收窄同一梯隊(duì)的模型在通用任務(wù)上的表現(xiàn)日益接近價(jià)格戰(zhàn)讓推理成本快速下降而模型迭代周期已經(jīng)縮短到以月乃至以周計(jì)。今天的最優(yōu)選擇很可能在半年后既不是最強(qiáng)、也不是最便宜的。在這種環(huán)境下把所有業(yè)務(wù)邏輯、提示詞、評(píng)測(cè)流程和運(yùn)維經(jīng)驗(yàn)都硬編碼到某一個(gè)模型的調(diào)用方式上是一種高風(fēng)險(xiǎn)做法。一旦更換模型這些沉淀就得推倒重來。反過來如果企業(yè)能把「模型」抽象為一個(gè)可插拔的組件用統(tǒng)一的接口去調(diào)度、評(píng)測(cè)、切換、回滾那么模型能力的每一次進(jìn)步都能被低摩擦地吸收而不是每次都要重新做一遍集成工程。這正是「服務(wù)承載框架」serving harness要解決的問題。它不是模型本身而是模型運(yùn)行其上的那一層工程結(jié)構(gòu)。二、什么是AI服務(wù)承載框架所謂serving harness可以理解為模型與業(yè)務(wù)之間的中間層。它負(fù)責(zé)的事情相當(dāng)具體把請(qǐng)求路由到合適的模型管理上下文與提示模板處理重試、超時(shí)、限流與降級(jí)記錄完整的調(diào)用鏈路以便審計(jì)與排障對(duì)輸出進(jìn)行結(jié)構(gòu)化校驗(yàn)與安全過濾以及在多個(gè)模型之間做成本與質(zhì)量的動(dòng)態(tài)權(quán)衡。這一層聽起來并不起眼卻恰恰是「演示」與「生產(chǎn)」之間的差距所在。一個(gè)在實(shí)驗(yàn)室里跑通的智能體到了真實(shí)業(yè)務(wù)環(huán)境中會(huì)遇到并發(fā)尖峰、長(zhǎng)尾延遲、模型幻覺、上下文超限、供應(yīng)商故障、合規(guī)審計(jì)等一系列問題。承載框架的價(jià)值就是在這些問題發(fā)生時(shí)不至于讓整個(gè)系統(tǒng)一起崩塌。換句話說模型決定了能力上限而承載框架決定了可用性下限。對(duì)企業(yè)而言下限往往比上限更重要——因?yàn)闃I(yè)務(wù)不能靠偶爾一次的驚艷表現(xiàn)來運(yùn)轉(zhuǎn)。三、為什么「built to last」如此困難文章標(biāo)題中「built to last」這個(gè)限定詞值得注意。設(shè)計(jì)一個(gè)能撐過數(shù)年的框架比設(shè)計(jì)一個(gè)能跑通今天的框架難得多原因有三。其一技術(shù)棧變化太快。今天的推理接口、工具調(diào)用協(xié)議、上下文管理方式兩三年后可能完全不同?？蚣苋暨^度耦合于某一代技術(shù)細(xì)節(jié)很快會(huì)變成技術(shù)債。其二需求會(huì)漂移。業(yè)務(wù)方最初只想要一個(gè)問答機(jī)器人后來可能要求它接入內(nèi)部系統(tǒng)、執(zhí)行多步任務(wù)、承擔(dān)有審計(jì)要求的決策輔助。框架必須具備足夠的抽象能力來承接這種演進(jìn)而不是每來一個(gè)新需求就重寫一遍。其三組織會(huì)變化。誰來維護(hù)這套框架是平臺(tái)團(tuán)隊(duì)、數(shù)據(jù)團(tuán)隊(duì)還是各業(yè)務(wù)線自建如果框架設(shè)計(jì)沒有清晰的責(zé)任邊界和可觀測(cè)性它會(huì)在多人協(xié)作中逐漸腐化最終無人敢動(dòng)。四、長(zhǎng)期框架的四條設(shè)計(jì)原則基于上述挑戰(zhàn)可以歸納出幾條在實(shí)踐中被反復(fù)驗(yàn)證的原則。第一把模型當(dāng)作可替換依賴。統(tǒng)一抽象層保留灰度切換與快速回滾能力讓「換模型」成為一個(gè)配置動(dòng)作而不是一次項(xiàng)目立項(xiàng)。第二把可觀測(cè)性作為一等公民。從第一天起就記錄請(qǐng)求、上下文、模型版本、token消耗、延遲與失敗原因。沒有這些數(shù)據(jù)成本優(yōu)化和質(zhì)量評(píng)估都只能靠猜。第三把評(píng)測(cè)內(nèi)嵌到流程中。框架應(yīng)能對(duì)新模型、新提示、新版本自動(dòng)跑回歸評(píng)測(cè)用數(shù)據(jù)回答「這次改動(dòng)是變好還是變壞」而不是靠個(gè)別案例的主觀感受。第四把成本與質(zhì)量放在同一張儀表盤上。不同任務(wù)對(duì)質(zhì)量的要求并不相同框架應(yīng)支持按場(chǎng)景選擇模型檔位把昂貴的推理能力用在高價(jià)值環(huán)節(jié)把輕量模型用在高頻簡(jiǎn)單環(huán)節(jié)。當(dāng)模型本身越來越像水電一樣的基礎(chǔ)資源真正構(gòu)成壁壘的是企業(yè)圍繞模型沉淀下來的工程資產(chǎn)路由策略、評(píng)測(cè)集、提示資產(chǎn)、運(yùn)維經(jīng)驗(yàn)和組織流程。這些東西不會(huì)因?yàn)橐淮文Ｐ桶l(fā)布而過時(shí)反而會(huì)隨使用而增值。五、對(duì)企業(yè)的現(xiàn)實(shí)含義這一判斷對(duì)企業(yè)有三點(diǎn)直接含義。首先AI預(yù)算的分配需要重新審視如果絕大部分投入都用于追逐最新模型而承載框架仍停留在腳本拼接階段那么投入產(chǎn)出比會(huì)越來越差。其次平臺(tái)團(tuán)隊(duì)的價(jià)值被低估了——那些看起來「不產(chǎn)出業(yè)務(wù)功能」的抽象層、評(píng)測(cè)工具和監(jiān)控體系恰恰是長(zhǎng)期競(jìng)爭(zhēng)力的來源。最后管理層需要把AI視為一項(xiàng)系統(tǒng)工程而不是一次采購決策。模型會(huì)繼續(xù)進(jìn)步榜單會(huì)繼續(xù)刷新價(jià)格會(huì)繼續(xù)下降。這些都值得關(guān)注但它們更像是潮水會(huì)同時(shí)抬高所有船只。真正讓一家企業(yè)與另一家企業(yè)拉開差距的是它在潮水之下打下的那層地基——一個(gè)設(shè)計(jì)良好、能夠長(zhǎng)期演進(jìn)、經(jīng)得起模型換代與業(yè)務(wù)擴(kuò)張沖擊的服務(wù)承載框架。這也解釋了一個(gè)看似矛盾的現(xiàn)象在模型能力最強(qiáng)的時(shí)代工程能力反而變得更重要了。本文編譯自MIT Technology Review本文首發(fā)于贏政天下 獲取更多深度技術(shù)內(nèi)容與資源歡迎訪問官網(wǎng)。