1. 從“智能體”到“智能體化”Miles框架的范式革新最近在強(qiáng)化學(xué)習(xí)社區(qū)里Miles框架的討論熱度持續(xù)攀升。作為一個(gè)長期關(guān)注智能體Agent技術(shù)發(fā)展的從業(yè)者我最初看到“Agentic RL”這個(gè)提法時(shí)也產(chǎn)生過一絲疑惑這不就是強(qiáng)化學(xué)習(xí)RL嗎我們訓(xùn)練的不就是智能體嗎但隨著對Miles項(xiàng)目技術(shù)文檔和開源實(shí)踐的深入分析我發(fā)現(xiàn)“Agentic RL”這個(gè)概念遠(yuǎn)非一個(gè)簡單的文字游戲。它背后代表的是Miles框架對傳統(tǒng)強(qiáng)化學(xué)習(xí)范式的系統(tǒng)性重構(gòu)其核心在于將“智能體”從一個(gè)被訓(xùn)練、被優(yōu)化的“對象”提升為整個(gè)系統(tǒng)架構(gòu)的“中心”和“驅(qū)動者”。這就像從“制造一個(gè)能執(zhí)行任務(wù)的機(jī)器人”轉(zhuǎn)變?yōu)椤皹?gòu)建一個(gè)能自主思考、規(guī)劃、學(xué)習(xí)和協(xié)作的機(jī)器人社會”。今天我們就來深入拆解Miles框架實(shí)現(xiàn)這一“智能體化”愿景的幾項(xiàng)關(guān)鍵技術(shù)看看它如何為復(fù)雜、長周期、多任務(wù)的現(xiàn)實(shí)問題提供新的解決思路。2. TITO架構(gòu)解耦決策與執(zhí)行的清晰邊界Miles框架最核心的設(shè)計(jì)理念體現(xiàn)在其TITO架構(gòu)上。TITO是“Task-In, Task-Out”的縮寫直譯為“任務(wù)進(jìn)任務(wù)出”。這個(gè)看似簡單的設(shè)計(jì)卻是實(shí)現(xiàn)“智能體化”的基石。2.1 TITO的核心思想將智能體視為“任務(wù)處理器”在傳統(tǒng)的強(qiáng)化學(xué)習(xí)框架如OpenAI Gym、Stable Baselines3中智能體與環(huán)境交互的接口通常是“狀態(tài)State進(jìn)動作Action出”。智能體接收一個(gè)觀測Observation輸出一個(gè)原始動作如關(guān)節(jié)扭矩、離散指令?？蚣芎退惴ㄖ饕P(guān)注如何優(yōu)化從狀態(tài)到動作的映射策略。Miles的TITO架構(gòu)徹底改變了這一視角。在這里智能體接收的輸入是一個(gè)任務(wù)Task輸出的也是一個(gè)任務(wù)Task。這個(gè)“任務(wù)”是一個(gè)比原始“動作”更高級的抽象。它可以是一個(gè)目標(biāo)描述“移動到坐標(biāo)(x,y)”一個(gè)技能調(diào)用“使用工具A進(jìn)行擰緊操作”甚至是一個(gè)需要進(jìn)一步分解的復(fù)雜指令“組裝這個(gè)零件”。為什么這個(gè)設(shè)計(jì)如此重要提升抽象層級它迫使我們將問題建模在任務(wù)層面而非底層控制層面。智能體不需要關(guān)心電機(jī)具體如何轉(zhuǎn)動它只需要決定“接下來要完成哪個(gè)子任務(wù)”。這極大地降低了策略學(xué)習(xí)的復(fù)雜度尤其適合需要高層規(guī)劃和組合技能的場景。實(shí)現(xiàn)自然分層高級智能體可以輸出任務(wù)給低級智能體或技能模塊執(zhí)行。例如一個(gè)“導(dǎo)航智能體”輸出“移動到房間A”的任務(wù)由底層的“運(yùn)動控制智能體”將其分解為一系列路徑點(diǎn)和動作指令。這種分層是構(gòu)建復(fù)雜智能體系統(tǒng)的自然方式。促進(jìn)模塊化與復(fù)用任務(wù)成為智能體之間、智能體與技能庫之間的標(biāo)準(zhǔn)接口。一個(gè)訓(xùn)練好的“抓取”技能可以被任何需要抓取動作的上級智能體調(diào)用只需傳遞“抓取對象X”的任務(wù)即可無需重新訓(xùn)練。2.2 TITO接口的實(shí)踐形態(tài)在Miles的代碼實(shí)現(xiàn)中一個(gè)任務(wù)通常被定義為一個(gè)結(jié)構(gòu)化的數(shù)據(jù)對象包含任務(wù)類型、參數(shù)、優(yōu)先級、上下文等信息。智能體的act方法接收一個(gè)任務(wù)列表可能包含當(dāng)前主任務(wù)和多個(gè)并發(fā)的子任務(wù)或中斷任務(wù)經(jīng)過內(nèi)部推理可能涉及規(guī)劃、檢索、學(xué)習(xí)輸出下一個(gè)要執(zhí)行的任務(wù)或?qū)ΜF(xiàn)有任務(wù)的更新。# 概念性示例非真實(shí)代碼 class MilesAgent: def act(self, input_tasks: List[Task], current_state: State) - Task: # 內(nèi)部可能包含任務(wù)理解、規(guī)劃、技能選擇、沖突解決等邏輯 next_task self.planner.reason(input_tasks, current_state) return next_task這種設(shè)計(jì)使得智能體內(nèi)部的算法可以非常靈活可以是基于規(guī)則的規(guī)劃器、基于學(xué)習(xí)的策略網(wǎng)絡(luò)也可以是兩者結(jié)合的混合系統(tǒng)。框架關(guān)心的是任務(wù)流的調(diào)度與執(zhí)行而不強(qiáng)制規(guī)定智能體的內(nèi)部實(shí)現(xiàn)。3. Session Server為智能體配備持久化記憶與協(xié)作后臺如果說TITO定義了智能體的“行為模式”那么Session Server則是支撐其“社會性”和“持續(xù)性”的關(guān)鍵基礎(chǔ)設(shè)施。在真實(shí)場景中智能體并非每次交互都從零開始它需要記憶歷史、管理長期目標(biāo)、并可能與其他智能體通信協(xié)作。3.1 Session的概念超越單次Episode的連續(xù)性在傳統(tǒng)RL中一個(gè)“回合”Episode通常是獨(dú)立的。智能體在回合結(jié)束后重置記憶如RNN的隱藏狀態(tài)也被清零。這對于許多需要長期記憶、跨回合學(xué)習(xí)的任務(wù)如終身學(xué)習(xí)、與人進(jìn)行多輪對話協(xié)作是不足的。Miles引入了“會話”Session的概念。一個(gè)Session可以跨越多個(gè)傳統(tǒng)意義上的Episode持續(xù)數(shù)小時(shí)、數(shù)天甚至更久。它維護(hù)了一個(gè)與特定智能體實(shí)例或智能體團(tuán)隊(duì)綁定的、持久化的上下文環(huán)境。Session Server就是負(fù)責(zé)管理和存儲這些Session的后端服務(wù)。3.2 Session Server的核心功能狀態(tài)持久化保存智能體的內(nèi)部狀態(tài)如信念狀態(tài)Belief State、長期目標(biāo)、已完成的任務(wù)歷史、學(xué)到的經(jīng)驗(yàn)可能以情境記憶的形式。當(dāng)智能體因系統(tǒng)重啟或故障恢復(fù)時(shí)可以從Session Server恢復(fù)其狀態(tài)繼續(xù)之前的任務(wù)而不是從頭開始。經(jīng)驗(yàn)管理與檢索Session Server可以作為一個(gè)中心化的經(jīng)驗(yàn)庫。智能體可以將重要的決策經(jīng)驗(yàn)任務(wù)、狀態(tài)、結(jié)果存儲到Session中。未來面對類似情境時(shí)可以通過檢索相似的歷史經(jīng)驗(yàn)來輔助決策實(shí)現(xiàn)基于案例的推理Case-Based Reasoning這比僅依靠參數(shù)化的策略網(wǎng)絡(luò)更靈活、可解釋。智能體間通信與協(xié)調(diào)在多智能體場景中Session Server可以作為消息總線或共享黑板Blackboard。智能體可以將自己的意圖、觀察到的信息、或發(fā)布的任務(wù)寫入共享的Session區(qū)域其他智能體可以讀取并據(jù)此調(diào)整自己的行為實(shí)現(xiàn)隱式或顯式的協(xié)作。人機(jī)交互接口Session可以作為人機(jī)交互的上下文載體。人類操作員可以隨時(shí)介入查看智能體的任務(wù)歷史、當(dāng)前信念并通過修改Session中的任務(wù)列表或直接注入新任務(wù)來指導(dǎo)智能體。注意Session Server的引入也帶來了新的復(fù)雜性挑戰(zhàn)如Session數(shù)據(jù)的一致性、并發(fā)訪問的鎖機(jī)制、以及海量Session的存儲與檢索效率。Miles框架通常需要與分布式數(shù)據(jù)庫如Redis、關(guān)系型數(shù)據(jù)庫結(jié)合并設(shè)計(jì)高效的數(shù)據(jù)序列化格式。3.3 一個(gè)簡化的協(xié)作示例假設(shè)有一個(gè)倉儲機(jī)器人團(tuán)隊(duì)搬運(yùn)Agent、分揀Agent和一個(gè)中央調(diào)度Agent。中央調(diào)度Agent接收到“處理訂單123”的頂層任務(wù)將其分解為“取貨A”、“運(yùn)至區(qū)域B”等子任務(wù)寫入共享Session。搬運(yùn)Agent從Session中認(rèn)領(lǐng)“取貨A”任務(wù)執(zhí)行過程中發(fā)現(xiàn)貨架擁堵它將“區(qū)域X擁堵”的信息更新到Session。分揀Agent讀取到擁堵信息主動調(diào)整自己的路徑規(guī)劃避開區(qū)域X。所有任務(wù)的狀態(tài)進(jìn)行中、完成、失敗都在Session中更新供所有Agent和人類監(jiān)督員查看。整個(gè)過程中智能體之間沒有直接的函數(shù)調(diào)用而是通過讀寫共享的Session狀態(tài)進(jìn)行松耦合的協(xié)作系統(tǒng)更具彈性和可擴(kuò)展性。4. 技能Skill的封裝與組合構(gòu)建可復(fù)用的能力單元在Agentic RL的視角下智能體的能力不是單一的黑盒策略而是由一系列可復(fù)用、可組合的“技能”構(gòu)成的。Miles框架對技能的封裝和管理提供了系統(tǒng)性的支持。4.1 技能作為一等公民在Miles中技能是一個(gè)封裝了特定能力如“移動”、“抓取”、“視覺檢測”的模塊。它對外暴露標(biāo)準(zhǔn)的執(zhí)行接口通常也是TITO風(fēng)格內(nèi)部則可以用任何方式實(shí)現(xiàn)可以是一個(gè)訓(xùn)練好的RL策略、一個(gè)經(jīng)典的控制算法、一組預(yù)定義的軌跡、甚至是一個(gè)調(diào)用外部工具如搜索引擎、計(jì)算器的接口。技能庫Skill Library是框架的重要組成部分。它允許技能注冊將開發(fā)好的技能進(jìn)行標(biāo)準(zhǔn)化描述輸入輸出、前置條件、后置效果并注冊到庫中。技能發(fā)現(xiàn)與調(diào)用高級智能體在規(guī)劃時(shí)可以根據(jù)任務(wù)需求從技能庫中查詢并調(diào)用合適的技能。例如面對“泡一杯茶”的任務(wù)智能體可以依次調(diào)用“移動到廚房”、“拿取水杯”、“打開水龍頭”、“加熱”等技能。技能學(xué)習(xí)與更新技能本身可以通過RL進(jìn)行持續(xù)優(yōu)化。框架可以記錄技能的執(zhí)行表現(xiàn)成功率、耗時(shí)并觸發(fā)技能的再訓(xùn)練流程。4.2 技能的組合與層次化智能體的強(qiáng)大之處在于組合技能以解決新問題。Miles支持技能的層次化組合序列組合一個(gè)技能的輸出任務(wù)可以作為下一個(gè)技能的輸入。這是最常見的組合方式。并行組合多個(gè)技能可以并發(fā)執(zhí)行服務(wù)于同一個(gè)高級任務(wù)的不同方面如“移動”的同時(shí)“保持平衡”。條件組合根據(jù)執(zhí)行結(jié)果或環(huán)境狀態(tài)動態(tài)選擇下一個(gè)要執(zhí)行的技能if-else邏輯。通過TITO接口這種組合可以自然發(fā)生。一個(gè)高級的“任務(wù)規(guī)劃智能體”本身就可以被看作是一個(gè)通過調(diào)用和組合底層技能來實(shí)現(xiàn)復(fù)雜任務(wù)的“元技能”。實(shí)操心得在構(gòu)建技能時(shí)一個(gè)關(guān)鍵的設(shè)計(jì)原則是保持技能的原子性和正交性。原子性意味著一個(gè)技能應(yīng)只完成一件定義明確的事正交性意味著技能之間的功能重疊應(yīng)盡可能小。這就像設(shè)計(jì)良好的函數(shù)庫能最大程度地提高復(fù)用性和組合的靈活性。例如將“移動到(x,y)”和“避障”拆分成兩個(gè)技能比設(shè)計(jì)一個(gè)復(fù)雜的“安全移動到(x,y)”技能要更好因?yàn)椤氨苷稀奔寄芸梢员黄渌S多需要移動的場景復(fù)用。5. 規(guī)劃與學(xué)習(xí)的融合應(yīng)對開放世界的核心引擎Agentic RL智能體不能只依賴固定的策略它必須能在面對新任務(wù)、新環(huán)境時(shí)進(jìn)行思考規(guī)劃并從經(jīng)驗(yàn)中學(xué)習(xí)學(xué)習(xí)。Miles框架并不限定具體的算法但它提供的架構(gòu)天然促進(jìn)了規(guī)劃與學(xué)習(xí)Planning and Learning的融合。5.1 基于模型的規(guī)劃與基于技能的學(xué)習(xí)在TITO架構(gòu)下智能體的內(nèi)部可以這樣工作任務(wù)理解與分解接收到高層任務(wù)后智能體首先利用其世界模型可以是學(xué)習(xí)得到的也可以是符號化的對任務(wù)進(jìn)行理解并將其分解為一系列已知的技能調(diào)用序列即一個(gè)初步計(jì)劃。這個(gè)世界模型預(yù)測執(zhí)行某個(gè)技能后環(huán)境會如何變化。模擬推演與評估智能體可以在內(nèi)部利用世界模型對這個(gè)計(jì)劃進(jìn)行“想象”或推演評估其成功的可能性和代價(jià)。這個(gè)過程類似于蒙特卡洛樹搜索MCTS在AlphaGo中的應(yīng)用但在任務(wù)層面進(jìn)行。執(zhí)行與學(xué)習(xí)選擇評估最優(yōu)的計(jì)劃開始執(zhí)行。在執(zhí)行過程中真實(shí)的環(huán)境反饋會與模型的預(yù)測進(jìn)行比較。如果出現(xiàn)偏差模型誤差或失敗技能不足這些信息會成為寶貴的學(xué)習(xí)信號模型學(xué)習(xí)用真實(shí)數(shù)據(jù)更新世界模型使其更準(zhǔn)確。技能學(xué)習(xí)如果某個(gè)技能頻繁失敗可以針對該技能進(jìn)行專門的RL訓(xùn)練提升其性能。規(guī)劃策略學(xué)習(xí)如何根據(jù)任務(wù)和當(dāng)前狀態(tài)選擇/調(diào)整計(jì)劃本身也可以作為一個(gè)元策略進(jìn)行學(xué)習(xí)。5.2 檢索增強(qiáng)的決策Session Server在這里扮演了另一個(gè)關(guān)鍵角色經(jīng)驗(yàn)記憶庫。當(dāng)智能體面臨一個(gè)新任務(wù)時(shí)除了使用模型進(jìn)行前向搜索它還可以從Session Server中檢索歷史上執(zhí)行過的、最相似的任務(wù)及其解決方案即成功的技能序列。這種“基于案例的規(guī)劃”非常高效尤其適用于那些有大量歷史經(jīng)驗(yàn)可循的重復(fù)性任務(wù)。它結(jié)合了搜索在經(jīng)驗(yàn)庫中檢索和學(xué)習(xí)經(jīng)驗(yàn)本身來自過去的學(xué)習(xí)過程。一個(gè)具體的例子一個(gè)家庭服務(wù)機(jī)器人接到“清理灑在桌上的牛奶”任務(wù)。它可能檢索從Session中查找類似任務(wù)“清理灑的水”、“擦拭桌面”獲得一個(gè)基礎(chǔ)計(jì)劃[“定位抹布” “抓取抹布” “移動到污漬處” “擦拭”]。規(guī)劃調(diào)整由于當(dāng)前是牛奶可能涉及粘稠度不同它利用模型推演覺得需要在“擦拭”后增加“清洗抹布”的技能。執(zhí)行與學(xué)習(xí)執(zhí)行這個(gè)調(diào)整后的計(jì)劃。如果“擦拭”技能效果不佳因?yàn)榕Ｄ谈闪怂鼤涗涍@次失敗并可能觸發(fā)對“擦拭”技能在“粘稠液體”場景下的強(qiáng)化學(xué)習(xí)微調(diào)。成功的完整計(jì)劃則被存儲回Session豐富經(jīng)驗(yàn)庫。這種“檢索-規(guī)劃-執(zhí)行-學(xué)習(xí)”的循環(huán)使得Miles智能體能夠持續(xù)適應(yīng)和成長而不是一個(gè)靜態(tài)的模型。6. 實(shí)際部署考量與挑戰(zhàn)將Miles這樣的Agentic RL框架應(yīng)用于實(shí)際項(xiàng)目會面臨一系列工程和算法上的挑戰(zhàn)這些是光讀論文體會不到的。6.1 系統(tǒng)復(fù)雜性管理Miles框架引入了多個(gè)新組件TITO智能體、Session Server、技能庫、規(guī)劃器系統(tǒng)復(fù)雜度顯著高于傳統(tǒng)的“環(huán)境-智能體”兩元框架。這帶來了額外的開發(fā)、調(diào)試和運(yùn)維負(fù)擔(dān)。需要建立清晰的模塊邊界、定義良好的接口契約、以及完善的日志和監(jiān)控系統(tǒng)。特別是Session數(shù)據(jù)流需要仔細(xì)設(shè)計(jì)以避免成為性能瓶頸和單點(diǎn)故障。6.2 技能工程與知識表示構(gòu)建一個(gè)實(shí)用的技能庫是項(xiàng)繁重的工作。每個(gè)技能都需要明確的接口輸入輸出任務(wù)的定義。魯棒的實(shí)現(xiàn)無論是學(xué)習(xí)得到的還是手寫的都需要在各種邊界條件下穩(wěn)定工作。準(zhǔn)確的元數(shù)據(jù)前置條件Preconditions和后置效果Effects的描述。這對于自動規(guī)劃至關(guān)重要。讓機(jī)器自動、準(zhǔn)確地學(xué)習(xí)和描述技能的效應(yīng)本身就是一個(gè)前沿研究問題學(xué)習(xí)符號化表示。實(shí)踐中初期往往需要大量的人工標(biāo)注和調(diào)試。6.3 長期信用分配與稀疏獎(jiǎng)勵(lì)在長周期的任務(wù)鏈中最終的成功或失敗可能由很多步之前的某個(gè)關(guān)鍵決策導(dǎo)致。如何將最終的獎(jiǎng)勵(lì)信號正確地分配Credit Assignment給鏈條中早期的某個(gè)技能或規(guī)劃決策是一個(gè)經(jīng)典的難題。Miles的分層結(jié)構(gòu)在一定程度上緩解了這個(gè)問題每個(gè)子任務(wù)可以有子獎(jiǎng)勵(lì)但并未完全解決。仍然需要設(shè)計(jì)合理的分層獎(jiǎng)勵(lì)函數(shù)或采用先進(jìn)的課程學(xué)習(xí)、逆向課程生成等技術(shù)。6.4 安全性與可解釋性一個(gè)能夠自主規(guī)劃、調(diào)用技能的智能體其行為更難預(yù)測。必須建立“護(hù)欄”Guardrails機(jī)制例如技能安全驗(yàn)證在執(zhí)行一個(gè)技能前快速檢查其安全性如“移動”技能是否會撞到人。規(guī)劃監(jiān)控對生成的計(jì)劃進(jìn)行合理性審查可以基于規(guī)則或?qū)W習(xí)到的安全約束。人機(jī)協(xié)同保留人類隨時(shí)中斷、修改任務(wù)或接管控制的通道。Session Server提供的透明化任務(wù)歷史是提高可解釋性、方便人工審計(jì)的重要工具。從我參與的幾個(gè)概念驗(yàn)證項(xiàng)目來看Miles框架代表的Agentic RL思路在那些任務(wù)結(jié)構(gòu)清晰、可分層、且需要較高自主性和復(fù)用性的場景如游戲AI、復(fù)雜機(jī)器人操作流程、自動化業(yè)務(wù)流程中展現(xiàn)出了巨大的潛力。它更像是在用軟件工程中“模塊化”、“微服務(wù)”、“事件驅(qū)動”的思想來重構(gòu)強(qiáng)化學(xué)習(xí)系統(tǒng)使其更易于構(gòu)建和維護(hù)復(fù)雜智能行為。當(dāng)然這條路還很長尤其是讓系統(tǒng)真正可靠、安全地運(yùn)行在物理世界中需要算法研究者、軟件工程師和領(lǐng)域?qū)＜业木o密合作。但毫無疑問Miles為我們提供了一個(gè)極具啟發(fā)性的架構(gòu)藍(lán)圖讓我們看到了強(qiáng)化學(xué)習(xí)從“訓(xùn)練一個(gè)網(wǎng)絡(luò)”走向“構(gòu)建一個(gè)智能體生態(tài)”的可能性。