EnterpriseClawBench: Benchmarking Agents from Real Workplace Sessions作者Jincheng Zhong, Weizhi Wang, Che Jiang, Kai Tian, Zhenzhao Yuan, Junlin Yang, Dianqiao Lei, Kaiyan Zhang核心發(fā)表機(jī)構(gòu)Frontis.AI論文鏈接arXiv:2606.23654v1發(fā)布于arXiv 預(yù)印本cs.CL二、研究背景與動機(jī) / Background Motivation企業(yè)級 agent 正在越來越多地直接運(yùn)行在工作區(qū)workspace內(nèi)部它們需要讀取異構(gòu)格式的輸入文件、調(diào)用各種工具、在持久化 Linux 工作空間中操作并交付可供業(yè)務(wù)人員直接使用的工件artifact例如校準(zhǔn)后的 Excel 報(bào)表、HTML 頁面、演示文稿、項(xiàng)目文檔等。這種部署形態(tài)與傳統(tǒng)的“單輪問答”截然不同最終答案不再是一段文本而是一個(gè)需要滿足業(yè)務(wù)約束、格式要求與語義準(zhǔn)確性的文件產(chǎn)物。然而現(xiàn)有評估體系遠(yuǎn)遠(yuǎn)沒有跟上這一變化。論文從三個(gè)具體差距gap出發(fā)定位自己的工作。第一個(gè)差距是企業(yè)真實(shí)性與可擴(kuò)展任務(wù)構(gòu)建之間的張力。已有的工作區(qū)類基準(zhǔn)如 Workspace-Bench、WorkArena、TheAgentCompany、EnterpriseBench、EntWorld 等雖然把評估場景搬進(jìn)了企業(yè)環(huán)境但任務(wù)大多由人工編寫、在模擬環(huán)境中生成或基于公開數(shù)據(jù)集構(gòu)造缺少自然發(fā)生的、帶有真實(shí)企業(yè)語義的任務(wù)形態(tài)。真實(shí)企業(yè)會話中包含大量噪聲——群聊時(shí)間戳、賬號哈希、引用消息塊、多輪追加指令、脫敏的 URL 與文件路徑、跨文件對比需求等——這些都是人工構(gòu)造任務(wù)難以復(fù)現(xiàn)的。論文試圖從真實(shí)工作場所會話中直接恢復(fù)可復(fù)現(xiàn)的任務(wù)從而彌合“真實(shí)發(fā)生”與“可用于評測”之間的鴻溝。第二個(gè)差距是多維評估的缺失?，F(xiàn)有基準(zhǔn)往往只報(bào)告一個(gè)綜合正確率或任務(wù)成功率。但企業(yè) agent 的實(shí)際部署者需要回答的問題要復(fù)雜得多同一模型在不同 harness 下表現(xiàn)能差多少產(chǎn)物是否真的交付成功視覺上是否合格運(yùn)行一次要花多少錢、多少時(shí)間技能注入能否帶來可遷移的提升為此論文在定位上與 WildClawBench報(bào)告 harness 效應(yīng)、ClawBench強(qiáng)調(diào)環(huán)境與狀態(tài)接地執(zhí)行、Claw-SWE-Bench擴(kuò)展到倉庫級代碼修復(fù)和 AgenticVBench引入多模態(tài)生產(chǎn)任務(wù)保持對話但明確提出企業(yè) agent 評估應(yīng)聯(lián)合報(bào)告 hm 組合、多模態(tài)判定、工件交付質(zhì)量、成本與時(shí)間。第三個(gè)差距是任務(wù)類級技能評估的缺失。已有基準(zhǔn)要么完全不適合技能評估要么只能在單個(gè)任務(wù)項(xiàng)上評估技能無法回答“從一個(gè)任務(wù)類中提取的技能能否提升該類中保留任務(wù)的表現(xiàn)”。論文將企業(yè)技能視為“遷移單元”通過保留任務(wù)上的交叉遷移實(shí)驗(yàn)來測量技能的泛化能力。這一設(shè)計(jì)直接支撐了“技能注入是高方差過程”這一重要結(jié)論。表 1 給出了論文與六個(gè)代表性基準(zhǔn)的定位對比。EnterpriseClawBench 在任務(wù)數(shù)量852 個(gè)完整任務(wù) / 120 個(gè) Lite 任務(wù)、真實(shí)來源Real-source、多模態(tài)工件、顯式技能評估、成本/時(shí)間報(bào)告和 hm 組合數(shù)量32 個(gè)上均處于領(lǐng)先位置。它的獨(dú)特之處在于任務(wù)全部來自真實(shí)使用痕跡而非為基準(zhǔn)撰寫成功與否通過交付文件工件定義并且顯式支持技能遷移實(shí)驗(yàn)。四、實(shí)驗(yàn) / Experiments4.1 數(shù)據(jù)集與評估指標(biāo) / Datasets MetricsEnterpriseClawBench 包含兩個(gè)評測集合完整集包含 852 個(gè)自動構(gòu)建的可復(fù)現(xiàn)任務(wù)Lite 集是經(jīng)過人工審計(jì)的 120 任務(wù)子集。主排行榜在 Lite 集上運(yùn)行用于保證評分的人工可審計(jì)性完整集用于可擴(kuò)展性檢查驗(yàn)證自動管道構(gòu)建的任務(wù)是否能夠保持 Lite 集上的模型排序。數(shù)據(jù)集的統(tǒng)計(jì)特征呈現(xiàn)高度企業(yè)異質(zhì)性。7 個(gè)角色類別覆蓋產(chǎn)品/項(xiàng)目、工程/IT、HR/行政、高管/管理、銷售/客戶、市場/營銷、財(cái)務(wù)/運(yùn)營。輸入文件類型與輸出工件模態(tài)均高度異構(gòu)輸入包括 Excel、DOCX 轉(zhuǎn)錄稿、PDF、錄音文件、代碼、日志、圖片等交付物包括校準(zhǔn)后的電子表格、HTML 頁面、PPTX 演示文稿、業(yè)務(wù)報(bào)告、PRD 文檔、JSON 等。期望交付物計(jì)數(shù)總和大于 852因?yàn)椴糠秩蝿?wù)要求多個(gè)文件或多種輸出類型。每個(gè)任務(wù)附帶六類元數(shù)據(jù)恢復(fù)后的 fixtures、重寫后的 prompts、角色類別、技能子類、硬規(guī)則、語義 rubrics。由于會話包含企業(yè)內(nèi)部內(nèi)容數(shù)據(jù)不公開發(fā)布可復(fù)用的是構(gòu)建與評測協(xié)議。評估指標(biāo)分為兩層。第一層是硬規(guī)則通過情況包括文件類型、數(shù)量、非空性、可打開性、traceback 與占位符檢查。第二層是語義評分由文本或視覺判題器在五個(gè)維度上給出 0–1 之間的分?jǐn)?shù)。除得分外評測 runner 還系統(tǒng)記錄運(yùn)行時(shí)間、token 使用、成本、工具調(diào)用次數(shù)與證據(jù)警告作為多維評估的組成部分。判題器可信度通過兩類一致性指標(biāo)衡量LLM–LLM 一致性不同判題器模型在同一批工件上的 Spearman 秩相關(guān)與 LLM–人類一致性判題器與人類評分者的 MAE 與 Spearman 相關(guān)。4.2 主實(shí)驗(yàn)結(jié)果 / Main Results主排行榜在 Lite 集上評測了 32 個(gè) harness–model 組合判題器使用 Sonnet 4.6文本與視覺。圖 4 展示了完整排行榜。最高得分是 Codex GPT-5.5 的 0.663沒有任何組合接近飽和。論文強(qiáng)調(diào)這一結(jié)果說明企業(yè)工件類任務(wù)對當(dāng)前最強(qiáng)系統(tǒng)而言仍遠(yuǎn)未解決。一個(gè)最清晰的模式來自 harness–model 交互效應(yīng)Claude 模型族在 Hermes harness 下性能顯著下降。Sonnet 4.6 在 Claude Code、DeepAgents、OpenClaw 下得分穩(wěn)定在 0.62–0.64但在 Hermes 下驟降至 0.458Opus 4.6 與 Haiku 4.5 呈現(xiàn)相同趨勢。痕跡分析揭示了原因Claude 模型通常依賴主動環(huán)境探測、腳本執(zhí)行和多步修復(fù)而 Hermes harness 更頻繁地通過批準(zhǔn)檢查approval checks阻斷這些行為、將受阻步驟路由為委托子任務(wù)、并返回過長的執(zhí)行痕跡導(dǎo)致文件寫出循環(huán)在完成前被截?cái)?。結(jié)果是會話可能在/workspace/outputs下沒有穩(wěn)定交付文件就結(jié)束。同一模型在 Claude Code 或 DeepAgents 下通常能完成任務(wù)說明這是 hm 兼容性問題而非模型單獨(dú)能力差距。成本與得分的關(guān)系呈非線性正相關(guān)。圖 9 的散點(diǎn)圖顯示從極低成本系統(tǒng)到中等成本系統(tǒng)分?jǐn)?shù)增益顯著超過中檔后額外成本的改善遞減整體呈“對數(shù)形狀”。顯著的異常值是 Hermes/Claude 族組合——高模型成本未轉(zhuǎn)化為高分?jǐn)?shù)這進(jìn)一步印證了 hm 交互問題對成本效益的破壞性。按角色類別分解圖 5GPT-5.5 是最穩(wěn)健的通才在多個(gè)角色類別上領(lǐng)先。最難的類別是營銷marketing和財(cái)務(wù)/運(yùn)營finance/operations。人工檢查表明這些任務(wù)結(jié)合了重文檔理解與生成、公司特定場景與約定以及公共訓(xùn)練數(shù)據(jù)中較少見的業(yè)務(wù)慣例這部分解釋了得分偏低的原因。按預(yù)期交付物類型分解圖 6GPT-5.5 在 HTML、代碼/JSON 和多個(gè)交付物密集類中最強(qiáng)Opus 4.6 在電子表格上最強(qiáng)。實(shí)驗(yàn)同時(shí)觀察到在視覺判定下電子表格和演示文稿類工具有系統(tǒng)性的分?jǐn)?shù)膨脹與純文本交付物相比。該模式在判題器消融研究中重現(xiàn)說明當(dāng)前多模態(tài) LLM 判題器對細(xì)粒度企業(yè)工件的校準(zhǔn)能力弱于文本判題器。Rubric 五維語義診斷圖 7顯示當(dāng)前系統(tǒng)普遍在 communication quality 和 task relevance 上優(yōu)于 grounded accuracy。原因在于企業(yè)任務(wù)要求閱讀大型輸入文件并將證據(jù)帶入業(yè)務(wù)工件agent 經(jīng)常無法在大型上傳文件中定位用戶要求的關(guān)鍵信息或在長時(shí)執(zhí)行過程中丟失這些信息。這一維度的系統(tǒng)性短板指向了企業(yè) agent 落地的核心瓶頸不是表達(dá)而是證據(jù)保持。全集可擴(kuò)展性檢查在自動構(gòu)建的 852 個(gè)任務(wù)上運(yùn)行了 4 個(gè) DeepAgents 組合表 2。GPT-5.5 得分為 0.766Sonnet 4.6 為 0.749Haiku 4.5 為 0.632GPT-4.1-mini 為 0.336。排序與主排行榜完全一致GPT-5.5 Sonnet 4.6 Haiku 4.5 GPT-4.1-mini且即使最強(qiáng)模型也未飽和。這表明自動管道構(gòu)建的完整基準(zhǔn)能夠保留人審 Lite 子集的排序區(qū)分度支持管道有效性。主實(shí)驗(yàn)部分還提供了一個(gè)完整的單案例拆解展示判題器如何區(qū)分“部分成功”與“完全完成”。任務(wù)要求對兩個(gè) Excel 文件其中一個(gè)含大量Err:504單元格做跨文件校準(zhǔn)與現(xiàn)金流分析交付一個(gè)表格文件。ClaudeCode/Haiku 4.5 的最終聊天回復(fù)聲稱“全部通過、準(zhǔn)確無誤”并給出了總收入、總成本、總毛利等統(tǒng)計(jì)。但視覺判題器將電子表格渲染為頁面圖像后發(fā)現(xiàn)異常值未被明確處理且任務(wù)要求的現(xiàn)金流分析完全缺失。該案例最終得分為 0.66總體評語指出“輸出在校準(zhǔn)和分析方面有一定深度但未完全覆蓋任務(wù)要求的現(xiàn)金流分析”。這說明對產(chǎn)物的視覺/語義核驗(yàn)?zāi)苡行ёR別 agent 自我報(bào)告的過度自信。4.3 消融實(shí)驗(yàn) / Ablation Study4.3.1 判題器可靠性消融判題器是 EnterpriseClawBench 評分體系的核心因此論文對其可靠性做了密集的消融驗(yàn)證。LLM–LLM 一致性在 Lite 集上重新評分 32 個(gè) hm 組合的工件。GPT-5.4-text 與 Sonnet 4.6 文本判題器之間的 Spearmanρ 0.918 \rho 0.918ρ0.918n 1,853GPT-5.4-visual 與 Sonnet 4.6 視覺判題器之間的ρ 0.866 \rho 0.866ρ0.866n 1,428。這表明有能力的判題器之間能保持大致排序。LLM–人類一致性48 個(gè)樣本包文本/視覺各半由人類評分者獨(dú)立評分表 3。文本路由上Sonnet 4.6 與人類評分的 MAE 為 0.134Spearmanρ 0.790 \rho 0.790ρ0.790對齊良好。視覺路由上MAE 擴(kuò)大到 0.303Spearman 為?0.259出現(xiàn)負(fù)秩相關(guān)。也就是說在視覺工件上判題器對哪份產(chǎn)物更好的人類判斷幾乎沒有預(yù)測能力且系統(tǒng)性地比人類更保守。論文明確指出多模態(tài)工件評估尚未成熟這是基準(zhǔn)暴露的關(guān)鍵問題。附錄中的判題器消融補(bǔ)充圖 10從兩個(gè)視角進(jìn)一步展開。水平視角顯示不同判題器使用不同的絕對分?jǐn)?shù)尺度強(qiáng)模型通常更保守較弱的判題器給出的分?jǐn)?shù)更高因此不同判題器的分?jǐn)?shù)不能混入同一排行榜。垂直視角顯示有能力的判題器保持主排行榜的大致排序但中部排名的不穩(wěn)定性最大且視覺工件比文本工件更明顯。圖 10 的熱力圖按 Sonnet 4.6-main 分?jǐn)?shù)排序同時(shí)呈現(xiàn)文本路線與視覺路線的分?jǐn)?shù)分布直觀展示了判題器模型選擇對評測結(jié)論的影響。4.3.2 技能注入消融正遷移與負(fù)遷移技能遷移實(shí)驗(yàn)揭示了技能注入的高方差特性。論文以“會員等級皇冠圖標(biāo) HTML 頁面”這一保留任務(wù)為例詳細(xì)展示了正負(fù)兩種可能。正遷移案例中無技能注入時(shí) agent 生成了membership_crowns.html判題器評語為“交付物基本完成任務(wù)要求三等級皇冠顏色區(qū)分明確、頁面布局清晰但 Q 萌 3D 風(fēng)格實(shí)現(xiàn)深度不足配飾精細(xì)度遞進(jìn)不夠顯著。”此時(shí)得分為 0.756。注入一段通用的前端頁面實(shí)現(xiàn)技能后定義全局 CSS 變量、按骨架逐頁實(shí)現(xiàn)、檢查圖標(biāo)配置、驗(yàn)證 grid 對齊、確保瀏覽器直接渲染等agent 生成了membership_crown_icons.html判題器評語變?yōu)椤敖桓段锿暾麑?shí)現(xiàn)了三等級皇冠圖標(biāo)展示顏色差異化和配飾遞進(jìn)明確整體質(zhì)量良好但 3D 立體深度略顯不足?！钡梅痔嵘?0.844。數(shù)值關(guān)系為S 無技能 0.756 → 注入技能 S 有技能 0.844 , Δ skill 0.088 S_{\text{無技能}}0.756 \xrightarrow{\text{注入技能}} S_{\text{有技能}}0.844, \quad \Delta_{\text{skill}}0.088S無技能?0.756注入技能?S有技能?0.844,Δskill?0.088負(fù)遷移案例使用同一個(gè) held-out 任務(wù)。無技能注入時(shí)評語為“頁面完整展示三等級皇冠圖標(biāo)且差異化明確但基礎(chǔ)皇冠造型偏離皇冠標(biāo)準(zhǔn)形態(tài)、3D 深度有限整體質(zhì)量中等偏上。”注入偏向“交付形態(tài)和設(shè)計(jì)系統(tǒng)”的技能后得分不僅沒有提升反而從 0.756 降至 0.555S 無技能 0.756 → 注入技能 S 有技能 0.555 , Δ skill ? 0.201 S_{\text{無技能}}0.756 \xrightarrow{\text{注入技能}} S_{\text{有技能}}0.555, \quad \Delta_{\text{skill}}-0.201S無技能?0.756注入技能?S有技能?0.555,Δskill??0.201注入后評語為“頁面布局和等級標(biāo)注完成度較好但皇冠圖標(biāo)造型偏離皇冠參考形態(tài)且3D精細(xì)度不足核心視覺交付物質(zhì)量有限?！币簿褪钦f技能改善了布局與標(biāo)注但核心視覺交付物皇冠圖標(biāo)的形態(tài)準(zhǔn)確性與 3D 精細(xì)度反而受損。兩相對照說明技能注入可能引導(dǎo) agent 優(yōu)先遵循通用交付規(guī)范而犧牲針對當(dāng)前任務(wù)細(xì)粒度要求的視覺質(zhì)量。4.3.3 消費(fèi)者–創(chuàng)建者矩陣在更系統(tǒng)的層面論文報(bào)告了技能遷移矩陣圖 8。實(shí)驗(yàn)覆蓋多個(gè)消費(fèi)者 agent 與三個(gè)技能創(chuàng)建者每個(gè)矩陣單元報(bào)告“無技能分?jǐn)?shù) → 注入后分?jǐn)?shù)”及 delta。GPT-5.5 是最強(qiáng)創(chuàng)建者平均遷移 delta 為 0.0681且未出現(xiàn)負(fù)向遷移。Kimi K2.6 次之平均 delta 0.0518增益集中在強(qiáng)消費(fèi)者如 Codex/GPT-5.5和 OpenClaw/Kimi K2.6 上。Haiku 4.5 是最弱創(chuàng)建者平均 delta 為 ?0.0941且對 OpenClaw/Kimi K2.6 產(chǎn)生顯著退化。一個(gè)重要發(fā)現(xiàn)是創(chuàng)建能力與消費(fèi)能力不對齊。Haiku 4.5 雖然是弱創(chuàng)建者但 DeepAgents/Haiku 4.5 作為消費(fèi)者時(shí)能力不錯(cuò)3 個(gè)注入技能中有 2 個(gè)改善基線。而強(qiáng)消費(fèi)者也可能對創(chuàng)建者選擇敏感Codex/GPT-5.5 在所有三個(gè)創(chuàng)建者下均獲益但 Hermes/Kimi K2.6 與 OpenClaw/Kimi K2.6 被 Haiku 創(chuàng)建的技能傷害。論文據(jù)此得出結(jié)論技能注入是高方差過程取決于創(chuàng)建者質(zhì)量、消費(fèi)者行為、創(chuàng)建者–消費(fèi)者適配和消費(fèi)者基線分?jǐn)?shù)因此必須以消費(fèi)者–創(chuàng)建者矩陣在任務(wù)類級別評估技能而非報(bào)告單一平均值。六、局限性與展望 / Limitations Future WorkEnterpriseClawBench 的局限性首先來自數(shù)據(jù)來源的單一性。所有任務(wù)來自一家 AI 初創(chuàng)公司在三個(gè)月內(nèi)的內(nèi)部會話企業(yè)規(guī)模、行業(yè)屬性、agent 平臺約定和員工使用習(xí)慣都會在任務(wù)分布中留下印記。論文明確承認(rèn)單一企業(yè)部署的結(jié)果可能不具普遍代表性。不同行業(yè)如金融、醫(yī)療、制造業(yè)的文檔類型、合規(guī)要求和業(yè)務(wù)約定很可能產(chǎn)生完全不同的任務(wù)分布與難度曲線。未來需要來自多家企業(yè)、多個(gè)平臺的會話數(shù)據(jù)來驗(yàn)證構(gòu)建協(xié)議的可遷移性。第二個(gè)局限是數(shù)據(jù)不可發(fā)布。由于會話包含內(nèi)部內(nèi)容、附件、工具痕跡與業(yè)務(wù)工件完整數(shù)據(jù)集無法公開這限制了第三方在完全一致的 task 上直接復(fù)現(xiàn)結(jié)果。論文的應(yīng)對是將“可復(fù)現(xiàn)性”定義為在發(fā)布協(xié)議與代碼框架下可重建而非直接獲取數(shù)據(jù)。但即便如此重建過程仍依賴原始專有會話外部研究者無法獨(dú)立驗(yàn)證構(gòu)建管道的每一步對最終任務(wù)集合的影響。一個(gè)更可取的未來方向是發(fā)布足夠大的脫敏后樣本或者提供一個(gè)模擬會話生成的合成版本使研究社區(qū)能在不接觸敏感數(shù)據(jù)的前提下進(jìn)行方法學(xué)復(fù)現(xiàn)。第三個(gè)局限來自判題器本身尤其是視覺判題器。LLM–人類一致性實(shí)驗(yàn)中文本路由的 Spearman 達(dá) 0.790但視覺路由出現(xiàn)負(fù)秩相關(guān)?0.259且 MAE 高達(dá) 0.303。這意味著在電子表格、PPT、HTML 渲染圖像等多模態(tài)工件上當(dāng)前最強(qiáng) LLM 判題器對“哪個(gè)產(chǎn)物更好”的判斷與人類幾乎不一致。這是一個(gè)必須嚴(yán)肅對待的評測學(xué)問題如果評測器本身不可靠那么主排行榜的視覺相關(guān)結(jié)論就存在不確定性。論文對此的立場是透明的——在報(bào)告主結(jié)果的同時(shí)強(qiáng)制附帶判題器消融與人類相關(guān)性校準(zhǔn)但這不能替代一個(gè)本質(zhì)上更可靠的視覺判定方法。未來需要專門針對企業(yè)工件的多模態(tài)判題器訓(xùn)練數(shù)據(jù)或者引入更細(xì)粒度的可驗(yàn)證中間表征如表格結(jié)構(gòu)解析、渲染差異檢測來輔助判定。第四個(gè)局限是門控造成的覆蓋范圍偏差。fixture 缺失、脫敏不可恢復(fù)、URL 不可達(dá)、任務(wù)目標(biāo)模糊如“****自動投遞”這類原始 agent 都無法消歧的指令都會被排除在基準(zhǔn)之外。這保證了基準(zhǔn)內(nèi)任務(wù)的機(jī)械可復(fù)現(xiàn)性但也意味著基準(zhǔn)不評測 agent 處理數(shù)據(jù)缺失類失敗和完全模糊指令的能力——而這些恰恰是真實(shí)企業(yè)部署中常見的運(yùn)營挑戰(zhàn)。未來可以考慮單獨(dú)構(gòu)建“失敗恢復(fù)”任務(wù)類專門評測 agent 在信息不足時(shí)的澄清策略與降級行為。第五個(gè)局限是技能遷移評估的覆蓋范圍有限。目前技能實(shí)驗(yàn)僅聚焦于“前端頁面生成”一個(gè)任務(wù)子類且保留任務(wù)只有 5 個(gè)統(tǒng)計(jì)功效有限。消費(fèi)者–創(chuàng)建者矩陣揭示了顯著的高方差現(xiàn)象但樣本量不足以支撐更細(xì)粒度的歸因分析——例如什么樣的技能內(nèi)容特征導(dǎo)致負(fù)遷移創(chuàng)建者模型在什么條件下能穩(wěn)定生成可遷移技能未來應(yīng)擴(kuò)展到更多任務(wù)子類并增加保留任務(wù)數(shù)量使技能遷移的效應(yīng)量估計(jì)更加可靠。此外主排行榜上的 32 個(gè) hm 組合雖已覆蓋 5 個(gè) harness 與 9 個(gè)模型但模型版本迭代極快。論文的評測協(xié)議天然支持未來擴(kuò)展但如何讓排行榜隨時(shí)間演化而不失真仍是一個(gè)開放問題。成本與運(yùn)行時(shí)間的度量雖然被記錄但論文未給出這些維度的完整表格——這同樣是一個(gè)值得后續(xù)版本補(bǔ)充的內(nèi)容。七、總結(jié) / ConclusionEnterpriseClawBench 從真實(shí)企業(yè)工作區(qū)會話出發(fā)構(gòu)建了一個(gè)包含 852 個(gè)可復(fù)現(xiàn)任務(wù)的企業(yè) agent 基準(zhǔn)。它的核心貢獻(xiàn)不是發(fā)布一組靜態(tài)數(shù)據(jù)而是提供一整套可復(fù)用的構(gòu)建與評估協(xié)議從帶噪會話中恢復(fù)可復(fù)現(xiàn)任務(wù)的多級門控流水線由硬規(guī)則與語義判定構(gòu)成的兩層評分體系聯(lián)合 harness–model 組合、工件交付、成本、運(yùn)行時(shí)間與技能遷移行為的多維評估框架以及以消費(fèi)者–創(chuàng)建者矩陣為核心的任務(wù)類級技能遷移評估協(xié)議。實(shí)證結(jié)果展示了企業(yè) agent 評測的復(fù)雜面貌。最佳配置 Codex GPT-5.5 僅得到 0.663 分說明這一任務(wù)領(lǐng)域遠(yuǎn)未飽和Claude 模型族在 Hermes harness 下的顯著降級揭示了 harness 與模型的深刻交互視覺判題器與人類評分的負(fù)秩相關(guān)暴露了多模態(tài)企業(yè)工件評估方法的滯后技能注入實(shí)驗(yàn)在同一任務(wù)上同時(shí)產(chǎn)生了 0.088 的正遷移和 ?0.201 的負(fù)遷移證實(shí)了技能遷移的高方差本質(zhì)。這些發(fā)現(xiàn)共同支撐了論文的核心主張企業(yè) agent 評測必須報(bào)告 harness–model 組合、工件交付、視覺質(zhì)量、成本、運(yùn)行時(shí)間和技能遷移行為而不是把性能壓縮成一個(gè)單一分?jǐn)?shù)。原文摘要:Enterprise agents increasingly operate inside workspaces: they read heterogeneous files, invoke tools, and deliver business artifacts. We introduce EnterpriseClawBench, an enterprise agent benchmark constructed from proprietary, real-world agent sessions. Starting from a large archive of workplace sessions, the EnterpriseClawBench produces 852 reproducible tasks, each paired with recovered fixtures, rewritten prompts, role classes, skill subclasses, hard rules, and semantic rubrics. Because the sessions contain internal enterprise content, we do not release the benchmark data; instead, our reusable contribution is the construction and evaluation protocol. On EnterpriseClawBench, the best configuration reaches only 0.663 (Codex with GPT-5.5). These results show that enterprise agent evaluation must report harness–model combinations, artifact delivery, visual quality, cost, runtime, and skill-transfer behavior, rather than collapsing performance into a single score. Code: https://github.com/FrontisAI/EnterpriseClawBenchPDF鏈接:https://arxiv.org/pdf/2606.23654v1部分平臺可能圖片顯示異常請以我的博客內(nèi)容為準(zhǔn)