從踩坑到定理五可驗(yàn)證性設(shè)計(jì)——為什么「看起來(lái)能跑」交付就翻車從踩坑到定理Dify 應(yīng)用工程的通用理論 · 5/7基于 Dify 1.16.x 69 個(gè)實(shí)戰(zhàn)實(shí)驗(yàn)實(shí)測(cè)2026-08 摘要LLM 應(yīng)用必須設(shè)計(jì)可觀測(cè)性、可審計(jì)性、可重復(fù)驗(yàn)證路徑否則無(wú)法被獨(dú)立驗(yàn)收。本文給出三層用例功能點(diǎn)/節(jié)點(diǎn)/路徑 三分歸因應(yīng)用/用例/環(huán)境的完整驗(yàn)證體系——可靠是設(shè)計(jì)出來(lái)的不是驗(yàn)收時(shí)發(fā)現(xiàn)的。本文要解決的核心痛點(diǎn)驗(yàn)收時(shí)「看起來(lái)能跑」交付后邊界場(chǎng)景連炸客戶問(wèn)「你怎么證明可靠」你只有「我點(diǎn)過(guò)幾遍」驗(yàn)收 FAIL 了到底是應(yīng)用錯(cuò)、用例錯(cuò)還是環(huán)境錯(cuò)本文講可驗(yàn)證性設(shè)計(jì)可觀測(cè)、可審計(jì)、可復(fù)現(xiàn)——可靠是設(shè)計(jì)出來(lái)的不是驗(yàn)收時(shí)發(fā)現(xiàn)的。前四篇都在講「怎么設(shè)計(jì)」這一篇講「怎么證明」。這是整個(gè)系列的落點(diǎn)前面所有定理最后都要回答一個(gè)問(wèn)題——你怎么證明它真的可靠大多數(shù) LLM 應(yīng)用團(tuán)隊(duì)的做法是開(kāi)發(fā)完手工點(diǎn)幾遍「看起來(lái)能跑」就交付了。然后用戶發(fā)現(xiàn)問(wèn)題團(tuán)隊(duì)說(shuō)「這是模型的問(wèn)題」。這條路線我們走過(guò)翻過(guò)車后來(lái)徹底換了方法。場(chǎng)景交付一個(gè) RAG 問(wèn)答應(yīng)用驗(yàn)收階段。第一版我們的驗(yàn)收方式是把典型問(wèn)題在界面上點(diǎn)一遍「回答得還行」出驗(yàn)收?qǐng)?bào)告。結(jié)果被客戶當(dāng)場(chǎng)打臉人家問(wèn)了三個(gè)邊界問(wèn)題——「手冊(cè)里沒(méi)寫的你怎么回答」「兩個(gè)相似故障你答錯(cuò)了一個(gè)?！埂笓Q個(gè)問(wèn)法你給的依據(jù)變了?！刮覀儫o(wú)從辯駁因?yàn)槲覀兏緵](méi)有證據(jù)證明它可靠只有「我點(diǎn)過(guò)幾遍沒(méi)問(wèn)題」的印象。那次之后我們立了一條鐵律驗(yàn)收不是流程是設(shè)計(jì)的一部分?？沈?yàn)證性必須在設(shè)計(jì)期就造進(jìn)應(yīng)用里。結(jié)論定理 6可驗(yàn)證性設(shè)計(jì)LLM 應(yīng)用必須設(shè)計(jì)可觀測(cè)性中間狀態(tài)可查、可審計(jì)性輸入輸出可回溯、可重復(fù)驗(yàn)證路徑同樣的輸入可復(fù)現(xiàn)驗(yàn)證否則無(wú)法被獨(dú)立驗(yàn)收。推導(dǎo)來(lái)源LLM 是黑盒 概率性 → 黑盒不可驗(yàn)證 → 驗(yàn)證能力必須在設(shè)計(jì)期造進(jìn)去而不是驗(yàn)收時(shí)才想。這條定理是四個(gè)約束維度理論的應(yīng)用層它不增加新的維度而是要求前四個(gè)維度的每條設(shè)計(jì)都「可被證明」。推導(dǎo)鏈為什么「看起來(lái)能跑」不算數(shù)一個(gè)應(yīng)用要能被獨(dú)立驗(yàn)收必須同時(shí)滿足三個(gè)條件可觀測(cè)運(yùn)行的中間狀態(tài)要能查。LLM 節(jié)點(diǎn)的輸入輸出、檢索節(jié)點(diǎn)實(shí)際檢索了什么、改寫節(jié)點(diǎn)把問(wèn)題改成了什么——這些中間值必須有記錄可查。沒(méi)有可觀測(cè)性出了問(wèn)題只能猜?？蓪徲?jì)輸入輸出要能回溯。一次回答依據(jù)了哪幾個(gè)文檔段落、結(jié)論和依據(jù)對(duì)不對(duì)得上——要能回放。不能回放就無(wú)法判斷「這次答錯(cuò)了」是模型問(wèn)題還是檢索問(wèn)題?？芍貜?fù)驗(yàn)證同樣的輸入要能復(fù)現(xiàn)驗(yàn)證路徑。不是「點(diǎn)一次看看」是「同配置、同輸入、可重復(fù)執(zhí)行用例」——驗(yàn)收的每個(gè)結(jié)論都要有可重復(fù)的執(zhí)行記錄支撐。這三個(gè)條件的反面就是「看起來(lái)能跑」中間值看不到、回答依據(jù)說(shuō)不清、驗(yàn)證結(jié)論無(wú)法復(fù)現(xiàn)。三個(gè)條件全部不滿足這個(gè)應(yīng)用就是不可驗(yàn)收的——無(wú)論它實(shí)際質(zhì)量多高。正例實(shí)證一套完整的驗(yàn)證體系長(zhǎng)什么樣我們最終形成了一套完整的驗(yàn)證方法論核心是測(cè)試分層 驗(yàn)收基線化第一層節(jié)點(diǎn)級(jí)驗(yàn)證斷言形狀不斷言措辭。每個(gè)確定性節(jié)點(diǎn)驗(yàn)證輸入輸出契約LLM 節(jié)點(diǎn)驗(yàn)證輸出形狀字段存在、類型正確、值合法不驗(yàn)證措辭——因?yàn)榇朕o是采樣結(jié)果逐字?jǐn)嘌允清e(cuò)誤預(yù)期。這一層回答「節(jié)點(diǎn)壞了沒(méi)有」。第二層鏈路級(jí)驗(yàn)證按路徑枚舉端到端用例。按業(yè)務(wù)拓?fù)涿杜e路徑主路徑、分支路徑、失敗路徑、邊界路徑每條路徑一個(gè)端到端用例。這一層回答「鏈路斷了沒(méi)有」。兩層合起來(lái)覆蓋了「節(jié)點(diǎn)失效局部」和「鏈路失效全局」兩類問(wèn)題——對(duì)應(yīng)定理 5。第三層驗(yàn)收基線化斷言事實(shí)不斷言措辭。驗(yàn)收用例先全部輸出 → 用戶確認(rèn)基線化 → 執(zhí)行時(shí)嚴(yán)格按基線跑中途不因應(yīng)用特殊性改用例。同一個(gè)問(wèn)題采樣多次看結(jié)論是否一致——一致性斷言的是「事實(shí)」不是「表述」。結(jié)論一致、表述不同 正常波動(dòng)結(jié)論都變了 工程缺陷。這一層回答「它穩(wěn)定嗎」。EDD 保證這套三層驗(yàn)證落地的核心不是「要求做驗(yàn)證」而是驗(yàn)證結(jié)果不可繞過(guò)——六道結(jié)構(gòu)性保障 一、三層驗(yàn)證 ? EDD 對(duì)應(yīng) - 節(jié)點(diǎn)級(jí)驗(yàn)證斷言形狀不斷言措辭→ EDD 硬斷言層字段名與 TR2 一致性/禁區(qū)觸發(fā)/工具調(diào)用順序機(jī)器可執(zhí)行 TR2 字段表Mock Schema——形狀契約的真相源 - 鏈路級(jí)驗(yàn)證路徑枚舉端到端→ TR3 用例三來(lái)源成功標(biāo)準(zhǔn)→端到端用例主路徑、邊界禁區(qū)→負(fù)向用例失敗/邊界路徑 - 驗(yàn)收基線化斷言事實(shí)不斷言措辭→ 用例集基線化 硬/軟斷言分層——「結(jié)論一致表述不同正常波動(dòng)結(jié)論變了工程缺陷」正是軟斷言的判定語(yǔ)義 二、EDD 的六道落地保障為什么它不會(huì)停留在文檔里 1. 門禁強(qiáng)制TR3/TR4 是收尾正式關(guān)卡不參與循環(huán)——驗(yàn)證是必經(jīng)之門不是可選動(dòng)作 2. 收斂前提MRT 目標(biāo)達(dá)成 應(yīng)用形態(tài)穩(wěn)定 錯(cuò)誤清單飽和 才進(jìn) TR3——驗(yàn)證在正確時(shí)機(jī)跑不早跑不亂跑 3. 基線紀(jì)律用例集基線化后嚴(yán)格執(zhí)行——「嚴(yán)格按用例執(zhí)行」執(zhí)行器與用例逐字一致AST 校驗(yàn)中途不因應(yīng)用特殊性改用例這是 dify-app-testing 的 E 系列執(zhí)行紀(jì)律 4. 自斷后路鐵律交付期不手工改輸出只改系統(tǒng)——錯(cuò)了改工作流/提示詞/加斷言直到自動(dòng)跑通——驗(yàn)證結(jié)果不可繞過(guò)手工改繞過(guò)循環(huán)錯(cuò)誤不進(jìn)清單資產(chǎn)不沉淀 5. 歸因三分FAIL 必須歸因應(yīng)用缺陷/用例缺陷/執(zhí)行器缺陷基線后缺陷只標(biāo)識(shí)不改——鍋不混修復(fù)有路徑 6. 裁判權(quán)分離TR4 裁判是「硬標(biāo)準(zhǔn)」不是人不會(huì)失真 獨(dú)立驗(yàn)收正交只報(bào)告不修改——運(yùn)動(dòng)員兼裁判問(wèn)題的解法 三、加一層資產(chǎn)化 黃金集帶 Source 標(biāo)注復(fù)用前回歸100% 通過(guò)才交付——驗(yàn)證基線不只是本次交付的門禁是跨項(xiàng)目復(fù)用的資產(chǎn)下一單直接繼承基線 一句話EDD 讓驗(yàn)證落地靠的是「繞不過(guò)去」——門禁強(qiáng)制 自斷后路 基線紀(jì)律 歸因 裁判分離驗(yàn)證是體系的一等公民。三層合起來(lái)的執(zhí)行鏈路三層用例是否功能點(diǎn)級(jí)端到端鏈路節(jié)點(diǎn)級(jí)輸入輸出斷言路徑級(jí)按拓?fù)涿杜e執(zhí)行FAIL?三分歸因應(yīng)用缺陷修應(yīng)用用例缺陷改用例環(huán)境問(wèn)題重跑基線化驗(yàn)收?qǐng)?bào)告獨(dú)立驗(yàn)收只報(bào)告不修改。交付側(cè)和驗(yàn)收側(cè)分開(kāi)驗(yàn)收方只做驗(yàn)證和報(bào)告不改應(yīng)用。為什么因?yàn)椤父耐暝贉y(cè)」和「測(cè)完再改」混在一起永遠(yuǎn)說(shuō)不清質(zhì)量是誰(shuí)的。獨(dú)立驗(yàn)收讓「缺陷歸因」干凈——應(yīng)用問(wèn)題歸應(yīng)用用例問(wèn)題歸用例環(huán)境問(wèn)題歸環(huán)境三分法明確責(zé)任。這套體系跑下來(lái)交付的每個(gè)應(yīng)用都有完整的驗(yàn)證證據(jù)鏈節(jié)點(diǎn)級(jí)斷言記錄、鏈路級(jí)用例執(zhí)行記錄、基線化驗(yàn)收?qǐng)?bào)告?？蛻粼賳?wèn)「你怎么證明可靠」我們給出的是可回放的執(zhí)行記錄不是「我點(diǎn)過(guò)幾遍」。反例實(shí)證驗(yàn)收翻車的三種姿勢(shì)反例 1手點(diǎn)驗(yàn)收。現(xiàn)象驗(yàn)收「看起來(lái)能跑」交付后邊界場(chǎng)景連炸。根因手點(diǎn)無(wú)法覆蓋路徑、無(wú)法復(fù)現(xiàn)、無(wú)法留痕——「點(diǎn)過(guò)幾遍沒(méi)問(wèn)題」是印象不是證據(jù)。修復(fù)路徑枚舉用例 執(zhí)行記錄留痕。反例 2驗(yàn)收時(shí)改應(yīng)用。現(xiàn)象測(cè)試發(fā)現(xiàn)一個(gè)問(wèn)題當(dāng)場(chǎng)改應(yīng)用改完「重測(cè)一下」報(bào)告里分不清哪些是原樣測(cè)的、哪些是改后測(cè)的。根因驗(yàn)證與修改混在一起基線被污染。修復(fù)基線化 獨(dú)立驗(yàn)收——先按基線跑完拿結(jié)果再統(tǒng)一歸因再修應(yīng)用。反例 3斷言措辭?，F(xiàn)象驗(yàn)收用例斷言「回答必須一字不差」模型措辭一變就報(bào) FAIL。根因把采樣結(jié)果當(dāng)確定性斷言——這是 LLM 應(yīng)用驗(yàn)收最常見(jiàn)的自欺把用例缺陷當(dāng)應(yīng)用缺陷。修復(fù)斷言事實(shí)不斷言措辭同一問(wèn)題多輪采樣看結(jié)論一致性。這條經(jīng)驗(yàn)后來(lái)獨(dú)立成方法論——「如何區(qū)分 AI 幻覺(jué)與用例缺陷」FAIL 先分清「誰(shuí)錯(cuò)了」再動(dòng)手修。三個(gè)反例的共性都是驗(yàn)證方法本身有缺陷不是應(yīng)用有缺陷。這就是為什么說(shuō)「可驗(yàn)證性是設(shè)計(jì)出來(lái)的」——驗(yàn)證方法設(shè)計(jì)錯(cuò)了再好的應(yīng)用也驗(yàn)不出來(lái)。擴(kuò)展驗(yàn)證體系的落地形態(tài)——三層用例 三分歸因這套方法論具體落到項(xiàng)目上是三層用例設(shè)計(jì) 三分歸因的固定組合這里把細(xì)節(jié)展開(kāi)三層用例功能點(diǎn)級(jí)、節(jié)點(diǎn)級(jí)、路徑級(jí)。功能點(diǎn)級(jí)端到端鏈路回答「這個(gè)功能能用嗎」——典型輸入走完整鏈路看最終輸出。節(jié)點(diǎn)級(jí)逐節(jié)點(diǎn)輸入輸出斷言回答「這個(gè)節(jié)點(diǎn)對(duì)嗎」——確定性節(jié)點(diǎn)嚴(yán)格斷言LLM 節(jié)點(diǎn)形狀斷言。路徑級(jí)按拓?fù)涿杜e業(yè)務(wù)路徑回答「這條鏈路斷了嗎」——主路徑、分支路徑、失敗路徑、邊界路徑全覆蓋。三層合起來(lái)把「驗(yàn)證」從一次性的「我點(diǎn)過(guò)幾遍」變成了可執(zhí)行的用例集。每一層都有明確的判定標(biāo)準(zhǔn)執(zhí)行結(jié)果可記錄、可回放。三分歸因應(yīng)用缺陷 / 用例缺陷 / 環(huán)境問(wèn)題。驗(yàn)收中遇到 FAIL第一件事不是修是歸因應(yīng)用缺陷應(yīng)用行為不符合預(yù)期——修應(yīng)用。用例缺陷用例本身設(shè)計(jì)錯(cuò)了斷言措辭、預(yù)期錯(cuò)誤、輸入不真實(shí)——改用例不修應(yīng)用。環(huán)境問(wèn)題依賴不可用、限流、網(wǎng)絡(luò)——記錄環(huán)境重跑。三分歸因的價(jià)值在于防止一個(gè)最常見(jiàn)的自欺把用例缺陷當(dāng)應(yīng)用缺陷修——應(yīng)用本來(lái)是對(duì)的因?yàn)橛美龜嘌藻e(cuò)了報(bào) FAIL然后團(tuán)隊(duì)去「修應(yīng)用」越修越錯(cuò)。先歸因再動(dòng)手是驗(yàn)收的第一紀(jì)律。這套組合跑下來(lái)每個(gè)交付項(xiàng)目都有一份完整的驗(yàn)證證據(jù)鏈三層用例集 執(zhí)行記錄 歸因記錄 基線化驗(yàn)收?qǐng)?bào)告。這就是「可驗(yàn)證性設(shè)計(jì)」在項(xiàng)目里的最終形態(tài)——不是一篇方法論是一套每次交付都會(huì)執(zhí)行的固定動(dòng)作。實(shí)踐動(dòng)作設(shè)計(jì)時(shí)應(yīng)用設(shè)計(jì)里強(qiáng)制包含可觀測(cè)性——LLM 節(jié)點(diǎn)輸出留痕、檢索節(jié)點(diǎn)記錄實(shí)際檢索詞與命中段、關(guān)鍵中間值可查。不可觀測(cè)的節(jié)點(diǎn)設(shè)計(jì)打回。評(píng)審時(shí)用「三個(gè)條件」過(guò)一遍——中間狀態(tài)能查嗎輸入輸出能回溯嗎驗(yàn)證路徑可重復(fù)嗎任一不滿足補(bǔ)設(shè)計(jì)。驗(yàn)收時(shí)先基線化用例先確認(rèn)再執(zhí)行→ 分層執(zhí)行節(jié)點(diǎn)級(jí) 鏈路級(jí)→ 統(tǒng)一歸因應(yīng)用/用例/環(huán)境三分→ 結(jié)論基線化斷言事實(shí)。排障時(shí)回答不一致先看節(jié)點(diǎn)執(zhí)行記錄取證再按歸因法分類崩潰/漂移/生成禁止猜。邊界與版本版本無(wú)關(guān)定理 6 是 LLM 應(yīng)用的普遍規(guī)律——任何平臺(tái)、任何框架下黑盒概率系統(tǒng)的可驗(yàn)證性都只能靠設(shè)計(jì)期造入。版本相關(guān)的只是取證手段節(jié)點(diǎn)執(zhí)行記錄的 API、日志格式隨平臺(tái)版本變化。邊界說(shuō)明本系列的驗(yàn)證方法論基于文本型 RAG 應(yīng)用與工作流應(yīng)用實(shí)測(cè)多模態(tài)應(yīng)用的驗(yàn)證維度圖像輸出如何斷言未在本系列實(shí)測(cè)范圍內(nèi)推斷待驗(yàn)證。收尾可驗(yàn)證性設(shè)計(jì)是四個(gè)約束維度理論的匯合點(diǎn)平臺(tái)約束決定你能觀測(cè)什么節(jié)點(diǎn)執(zhí)行記錄、LLM 行為決定你該斷言什么形狀與事實(shí)不是措辭、架構(gòu)決策決定你該怎么分層節(jié)點(diǎn)級(jí) 鏈路級(jí)、數(shù)據(jù)/記憶決定你該審計(jì)什么檢索命中段與依據(jù)。四個(gè)維度合起來(lái)才構(gòu)成「可證明的可靠」。下一篇從踩坑到定理六盲區(qū)與開(kāi)放問(wèn)題——這套理論有什么不能信的地方我們誠(chéng)實(shí)地面對(duì)這套理論的邊界性能/成本這些我們實(shí)測(cè)還不充分的地方、平臺(tái)版本演進(jìn)帶來(lái)的不確定性、以及理論本身的自我檢驗(yàn)方法。討論區(qū)你驗(yàn)收過(guò) LLM 應(yīng)用嗎有沒(méi)有經(jīng)歷過(guò)「看起來(lái)能跑、交付就翻車」驗(yàn)收 FAIL 時(shí)你分得清是應(yīng)用錯(cuò)還是用例錯(cuò)嗎評(píng)論區(qū)聊聊你的驗(yàn)收方法論。如果覺(jué)得有收獲歡迎點(diǎn)贊 收藏 關(guān)注這是激勵(lì)我更新這個(gè)硬核系列的最大動(dòng)力。本文基于真實(shí)項(xiàng)目交付經(jīng)驗(yàn)撰寫Dify 1.16.x 環(huán)境、69 個(gè)實(shí)驗(yàn)與驗(yàn)收記錄。文中數(shù)據(jù)均來(lái)自我們自己的實(shí)測(cè)記錄理論部分以「已驗(yàn)證 / 推斷待驗(yàn)證」標(biāo)注邊界。