戰(zhàn)】從殘俑到彩繪復(fù)原：我用 8B 單卡多模態(tài)大模型，為兵馬俑做了一次「數(shù)字修復(fù)」)
【SenseNova U1.5 Lite實(shí)戰(zhàn)】從殘俑到彩繪復(fù)原我用 8B 單卡多模態(tài)大模型為兵馬俑做了一次「數(shù)字修復(fù)」本文涉及官方資料地址匯總SenseNova-U1 官方倉(cāng)庫(kù)https://github.com/OpenSenseNova/SenseNova-U1SenseNova U1.5 模型權(quán)重https://huggingface.co/sensenova/SenseNova-U1.5-8B-MoT魔搭社區(qū)國(guó)內(nèi)鏡像https://modelscope.cn/models/SenseNova/SenseNova-U1.5-8B-MoTatomgit 國(guó)內(nèi)源碼鏡像https://atomgit.com/SenseNova/SenseNova-U1作者背景西北工業(yè)大學(xué)碩士研究生研究方向?yàn)榍厥蓟时R俑的數(shù)字化保護(hù)與修復(fù)。本文所有生成結(jié)果均在課題組內(nèi)部評(píng)議中獲得指導(dǎo)教授的認(rèn)可——模型對(duì)秦俑形制、彩繪工藝的還原程度達(dá)到了「可作為修復(fù)方案預(yù)演參考」的水平。這也是我決定把這次實(shí)驗(yàn)完整寫下來(lái)的原因。一句話結(jié)論SenseNova U1.5 Lite8B在單卡上以約 62s/張的成本完成了「殘俑結(jié)構(gòu)補(bǔ)全 → 出土彩繪復(fù)原」的完整視覺(jué)交付鏈路其招牌的 3-4k 字符超長(zhǎng)指令遵循在我埋入的 12 項(xiàng)考古級(jí)可核驗(yàn)指令點(diǎn)上命中 11/12。本文實(shí)驗(yàn)數(shù)據(jù)與資料開源地址https://atomgit.com/weixin_52908342/SenseNova_TerracottaArmy實(shí)戰(zhàn)視頻演示兵馬俑「數(shù)字修復(fù)」實(shí)戰(zhàn)視頻TL;DR先給結(jié)論能不能跑起來(lái)能。33GB 權(quán)重、8B 參數(shù)在單卡 A800 上占用峰值僅20.08 GiBbf16 layer offload。出圖成本50 步單圖約62 秒8 步快出圖約 12 秒可作為草稿檔。步數(shù)消融結(jié)論采樣期顯存與步數(shù)無(wú)關(guān)8/20/30/50 步采樣期 alloc 完全一致 19.72 GiB步數(shù)只買「時(shí)間」和「質(zhì)量」不買「顯存」。用戶可放心用步數(shù)做質(zhì)量/速度檔位切換。長(zhǎng)指令遵循結(jié)論這是 U1.5 Lite 最打動(dòng)我的能力。同一張灰陶俑短指令40字符只命中 3/12 個(gè)彩繪約束而 3000 字符的考古級(jí)長(zhǎng)指令命中11/12——它是真的「讀懂」了每一條部位施色規(guī)則而不是套模板。對(duì)我的課題意義秦俑出土?xí)r彩繪極易氧化脫落真實(shí)修復(fù)不可逆、試錯(cuò)成本極高。用多模態(tài)模型先做「彩繪復(fù)原預(yù)演」讓文物、考古、修復(fù)三方在動(dòng)手前就能看到多套復(fù)原假設(shè)的可視化結(jié)果——這正是我課題組認(rèn)可這次實(shí)驗(yàn)的核心價(jià)值。效果圖先行工作量1兵馬俑「結(jié)構(gòu)補(bǔ)全 → 彩繪復(fù)原」兩級(jí)流水線AB 鏈路工作量2長(zhǎng)指令壓測(cè)3000 字的考古指令模型效果生成工作量3消融實(shí)驗(yàn)步數(shù)消融num_steps。一、為什么是兵馬俑 為什么是 U1.5 Lite我的研究方向是兵馬俑的數(shù)字化保護(hù)。做這行的人都清楚一個(gè)殘酷的事實(shí)秦俑本來(lái)是彩色的。剛出土?xí)r陶俑表面覆蓋著朱紅、粉綠、天青、赭石等礦物顏料但這些顏料附著在一層兩千年前的生漆底上——一旦見(jiàn)光脫水漆層在幾分鐘到幾小時(shí)內(nèi)就會(huì)卷曲、剝落彩繪隨之灰飛煙滅。今天我們?cè)诓┪镳^看到的「灰陶色」秦俑其實(shí)是「褪盡鉛華」之后的樣子。所以「彩繪復(fù)原」在我們這行是剛需但傳統(tǒng)手段代價(jià)高昂物理試色不可逆真俑上不可能反復(fù)試。手繪復(fù)原圖慢一張考古級(jí)復(fù)原插畫專業(yè)畫師要畫數(shù)天到數(shù)周。假設(shè)難以并行驗(yàn)證面對(duì)一處殘缺往往有多種復(fù)原假設(shè)逐一手繪成本極高。這就是我盯上 SenseNova U1.5 Lite 的原因。它有三個(gè)特性精準(zhǔn)命中我的痛點(diǎn)原生圖像編輯我可以喂一張殘俑照片讓它「只在表面上色、不改形態(tài)」這正是文物復(fù)原最看重的「最小干預(yù)」原則。3-4k 字符超長(zhǎng)指令遵循考古復(fù)原的約束極其瑣碎——雙唇朱紅、須發(fā)純黑、甲片褐色朱紅勾邊、行縢粉綠……普通生圖模型給三五個(gè)詞就到頂了而 U1.5 Lite 號(hào)稱能吃下 3000 字符的部位級(jí)施色規(guī)則。單卡可跑 全球開源8B 參數(shù)、單卡流暢、GitHub/HF/魔搭全開源意味著這套流程實(shí)驗(yàn)室能自己私有化部署文物數(shù)據(jù)不出內(nèi)網(wǎng)。下面是我這次實(shí)戰(zhàn)的完整記錄。二、實(shí)驗(yàn)環(huán)境嚴(yán)格按賽制要求做完整環(huán)境聲明全部為本次實(shí)測(cè)值項(xiàng)目值GPUNVIDIA A800 80GB PCIeVRAM 81152 MB內(nèi)存122880 MB120 GBPyTorch2.8.0 cu128CUDA12.8driver 590.48.01兼容 CUDA 13.1Python3.12.3AnacondaComfyUI0.34.0comfy-aimdo 0.4.15 前端transformers5.16.1模型SenseNova-U1.5-8B-MoT本地權(quán)重約 33GB / 8 分片 safetensors精度 / 設(shè)備bfloat16 / cudaOffload 策略auto attention fast輸出分辨率2400 × 1792Auto·4MP 檔約 4.3MP說(shuō)明我用的是云端 A800但從后面的顯存實(shí)測(cè)你會(huì)看到——真正吃掉的顯存只有 20GB 出頭所以這套流程在消費(fèi)級(jí)卡如 RTX 4090上完全可復(fù)現(xiàn)A800 的 80G 顯存在這個(gè)任務(wù)里是「用不滿」的。第 0 步 · 環(huán)境預(yù)檢一行命令確認(rèn) CUDA / bf16 / 卡型都 OKnvidia-smi python--versionpython-cimport torch; print(torch.__version__, torch.version.cuda); \ print(avail:, torch.cuda.is_available()); \ print(bf16:, torch.cuda.is_bf16_supported()); \ print(torch.cuda.get_device_name(0))# 輸出# NVIDIA A800 80GB PCIe / CUDA 13.1# Python 3.12.3# 2.8.0cu128 12.8# avail: True / bf16: True三、本地部署全過(guò)程可復(fù)現(xiàn)復(fù)制即用3.1 云主機(jī)選型與磁盤擴(kuò)容模型權(quán)重 33GB加上 ComfyUI、依賴、輸出圖系統(tǒng)盤很容易被撐爆。我第一步就是把數(shù)據(jù)根目錄掛到數(shù)據(jù)盤并做磁盤擴(kuò)容。3.2 建目錄 統(tǒng)一環(huán)境變量復(fù)制即用把所有緩存、模型、結(jié)果統(tǒng)一定位到數(shù)據(jù)盤/root/autodl-tmp/sensenova并用 hf-mirror 鏡像加速exportSENSENOVA_DATA_ROOT/root/autodl-tmp/sensenovamkdir-p$SENSENOVA_DATA_ROOT/{huggingface,pip-cache,uv-cache,models,results}exportHF_HOME$SENSENOVA_DATA_ROOT/huggingfaceexportHUGGINGFACE_HUB_CACHE$HF_HOME/hubexportPIP_CACHE_DIR$SENSENOVA_DATA_ROOT/pip-cacheexportUV_CACHE_DIR$SENSENOVA_DATA_ROOT/uv-cacheexportHF_ENDPOINThttps://hf-mirror.comechoOK:$SENSENOVA_DATA_ROOT3.3 下載 33GB 權(quán)重國(guó)內(nèi)走魔搭最快國(guó)內(nèi)網(wǎng)絡(luò)環(huán)境我強(qiáng)烈建議用魔搭社區(qū)ModelScope直連拉取比 HF 穩(wěn)定得多python-mpipinstallmodelscope-qmodelscope download--modelSenseNova/SenseNova-U1.5-8B-MoT\--local_dir$SENSENOVA_DATA_ROOT/models/SenseNova-U1.5-8B-MoT實(shí)測(cè)19 個(gè)文件、約 16 分鐘下載完成51s/file 均速下載完做完整性校驗(yàn)確認(rèn) 33G、config.json 存在du-sh$SENSENOVA_DATA_ROOT/models/SenseNova-U1.5-8B-MoT# 33Gls$SENSENOVA_DATA_ROOT/models/SenseNova-U1.5-8B-MoT|headtest-f$SENSENOVA_DATA_ROOT/models/SenseNova-U1.5-8B-MoT/config.jsonechoconfig.json: OK3.4 裝推理包 ComfyUI 主體與依賴先裝官方推理包sensenova-u1構(gòu)建工具下載并 build wheel裝完先驗(yàn)證推理包能否 import順帶再確認(rèn)一次 torch/bf16/卡型這一步能提前暴露 90% 的環(huán)境問(wèn)題python-cimport sensenova_u1; import torch, transformers; \ print(sensenova_u1 OK); \ print(torch, torch.__version__, cuda, torch.cuda.is_available()); \ print(bf16, torch.cuda.is_bf16_supported()); \ print(torch.cuda.get_device_name(0))# sensenova_u1 OK / torch 2.8.0cu128 cuda True / bf16 True / A800再裝 ComfyUI 主體用 gitcode 鏡像國(guó)內(nèi) clone 快與依賴cd$SENSENOVA_DATA_ROOTgitclone https://gitcode.com/gh_mirrors/co/ComfyUI.git3.5 啟動(dòng) ComfyUIscreen-Ssensenova# 用 screen 掛后臺(tái)SSH 斷了也不掉cd$SENSENOVA_DATA_ROOT/ComfyUIpython main.py--listen0.0.0.0--port6006啟動(dòng)日志里能看到 SenseNova 自定義節(jié)點(diǎn)ComfyUI-SenseNova-U1被正確加載、數(shù)據(jù)庫(kù)完成 6 次 migration、服務(wù)起在0.0.0.0:6006瀏覽器進(jìn)入 ComfyUIAutoDL 走端口映射部署踩坑記錄啟動(dòng)時(shí)會(huì)出現(xiàn)[WARNING] Unable to load SenseNova models from the API (RuntimeError); using built-in options.——這是因?yàn)槲易叩氖潜镜貦?quán)重而非 API模型列表拉不到線上目錄屬正常降級(jí)不影響本地推理。No OpenGL_accelerate module loaded——純 warning無(wú) GPU 渲染需求可忽略。關(guān)鍵一步是要讓節(jié)點(diǎn)讀本地模型目錄而不是去連 API見(jiàn)下一節(jié)。四、搭第一條工作流從「能出圖」到「讀本地模型」4.1 認(rèn)識(shí) SenseNova 自定義節(jié)點(diǎn)進(jìn)入 ComfyUI 后右鍵搜索節(jié)點(diǎn)能看到ComfyUI-SenseNova-U1提供的一組節(jié)點(diǎn)核心是三個(gè)Model Loader加載 SenseNova U1.5 模型可指向本地目錄Text to Image文生圖Image EditSenseNovaU1LocalImageEdit原生圖像編輯——這是我整條兵馬俑復(fù)原鏈路的主力節(jié)點(diǎn)4.2 最小可用工作流Model Loader → Text to Image → Save Image先搭一條最簡(jiǎn)單的文生圖鏈路驗(yàn)證模型真的能出圖。建 Model Loader 節(jié)點(diǎn)建 Text to Image 節(jié)點(diǎn)并連線核對(duì)調(diào)整參數(shù)cfg、num_steps、seed、輸出尺寸等接上 Save Image4.3 關(guān)鍵讓節(jié)點(diǎn)讀本地模型避免連 API默認(rèn) Model Loader 會(huì)嘗試走 API 目錄本地部署必須把它指到 3.3 步下載好的本地權(quán)重路徑/root/autodl-tmp/sensenova/models/SenseNova-U1.5-8B-MoT。這一步做對(duì)了后面才不會(huì)報(bào)錯(cuò)第一次點(diǎn) Queue 時(shí)我踩了個(gè)執(zhí)行失敗路徑/參數(shù)沒(méi)對(duì)齊修正后首圖跑通——單圖 50 步耗時(shí) 62.85s這張首測(cè)圖ComfyUI_00001.png2048×2048我也從服務(wù)器拉了下來(lái)存檔作為「環(huán)境確實(shí)跑通」的部署驗(yàn)證憑證到這里賽道一要求的「必須實(shí)際搭建模型并跑起來(lái) 運(yùn)行效果演示」已經(jīng)完成。下面進(jìn)入真正的重頭戲——兵馬俑數(shù)字復(fù)原工作流。五、核心工作流兵馬俑「結(jié)構(gòu)補(bǔ)全 → 彩繪復(fù)原」兩級(jí)流水線AB 鏈路這是本文的靈魂。我把文物復(fù)原拆成兩個(gè)可獨(dú)立評(píng)估的階段對(duì)應(yīng)工作流里的A 節(jié)點(diǎn)和B 節(jié)點(diǎn)A · 結(jié)構(gòu)修復(fù)輸入殘俑補(bǔ)全缺失的頭/臂/斷裂部位但保持灰陶質(zhì)感、不上色——先把「形」修對(duì)。B · 彩繪復(fù)原以 A 的完整灰陶俑為輸入只在表面敷施礦物顏料還原出土?xí)r的彩繪——再把「色」還原。這種「先形后色、分步可控」的拆法恰好對(duì)應(yīng)文物修復(fù)里的最小干預(yù) 可逆預(yù)演原則每一步都能單獨(dú)評(píng)審、單獨(dú)回退。5.1 輸入一尊殘缺的跪射俑我用的輸入是一張典型的殘俑照片——灰陶質(zhì)感、局部殘缺正是考古現(xiàn)場(chǎng)最常見(jiàn)的狀態(tài)工作區(qū)內(nèi)對(duì)應(yīng)原始輸入文件實(shí)驗(yàn)/實(shí)驗(yàn)數(shù)據(jù)/原始輸入_canjun.png1.5MB模型的實(shí)際輸入。5.2 A 節(jié)點(diǎn) · 結(jié)構(gòu)補(bǔ)全A 節(jié)點(diǎn)的 prompt 核心是「補(bǔ)全缺失結(jié)構(gòu)、保持灰陶不上色、維持原有姿態(tài)與朝向」。跑完后殘缺部位被合理補(bǔ)全且嚴(yán)格保持了秦俑的灰陶色和形制——沒(méi)有擅自上色這點(diǎn)非常重要課題組評(píng)議時(shí)特別肯定了這一點(diǎn)模型補(bǔ)全的手臂姿態(tài)、甲片走向符合秦代步兵俑/跪射俑的形制規(guī)律沒(méi)有出現(xiàn)「關(guān)公戰(zhàn)秦瓊」式的形制穿越。工作區(qū)產(chǎn)物實(shí)驗(yàn)/實(shí)驗(yàn)數(shù)據(jù)/兵馬俑AB/A_structure_repair_00001_.png及 00002。5.3 B 節(jié)點(diǎn) · 彩繪復(fù)原B 節(jié)點(diǎn)以 A 的完整灰陶俑為輸入施加考古級(jí)彩繪長(zhǎng)指令。出圖后秦俑「活」了過(guò)來(lái)——面部粉紅肉色、須發(fā)黑、鎧甲褐色甲片配朱紅勾邊、戰(zhàn)袍朱紅、緣邊粉綠且?guī)С鐾裂趸膯」怅惻f感完整的「兵馬俑完整復(fù)原 彩繪」工作流全貌工作區(qū)產(chǎn)物兵馬俑AB/B_polychrome_restore_00001_.png~00003_.png共 3 張彩繪復(fù)原結(jié)果對(duì)應(yīng) workflowworkflow_兵馬俑修復(fù)_AB.json。5.4 AB 鏈路的耗時(shí)基準(zhǔn)從運(yùn)行日志逐條還原這條鏈路的性能基準(zhǔn)非常穩(wěn)定批次內(nèi)容耗時(shí)首測(cè)單圖50 步 / 4MP62.85 sAB 第 1 次完整跑A B 各 50 步151.13 sB 單圖重跑50 步62.00 sAB 第 2 次完整跑A B 各 50 步127.79 s單圖 50 步 ≈ 62s這個(gè)數(shù)字在多次運(yùn)行中高度一致可以作為「A800、offloadauto、4MP 出圖」的單圖基準(zhǔn)耗時(shí)來(lái)引用。六、實(shí)驗(yàn)三 · 步數(shù)消融num_steps 到底買到了什么工作流能跑通只是及格線。作為研究向作者我更想回答一個(gè)工程問(wèn)題采樣步數(shù)num_steps到底影響了什么是顯存速度還是質(zhì)量于是我設(shè)計(jì)了一個(gè)嚴(yán)格的單變量對(duì)照實(shí)驗(yàn)。6.1 實(shí)驗(yàn)設(shè)計(jì)單變量對(duì)照共享同一個(gè) Model Loader、同一張輸入圖殘俑canjun.png、同一個(gè)輸出尺寸從共享節(jié)點(diǎn)扇出 4 條SenseNovaU1LocalImageEdit支路唯一變量num_steps 8 / 20 / 30 / 50其余全部鎖死cfg4.0、seed42、prompt 完全相同一次 Queue 順序跑完 4 張可直接橫向?qū)Ρ?。?duì)應(yīng) workflow實(shí)驗(yàn)/workflow_實(shí)驗(yàn)三_步數(shù)消融.json。運(yùn)行截圖6.2 四聯(lián)對(duì)比圖8 / 20 / 30 / 50 步肉眼判讀這也是我給出主觀質(zhì)量分的依據(jù)8 步能出大形但結(jié)構(gòu)邊緣發(fā)虛、細(xì)節(jié)糊甲片和面部容易「化」——質(zhì)量分 2.5適合快速草稿預(yù)覽。20 步結(jié)構(gòu)穩(wěn)定下來(lái)細(xì)節(jié)開始清晰——3.5。30 步細(xì)節(jié)豐富、邊界干凈性價(jià)比最高的一檔——4.3。50 步細(xì)節(jié)與質(zhì)感的上限甲片、須發(fā)、剝落紋理最扎實(shí)——4.7。6.3 耗時(shí) / 質(zhì)量雙 Y 軸曲線6.4 實(shí)測(cè)一個(gè)反直覺(jué)但極有用的結(jié)論這是本實(shí)驗(yàn)最有價(jià)值的發(fā)現(xiàn)。從運(yùn)行日志讀到的顯存數(shù)據(jù)指標(biāo)實(shí)測(cè)值采樣期 alloc8/20/30/50 步均為 19.72 GiB完全一致峰值 alloc20.08 GiBreserved20.56 GiB單次執(zhí)行層傳輸總量46.00 GiBunderstanding 30.91 generation 15.09teardown 后 alloc歸零至 0.03 GiB顯存回收干凈、無(wú)泄漏結(jié)論采樣期顯存與步數(shù)完全無(wú)關(guān)。8 步和 50 步吃掉的顯存一模一樣19.72 GiB步數(shù)只影響「時(shí)間」和「質(zhì)量」不影響「顯存峰值」。這個(gè)結(jié)論的工程價(jià)值極大顯存預(yù)算可以按最高步數(shù)一次性規(guī)劃不用擔(dān)心「加步數(shù)會(huì) OOM」步數(shù)可以純粹當(dāng)質(zhì)量/速度檔位來(lái)用——草稿用 8 步~12s、終稿用 50 步~62s顯存零風(fēng)險(xiǎn)20GB 出頭的占用意味著24G 的 4090 也能跑滿 50 步A800 的 80G 在這個(gè)任務(wù)里確實(shí)用不滿。6.5 Layer Offload 行為觀察即便在 80GB 的 A800 上節(jié)點(diǎn)配置offloadauto時(shí)仍會(huì)啟用層級(jí)卸載生成期 42 層常駐 GPU 共 15.09 GiB理解層30.91 GiB按需換入換出峰值 alloc 才被壓到 20.08 GiB。這解釋了為什么一個(gè)「33GB 權(quán)重 46GB 單次層傳輸」的模型最終只吃 20GB 顯存——offload 把顯存占用和模型體積解耦了這正是它敢喊「單卡可跑」的底氣。七、實(shí)驗(yàn)四 · 長(zhǎng)指令壓測(cè)3000 字的考古指令它能聽懂幾條這是我最期待的實(shí)驗(yàn)直接對(duì)準(zhǔn) U1.5 Lite 的招牌能力——3-4k 字符超長(zhǎng)指令遵循。對(duì)文物復(fù)原來(lái)說(shuō)這個(gè)能力是決定性的復(fù)原不是「畫得好看」而是「每一處顏色都要有據(jù)可依」。7.1 實(shí)驗(yàn)設(shè)計(jì)單變量?jī)H指令長(zhǎng)度遞增輸入固定 A 結(jié)構(gòu)修復(fù)后的完整灰陶俑排除結(jié)構(gòu)補(bǔ)全干擾專注測(cè)彩繪指令遵循唯一變量 prompt 長(zhǎng)度三檔P1 短指令~40 字符“為這尊灰陶兵馬俑復(fù)原出土?xí)r的原始彩繪只在表面上色不改變形態(tài)?！盤2 中指令~500 字符分部位施色的中等粒度描述。P3 超長(zhǎng)指令3000 字符考古級(jí)復(fù)原規(guī)范刻意埋入 12 個(gè)可逐條核驗(yàn)的指令點(diǎn)。其余鎖死cfg4.0、num_steps50、seed42、Auto·4MP。對(duì)應(yīng) workflow實(shí)驗(yàn)/workflow_實(shí)驗(yàn)四_長(zhǎng)指令壓測(cè).json三檔 prompt 全文見(jiàn)實(shí)驗(yàn)/實(shí)驗(yàn)四_長(zhǎng)指令壓測(cè)_prompts.md。運(yùn)行截圖7.2 P3 超長(zhǎng)指令全文節(jié)選核心約束為了讓讀者感受「3000 字符指令」到底是什么密度摘錄 P3 的部位施色規(guī)則完整版在 prompts 文件里請(qǐng)以秦始皇帝陵博物院文物保護(hù)研究的嚴(yán)謹(jǐn)標(biāo)準(zhǔn)……秦代工匠先在陶胎表面髹涂一至兩層生漆作為底層再于漆層之上敷施礦物質(zhì)顏料故所有色彩均應(yīng)呈現(xiàn)「漆底托色」的溫潤(rùn)質(zhì)感……一、面部與肌膚面龐施粉紅肉色鉛丹調(diào)白雙唇施朱紅色指令點(diǎn)1兩道劍眉與頜下須髯均為純黑色指令點(diǎn)2……三、鎧甲甲片為褐色每片邊緣以朱紅色描邊指令點(diǎn)4……五、腿足小腿纏裹行縢行縢為粉綠色指令點(diǎn)8足穿方口齊頭履履為赭石色指令點(diǎn)9……七、形態(tài)約束最重要嚴(yán)禁改變陶俑任何幾何形態(tài)僅在原有表面敷色指令點(diǎn)12。這種密度的約束普通生圖模型給到第 3 個(gè)詞就開始「失憶」了。7.3 三檔指令效果對(duì)比7.4 12 項(xiàng)指令點(diǎn)逐條核驗(yàn)命中率我按 prompts 文件里的核對(duì)表對(duì) P1/P2/P3 三張圖逐條打勾#指令點(diǎn)P1 短P2 中P3 長(zhǎng)1雙唇朱紅區(qū)別于肉色???2須發(fā)為黑色???3發(fā)帶朱紅色???4甲片褐色 朱紅勾邊???5長(zhǎng)襦戰(zhàn)袍朱紅色???6領(lǐng)口/袖口粉綠緣邊???7下褲天青/石青色???8行縢綁腿粉綠色???9鞋履赭石色???10整體啞光、無(wú)塑料反光???11有自然剝落、露灰陶/漆底???12形態(tài)/姿勢(shì)/朝向不變???命中數(shù)3 / 128 / 1211 / 12命中率25%67%92%7.5 判讀長(zhǎng)指令是真的「讀懂」了命中率從25% → 67% → 92%的單調(diào)躍升說(shuō)明短指令P1只抓住了最泛化的特征須發(fā)黑、戰(zhàn)袍紅、啞光細(xì)節(jié)部位幾乎全丟——因?yàn)樾畔⒘扛静粔?。中指令P2補(bǔ)上了分部位施色命中過(guò)半但天青下褲、朱紅發(fā)帶、自然剝落這些「需要精確描述才會(huì)出現(xiàn)」的點(diǎn)仍缺失。長(zhǎng)指令P3命中 11/12連「下褲天青而非朱紅」「顏料層隨機(jī)剝落露出灰陶胎」這種極細(xì)的約束都還原了——它是真的在逐條執(zhí)行指令而不是套通用彩俑模板。唯一沒(méi)命中的指令點(diǎn) 12形態(tài)完全不變P3 因?yàn)榧s束太多在敷色時(shí)對(duì)局部輪廓做了極輕微的重塑并非結(jié)構(gòu)性改變但嚴(yán)格核驗(yàn)算「未完全守住」。這也給出一個(gè)實(shí)用經(jīng)驗(yàn)——當(dāng)長(zhǎng)指令里「上色約束」和「形態(tài)鎖定約束」同時(shí)高壓時(shí)可適當(dāng)調(diào)低img_cfg提高對(duì)原圖的保真權(quán)重來(lái)更好地鎖形這是我下一步要繼續(xù)調(diào)的方向。對(duì)我的課題而言92% 的考古級(jí)指令命中率意味著我可以把一份文字化的復(fù)原方案直接翻譯成可視化預(yù)演圖且絕大多數(shù)施色約束會(huì)被忠實(shí)執(zhí)行。這是把「文字復(fù)原假設(shè)」變成「可評(píng)審圖像」的關(guān)鍵一躍——也是課題組認(rèn)可這次實(shí)驗(yàn)的核心技術(shù)依據(jù)。八、成本與復(fù)現(xiàn)門檻這套鏈路到底貴不貴作為實(shí)驗(yàn)室用戶我最關(guān)心「這套東西能不能長(zhǎng)期用、要不要排隊(duì)搶卡」。做一個(gè)誠(chéng)實(shí)的成本分析。8.1 顯存門檻前面實(shí)測(cè)過(guò)50 步滿配峰值 alloc 僅20.08 GiB。這是關(guān)鍵數(shù)字——它落在消費(fèi)級(jí)卡RTX 4090 / 4080的預(yù)算內(nèi)。硬件顯存能否跑滿 50 步 / 4MPA800本次80 GB? 遠(yuǎn)未用滿RTX 409024 GB? 可以RTX 4080 / 309024 GB? 接近預(yù)算邊緣RTX 4090 出家裝24 GB? 可offloadauto 量化8.2 時(shí)間成本場(chǎng)景耗時(shí)備注單圖 50 步 / 4MP≈ 62 s多次運(yùn)行高度一致8 步草稿檔≈ 12 s快速預(yù)覽實(shí)驗(yàn)三混合批5083020149.02 s一次跑完 4 組實(shí)驗(yàn)四3×50 步191.40 s一次跑完 3 檔A800 時(shí)租按當(dāng)前行情估算單張 4MP 復(fù)原圖成本可壓縮到幾毛到一塊人民幣量級(jí)按周租折算相比人工手繪一張考古復(fù)原圖專業(yè)畫師數(shù)天到數(shù)周、報(bào)價(jià)可達(dá)數(shù)千元數(shù)字復(fù)原的邊際成本幾乎可以忽略。8.3 關(guān)鍵結(jié)論一次論證長(zhǎng)期可用數(shù)據(jù)不出內(nèi)網(wǎng)權(quán)重本地、推理本地文物圖可以完全私有化部署——這對(duì)做文物保護(hù)的單位是硬需求文物影像通常有保密要求。單卡即可跑不用搶多卡、不用開集群實(shí)驗(yàn)室一張 4090 或臨時(shí)租一張 A800 就能產(chǎn)出。邊際成本≈0跑起來(lái)后每多生成一張復(fù)原方案圖幾乎不額外花錢。可逆預(yù)演傳統(tǒng)修復(fù)不可逆數(shù)字復(fù)原可以無(wú)限次「試錯(cuò)」——這正是它相對(duì)物理試色的根本優(yōu)勢(shì)。九、踩坑與經(jīng)驗(yàn)9.1 部署類本地模型要用本地目錄加載Model Loader 默認(rèn)走 API 目錄本地部署必須手動(dòng)指到/root/autodl-tmp/sensenova/models/SenseNova-U1.5-8B-MoT否則會(huì)連 API 報(bào)錯(cuò)或回退內(nèi)置選項(xiàng)。啟動(dòng)日志里的Unable to load SenseNova models from API是正常降級(jí)本地權(quán)重場(chǎng)景下模型列表拉不到線上目錄不影響推理別被嚇到。用 screen/tmux 掛后臺(tái)SSH 一斷 ComfyUI 就沒(méi)了50 步長(zhǎng)任務(wù)跑一半斷掉很虧。依賴要裝全sensenova-u1官方包 transformers 5.16.1 accelerate pillow 版本都有硬要求建議嚴(yán)格按官方 requirements 裝避免隱式版本沖突。國(guó)內(nèi)網(wǎng)絡(luò)用魔搭 gitcode 鏡像HF 直連慢且易斷魔搭下載 gitcode clone 全程穩(wěn)定我實(shí)測(cè) 19 文件 16 分鐘拉完 33GB。9.2 圖像編輯類img_cfg對(duì)原圖保真權(quán)重與cfg指令遵循力度要平衡想更嚴(yán)格保持原圖形態(tài)就調(diào)低img_cfg、適當(dāng)提高cfg想要更強(qiáng)的彩繪自由度反過(guò)來(lái)。我在實(shí)驗(yàn)四 P3 里發(fā)現(xiàn)「上色約束 鎖形約束同時(shí)高強(qiáng)度」時(shí)形態(tài)偶爾會(huì)被輕微重塑調(diào)低img_cfg是鎖形的最直接手段。超長(zhǎng)指令建議用「編號(hào)分部位」的結(jié)構(gòu)化寫法像 P3 那樣一、二、三、四……分面部/發(fā)髻/鎧甲/戰(zhàn)袍/腿足再在每個(gè)部位下埋具體顏色約束模型對(duì)「編號(hào)條目」的遵循遠(yuǎn)好于一大段散文。這是我的實(shí)測(cè)經(jīng)驗(yàn)也建議寫進(jìn)官方 prompt 工程指南。9.3 數(shù)據(jù)/出圖類ComfyUI 隊(duì)列面板「只顯示 2 個(gè)」是顯示條數(shù)上限實(shí)際提交的 4 組、3 組都成功執(zhí)行了別被歷史記錄面板誤導(dǎo)。步數(shù)不影響顯存可以放心把步數(shù)當(dāng)質(zhì)量檔位用8 步草稿 / 50 步終稿無(wú)縫切換。輸出分辨率會(huì)按輸入寬高比自適應(yīng)取整同樣是 Auto·4MP不同輸入的輸出尺寸可能不同canjun 是 2400×1792實(shí)驗(yàn)四輸入是 2368×1760組內(nèi)一致即可不影響跨組對(duì)比。十、可復(fù)現(xiàn)性清單環(huán)節(jié)位置 / 命令模型權(quán)重魔搭SenseNova/SenseNova-U1.5-8B-MoT約 33GB源碼倉(cāng)庫(kù)GitHubOpenSenseNova/SenseNova-U1ComfyUI官方 ComfyUI ComfyUI-SenseNova-U1自定義節(jié)點(diǎn)AB 工作流實(shí)驗(yàn)/workflow_兵馬俑修復(fù)_AB.json實(shí)驗(yàn)三工作流實(shí)驗(yàn)/workflow_實(shí)驗(yàn)三_步數(shù)消融.json實(shí)驗(yàn)四工作流實(shí)驗(yàn)/workflow_實(shí)驗(yàn)四_長(zhǎng)指令壓測(cè).json實(shí)驗(yàn)四三檔 prompt實(shí)驗(yàn)/實(shí)驗(yàn)四_長(zhǎng)指令壓測(cè)_prompts.md圖表腳本實(shí)驗(yàn)/make_charts.py可一鍵重生成 4 張圖完整運(yùn)行日志實(shí)驗(yàn)/實(shí)驗(yàn)數(shù)據(jù)/comfyui_運(yùn)行日志.log82KBVRAM/步數(shù)/offload 全記錄環(huán)境速查A800 80G / torch 2.8.0cu128 / Python 3.12.3 / ComfyUI 0.34.0 / bf16 / offloadauto / 輸出 2400×1792。十一、結(jié)論與展望一次完整的、扎根于我研究方向的實(shí)戰(zhàn)到此收官?；仡櫿麄€(gè)鏈路SenseNova U1.5 Lite 交出的答卷遠(yuǎn)超我的預(yù)期部署門檻被大幅降低。33GB 權(quán)重、8B 參數(shù)真實(shí)顯存占用僅 20.08 GiB——一張家用卡就能跑滿 50 步 4MP單圖 62 秒。它沒(méi)有停留在「能跑」而是達(dá)到了「有條件長(zhǎng)期跑」。圖像編輯是真能用不是 demo。從殘俑到彩繪復(fù)原A/B 兩級(jí)流水線完美兌現(xiàn)了「最小干預(yù) 可逆預(yù)演」補(bǔ)全的形制、復(fù)原的彩繪都經(jīng)得起形制規(guī)律檢驗(yàn)。3-4k 長(zhǎng)指令遵循是它最硬的能力。12 項(xiàng)考古級(jí)可核驗(yàn)指令點(diǎn)從 25% → 67% → 92% 的命中率躍升證明指令越具體、越有結(jié)構(gòu)它執(zhí)行得越精準(zhǔn)。這直接打開了「文字化復(fù)原方案 → 可視化預(yù)演圖」的大門。對(duì)整個(gè) AI 視覺(jué)生態(tài)的判斷當(dāng) 8B 模型能做到「穩(wěn)定完成真實(shí)視覺(jué)交付」而非「能看」時(shí)像文物復(fù)原這種強(qiáng)約束、多部位、長(zhǎng)指令的真實(shí)場(chǎng)景才開始真正被大模型觸達(dá)。這正是活動(dòng)標(biāo)語(yǔ)「從能看走向穩(wěn)定完成真實(shí)視覺(jué)交付」的含義。寫在最后作為西工大兵馬俑數(shù)字化方向的研究生我始終相信技術(shù)應(yīng)當(dāng)服務(wù)于一個(gè)個(gè)具體的、有公共價(jià)值的問(wèn)題。當(dāng)我把一尊兩千年前褪盡鉛華的殘俑用 8B 單卡模型重新「畫」回它出土?xí)r的斑斕模樣——那種跨越時(shí)空的連接感是這個(gè)項(xiàng)目贈(zèng)予我的、比任何指標(biāo)都更真實(shí)的東西。本文為原創(chuàng)技術(shù)實(shí)戰(zhàn)記錄模型與數(shù)據(jù)均來(lái)自本人實(shí)測(cè)。歡迎交流也歡迎對(duì)文物數(shù)字化方向感興趣的同行一起探討。 【SenseNova U1.5 Lite實(shí)戰(zhàn)】從殘俑到彩繪復(fù)原：我用 8B 單卡多模態(tài)大模型，為兵馬俑做了一次「數(shù)字修復(fù)」
【SenseNova U1.5 Lite實(shí)戰(zhàn)】從殘俑到彩繪復(fù)原我用 8B 單卡多模態(tài)大模型為兵馬俑做了一次「數(shù)字修復(fù)」本文涉及官方資料地址匯總SenseNova-U1 官方倉(cāng)庫(kù)https://github.com/OpenSenseNova/SenseNova-U1SenseNova U1.5 模型權(quán)重https://huggingface.co/sensenova/SenseNova-U1.5-8B-MoT魔搭社區(qū)國(guó)內(nèi)鏡像https://modelscope.cn/models/SenseNova/SenseNova-U1.5-8B-MoTatomgit 國(guó)內(nèi)源碼鏡像https://atomgit.com/SenseNova/SenseNova-U1作者背景西北工業(yè)大學(xué)碩士研究生研究方向?yàn)榍厥蓟时R俑的數(shù)字化保護(hù)與修復(fù)。本文所有生成結(jié)果均在課題組內(nèi)部評(píng)議中獲得指導(dǎo)教授的認(rèn)可——模型對(duì)秦俑形制、彩繪工藝的還原程度達(dá)到了「可作為修復(fù)方案預(yù)演參考」的水平。這也是我決定把這次實(shí)驗(yàn)完整寫下來(lái)的原因。一句話結(jié)論SenseNova U1.5 Lite8B在單卡上以約 62s/張的成本完成了「殘俑結(jié)構(gòu)補(bǔ)全 → 出土彩繪復(fù)原」的完整視覺(jué)交付鏈路其招牌的 3-4k 字符超長(zhǎng)指令遵循在我埋入的 12 項(xiàng)考古級(jí)可核驗(yàn)指令點(diǎn)上命中 11/12。本文實(shí)驗(yàn)數(shù)據(jù)與資料開源地址https://atomgit.com/weixin_52908342/SenseNova_TerracottaArmy實(shí)戰(zhàn)視頻演示兵馬俑「數(shù)字修復(fù)」實(shí)戰(zhàn)視頻TL;DR先給結(jié)論能不能跑起來(lái)能。33GB 權(quán)重、8B 參數(shù)在單卡 A800 上占用峰值僅20.08 GiBbf16 layer offload。出圖成本50 步單圖約62 秒8 步快出圖約 12 秒可作為草稿檔。步數(shù)消融結(jié)論采樣期顯存與步數(shù)無(wú)關(guān)8/20/30/50 步采樣期 alloc 完全一致 19.72 GiB步數(shù)只買「時(shí)間」和「質(zhì)量」不買「顯存」。用戶可放心用步數(shù)做質(zhì)量/速度檔位切換。長(zhǎng)指令遵循結(jié)論這是 U1.5 Lite 最打動(dòng)我的能力。同一張灰陶俑短指令40字符只命中 3/12 個(gè)彩繪約束而 3000 字符的考古級(jí)長(zhǎng)指令命中11/12——它是真的「讀懂」了每一條部位施色規(guī)則而不是套模板。對(duì)我的課題意義秦俑出土?xí)r彩繪極易氧化脫落真實(shí)修復(fù)不可逆、試錯(cuò)成本極高。用多模態(tài)模型先做「彩繪復(fù)原預(yù)演」讓文物、考古、修復(fù)三方在動(dòng)手前就能看到多套復(fù)原假設(shè)的可視化結(jié)果——這正是我課題組認(rèn)可這次實(shí)驗(yàn)的核心價(jià)值。效果圖先行工作量1兵馬俑「結(jié)構(gòu)補(bǔ)全 → 彩繪復(fù)原」兩級(jí)流水線AB 鏈路工作量2長(zhǎng)指令壓測(cè)3000 字的考古指令模型效果生成工作量3消融實(shí)驗(yàn)步數(shù)消融num_steps。一、為什么是兵馬俑 為什么是 U1.5 Lite我的研究方向是兵馬俑的數(shù)字化保護(hù)。做這行的人都清楚一個(gè)殘酷的事實(shí)秦俑本來(lái)是彩色的。剛出土?xí)r陶俑表面覆蓋著朱紅、粉綠、天青、赭石等礦物顏料但這些顏料附著在一層兩千年前的生漆底上——一旦見(jiàn)光脫水漆層在幾分鐘到幾小時(shí)內(nèi)就會(huì)卷曲、剝落彩繪隨之灰飛煙滅。今天我們?cè)诓┪镳^看到的「灰陶色」秦俑其實(shí)是「褪盡鉛華」之后的樣子。所以「彩繪復(fù)原」在我們這行是剛需但傳統(tǒng)手段代價(jià)高昂物理試色不可逆真俑上不可能反復(fù)試。手繪復(fù)原圖慢一張考古級(jí)復(fù)原插畫專業(yè)畫師要畫數(shù)天到數(shù)周。假設(shè)難以并行驗(yàn)證面對(duì)一處殘缺往往有多種復(fù)原假設(shè)逐一手繪成本極高。這就是我盯上 SenseNova U1.5 Lite 的原因。它有三個(gè)特性精準(zhǔn)命中我的痛點(diǎn)原生圖像編輯我可以喂一張殘俑照片讓它「只在表面上色、不改形態(tài)」這正是文物復(fù)原最看重的「最小干預(yù)」原則。3-4k 字符超長(zhǎng)指令遵循考古復(fù)原的約束極其瑣碎——雙唇朱紅、須發(fā)純黑、甲片褐色朱紅勾邊、行縢粉綠……普通生圖模型給三五個(gè)詞就到頂了而 U1.5 Lite 號(hào)稱能吃下 3000 字符的部位級(jí)施色規(guī)則。單卡可跑 全球開源8B 參數(shù)、單卡流暢、GitHub/HF/魔搭全開源意味著這套流程實(shí)驗(yàn)室能自己私有化部署文物數(shù)據(jù)不出內(nèi)網(wǎng)。下面是我這次實(shí)戰(zhàn)的完整記錄。二、實(shí)驗(yàn)環(huán)境嚴(yán)格按賽制要求做完整環(huán)境聲明全部為本次實(shí)測(cè)值項(xiàng)目值GPUNVIDIA A800 80GB PCIeVRAM 81152 MB內(nèi)存122880 MB120 GBPyTorch2.8.0 cu128CUDA12.8driver 590.48.01兼容 CUDA 13.1Python3.12.3AnacondaComfyUI0.34.0comfy-aimdo 0.4.15 前端transformers5.16.1模型SenseNova-U1.5-8B-MoT本地權(quán)重約 33GB / 8 分片 safetensors精度 / 設(shè)備bfloat16 / cudaOffload 策略auto attention fast輸出分辨率2400 × 1792Auto·4MP 檔約 4.3MP說(shuō)明我用的是云端 A800但從后面的顯存實(shí)測(cè)你會(huì)看到——真正吃掉的顯存只有 20GB 出頭所以這套流程在消費(fèi)級(jí)卡如 RTX 4090上完全可復(fù)現(xiàn)A800 的 80G 顯存在這個(gè)任務(wù)里是「用不滿」的。第 0 步 · 環(huán)境預(yù)檢一行命令確認(rèn) CUDA / bf16 / 卡型都 OKnvidia-smi python--versionpython-cimport torch; print(torch.__version__, torch.version.cuda); \ print(avail:, torch.cuda.is_available()); \ print(bf16:, torch.cuda.is_bf16_supported()); \ print(torch.cuda.get_device_name(0))# 輸出# NVIDIA A800 80GB PCIe / CUDA 13.1# Python 3.12.3# 2.8.0cu128 12.8# avail: True / bf16: True三、本地部署全過(guò)程可復(fù)現(xiàn)復(fù)制即用3.1 云主機(jī)選型與磁盤擴(kuò)容模型權(quán)重 33GB加上 ComfyUI、依賴、輸出圖系統(tǒng)盤很容易被撐爆。我第一步就是把數(shù)據(jù)根目錄掛到數(shù)據(jù)盤并做磁盤擴(kuò)容。3.2 建目錄 統(tǒng)一環(huán)境變量復(fù)制即用把所有緩存、模型、結(jié)果統(tǒng)一定位到數(shù)據(jù)盤/root/autodl-tmp/sensenova并用 hf-mirror 鏡像加速exportSENSENOVA_DATA_ROOT/root/autodl-tmp/sensenovamkdir-p$SENSENOVA_DATA_ROOT/{huggingface,pip-cache,uv-cache,models,results}exportHF_HOME$SENSENOVA_DATA_ROOT/huggingfaceexportHUGGINGFACE_HUB_CACHE$HF_HOME/hubexportPIP_CACHE_DIR$SENSENOVA_DATA_ROOT/pip-cacheexportUV_CACHE_DIR$SENSENOVA_DATA_ROOT/uv-cacheexportHF_ENDPOINThttps://hf-mirror.comechoOK:$SENSENOVA_DATA_ROOT3.3 下載 33GB 權(quán)重國(guó)內(nèi)走魔搭最快國(guó)內(nèi)網(wǎng)絡(luò)環(huán)境我強(qiáng)烈建議用魔搭社區(qū)ModelScope直連拉取比 HF 穩(wěn)定得多python-mpipinstallmodelscope-qmodelscope download--modelSenseNova/SenseNova-U1.5-8B-MoT\--local_dir$SENSENOVA_DATA_ROOT/models/SenseNova-U1.5-8B-MoT實(shí)測(cè)19 個(gè)文件、約 16 分鐘下載完成51s/file 均速下載完做完整性校驗(yàn)確認(rèn) 33G、config.json 存在du-sh$SENSENOVA_DATA_ROOT/models/SenseNova-U1.5-8B-MoT# 33Gls$SENSENOVA_DATA_ROOT/models/SenseNova-U1.5-8B-MoT|headtest-f$SENSENOVA_DATA_ROOT/models/SenseNova-U1.5-8B-MoT/config.jsonechoconfig.json: OK3.4 裝推理包 ComfyUI 主體與依賴先裝官方推理包sensenova-u1構(gòu)建工具下載并 build wheel裝完先驗(yàn)證推理包能否 import順帶再確認(rèn)一次 torch/bf16/卡型這一步能提前暴露 90% 的環(huán)境問(wèn)題python-cimport sensenova_u1; import torch, transformers; \ print(sensenova_u1 OK); \ print(torch, torch.__version__, cuda, torch.cuda.is_available()); \ print(bf16, torch.cuda.is_bf16_supported()); \ print(torch.cuda.get_device_name(0))# sensenova_u1 OK / torch 2.8.0cu128 cuda True / bf16 True / A800再裝 ComfyUI 主體用 gitcode 鏡像國(guó)內(nèi) clone 快與依賴cd$SENSENOVA_DATA_ROOTgitclone https://gitcode.com/gh_mirrors/co/ComfyUI.git3.5 啟動(dòng) ComfyUIscreen-Ssensenova# 用 screen 掛后臺(tái)SSH 斷了也不掉cd$SENSENOVA_DATA_ROOT/ComfyUIpython main.py--listen0.0.0.0--port6006啟動(dòng)日志里能看到 SenseNova 自定義節(jié)點(diǎn)ComfyUI-SenseNova-U1被正確加載、數(shù)據(jù)庫(kù)完成 6 次 migration、服務(wù)起在0.0.0.0:6006瀏覽器進(jìn)入 ComfyUIAutoDL 走端口映射部署踩坑記錄啟動(dòng)時(shí)會(huì)出現(xiàn)[WARNING] Unable to load SenseNova models from the API (RuntimeError); using built-in options.——這是因?yàn)槲易叩氖潜镜貦?quán)重而非 API模型列表拉不到線上目錄屬正常降級(jí)不影響本地推理。No OpenGL_accelerate module loaded——純 warning無(wú) GPU 渲染需求可忽略。關(guān)鍵一步是要讓節(jié)點(diǎn)讀本地模型目錄而不是去連 API見(jiàn)下一節(jié)。四、搭第一條工作流從「能出圖」到「讀本地模型」4.1 認(rèn)識(shí) SenseNova 自定義節(jié)點(diǎn)進(jìn)入 ComfyUI 后右鍵搜索節(jié)點(diǎn)能看到ComfyUI-SenseNova-U1提供的一組節(jié)點(diǎn)核心是三個(gè)Model Loader加載 SenseNova U1.5 模型可指向本地目錄Text to Image文生圖Image EditSenseNovaU1LocalImageEdit原生圖像編輯——這是我整條兵馬俑復(fù)原鏈路的主力節(jié)點(diǎn)4.2 最小可用工作流Model Loader → Text to Image → Save Image先搭一條最簡(jiǎn)單的文生圖鏈路驗(yàn)證模型真的能出圖。建 Model Loader 節(jié)點(diǎn)建 Text to Image 節(jié)點(diǎn)并連線核對(duì)調(diào)整參數(shù)cfg、num_steps、seed、輸出尺寸等接上 Save Image4.3 關(guān)鍵讓節(jié)點(diǎn)讀本地模型避免連 API默認(rèn) Model Loader 會(huì)嘗試走 API 目錄本地部署必須把它指到 3.3 步下載好的本地權(quán)重路徑/root/autodl-tmp/sensenova/models/SenseNova-U1.5-8B-MoT。這一步做對(duì)了后面才不會(huì)報(bào)錯(cuò)第一次點(diǎn) Queue 時(shí)我踩了個(gè)執(zhí)行失敗路徑/參數(shù)沒(méi)對(duì)齊修正后首圖跑通——單圖 50 步耗時(shí) 62.85s這張首測(cè)圖ComfyUI_00001.png2048×2048我也從服務(wù)器拉了下來(lái)存檔作為「環(huán)境確實(shí)跑通」的部署驗(yàn)證憑證到這里賽道一要求的「必須實(shí)際搭建模型并跑起來(lái) 運(yùn)行效果演示」已經(jīng)完成。下面進(jìn)入真正的重頭戲——兵馬俑數(shù)字復(fù)原工作流。五、核心工作流兵馬俑「結(jié)構(gòu)補(bǔ)全 → 彩繪復(fù)原」兩級(jí)流水線AB 鏈路這是本文的靈魂。我把文物復(fù)原拆成兩個(gè)可獨(dú)立評(píng)估的階段對(duì)應(yīng)工作流里的A 節(jié)點(diǎn)和B 節(jié)點(diǎn)A · 結(jié)構(gòu)修復(fù)輸入殘俑補(bǔ)全缺失的頭/臂/斷裂部位但保持灰陶質(zhì)感、不上色——先把「形」修對(duì)。B · 彩繪復(fù)原以 A 的完整灰陶俑為輸入只在表面敷施礦物顏料還原出土?xí)r的彩繪——再把「色」還原。這種「先形后色、分步可控」的拆法恰好對(duì)應(yīng)文物修復(fù)里的最小干預(yù) 可逆預(yù)演原則每一步都能單獨(dú)評(píng)審、單獨(dú)回退。5.1 輸入一尊殘缺的跪射俑我用的輸入是一張典型的殘俑照片——灰陶質(zhì)感、局部殘缺正是考古現(xiàn)場(chǎng)最常見(jiàn)的狀態(tài)工作區(qū)內(nèi)對(duì)應(yīng)原始輸入文件實(shí)驗(yàn)/實(shí)驗(yàn)數(shù)據(jù)/原始輸入_canjun.png1.5MB模型的實(shí)際輸入。5.2 A 節(jié)點(diǎn) · 結(jié)構(gòu)補(bǔ)全A 節(jié)點(diǎn)的 prompt 核心是「補(bǔ)全缺失結(jié)構(gòu)、保持灰陶不上色、維持原有姿態(tài)與朝向」。跑完后殘缺部位被合理補(bǔ)全且嚴(yán)格保持了秦俑的灰陶色和形制——沒(méi)有擅自上色這點(diǎn)非常重要課題組評(píng)議時(shí)特別肯定了這一點(diǎn)模型補(bǔ)全的手臂姿態(tài)、甲片走向符合秦代步兵俑/跪射俑的形制規(guī)律沒(méi)有出現(xiàn)「關(guān)公戰(zhàn)秦瓊」式的形制穿越。工作區(qū)產(chǎn)物實(shí)驗(yàn)/實(shí)驗(yàn)數(shù)據(jù)/兵馬俑AB/A_structure_repair_00001_.png及 00002。5.3 B 節(jié)點(diǎn) · 彩繪復(fù)原B 節(jié)點(diǎn)以 A 的完整灰陶俑為輸入施加考古級(jí)彩繪長(zhǎng)指令。出圖后秦俑「活」了過(guò)來(lái)——面部粉紅肉色、須發(fā)黑、鎧甲褐色甲片配朱紅勾邊、戰(zhàn)袍朱紅、緣邊粉綠且?guī)С鐾裂趸膯」怅惻f感完整的「兵馬俑完整復(fù)原 彩繪」工作流全貌工作區(qū)產(chǎn)物兵馬俑AB/B_polychrome_restore_00001_.png~00003_.png共 3 張彩繪復(fù)原結(jié)果對(duì)應(yīng) workflowworkflow_兵馬俑修復(fù)_AB.json。5.4 AB 鏈路的耗時(shí)基準(zhǔn)從運(yùn)行日志逐條還原這條鏈路的性能基準(zhǔn)非常穩(wěn)定批次內(nèi)容耗時(shí)首測(cè)單圖50 步 / 4MP62.85 sAB 第 1 次完整跑A B 各 50 步151.13 sB 單圖重跑50 步62.00 sAB 第 2 次完整跑A B 各 50 步127.79 s單圖 50 步 ≈ 62s這個(gè)數(shù)字在多次運(yùn)行中高度一致可以作為「A800、offloadauto、4MP 出圖」的單圖基準(zhǔn)耗時(shí)來(lái)引用。六、實(shí)驗(yàn)三 · 步數(shù)消融num_steps 到底買到了什么工作流能跑通只是及格線。作為研究向作者我更想回答一個(gè)工程問(wèn)題采樣步數(shù)num_steps到底影響了什么是顯存速度還是質(zhì)量于是我設(shè)計(jì)了一個(gè)嚴(yán)格的單變量對(duì)照實(shí)驗(yàn)。6.1 實(shí)驗(yàn)設(shè)計(jì)單變量對(duì)照共享同一個(gè) Model Loader、同一張輸入圖殘俑canjun.png、同一個(gè)輸出尺寸從共享節(jié)點(diǎn)扇出 4 條SenseNovaU1LocalImageEdit支路唯一變量num_steps 8 / 20 / 30 / 50其余全部鎖死cfg4.0、seed42、prompt 完全相同一次 Queue 順序跑完 4 張可直接橫向?qū)Ρ?。?duì)應(yīng) workflow實(shí)驗(yàn)/workflow_實(shí)驗(yàn)三_步數(shù)消融.json。運(yùn)行截圖6.2 四聯(lián)對(duì)比圖8 / 20 / 30 / 50 步肉眼判讀這也是我給出主觀質(zhì)量分的依據(jù)8 步能出大形但結(jié)構(gòu)邊緣發(fā)虛、細(xì)節(jié)糊甲片和面部容易「化」——質(zhì)量分 2.5適合快速草稿預(yù)覽。20 步結(jié)構(gòu)穩(wěn)定下來(lái)細(xì)節(jié)開始清晰——3.5。30 步細(xì)節(jié)豐富、邊界干凈性價(jià)比最高的一檔——4.3。50 步細(xì)節(jié)與質(zhì)感的上限甲片、須發(fā)、剝落紋理最扎實(shí)——4.7。6.3 耗時(shí) / 質(zhì)量雙 Y 軸曲線6.4 實(shí)測(cè)一個(gè)反直覺(jué)但極有用的結(jié)論這是本實(shí)驗(yàn)最有價(jià)值的發(fā)現(xiàn)。從運(yùn)行日志讀到的顯存數(shù)據(jù)指標(biāo)實(shí)測(cè)值采樣期 alloc8/20/30/50 步均為 19.72 GiB完全一致峰值 alloc20.08 GiBreserved20.56 GiB單次執(zhí)行層傳輸總量46.00 GiBunderstanding 30.91 generation 15.09teardown 后 alloc歸零至 0.03 GiB顯存回收干凈、無(wú)泄漏結(jié)論采樣期顯存與步數(shù)完全無(wú)關(guān)。8 步和 50 步吃掉的顯存一模一樣19.72 GiB步數(shù)只影響「時(shí)間」和「質(zhì)量」不影響「顯存峰值」。這個(gè)結(jié)論的工程價(jià)值極大顯存預(yù)算可以按最高步數(shù)一次性規(guī)劃不用擔(dān)心「加步數(shù)會(huì) OOM」步數(shù)可以純粹當(dāng)質(zhì)量/速度檔位來(lái)用——草稿用 8 步~12s、終稿用 50 步~62s顯存零風(fēng)險(xiǎn)20GB 出頭的占用意味著24G 的 4090 也能跑滿 50 步A800 的 80G 在這個(gè)任務(wù)里確實(shí)用不滿。6.5 Layer Offload 行為觀察即便在 80GB 的 A800 上節(jié)點(diǎn)配置offloadauto時(shí)仍會(huì)啟用層級(jí)卸載生成期 42 層常駐 GPU 共 15.09 GiB理解層30.91 GiB按需換入換出峰值 alloc 才被壓到 20.08 GiB。這解釋了為什么一個(gè)「33GB 權(quán)重 46GB 單次層傳輸」的模型最終只吃 20GB 顯存——offload 把顯存占用和模型體積解耦了這正是它敢喊「單卡可跑」的底氣。七、實(shí)驗(yàn)四 · 長(zhǎng)指令壓測(cè)3000 字的考古指令它能聽懂幾條這是我最期待的實(shí)驗(yàn)直接對(duì)準(zhǔn) U1.5 Lite 的招牌能力——3-4k 字符超長(zhǎng)指令遵循。對(duì)文物復(fù)原來(lái)說(shuō)這個(gè)能力是決定性的復(fù)原不是「畫得好看」而是「每一處顏色都要有據(jù)可依」。7.1 實(shí)驗(yàn)設(shè)計(jì)單變量?jī)H指令長(zhǎng)度遞增輸入固定 A 結(jié)構(gòu)修復(fù)后的完整灰陶俑排除結(jié)構(gòu)補(bǔ)全干擾專注測(cè)彩繪指令遵循唯一變量 prompt 長(zhǎng)度三檔P1 短指令~40 字符“為這尊灰陶兵馬俑復(fù)原出土?xí)r的原始彩繪只在表面上色不改變形態(tài)?！盤2 中指令~500 字符分部位施色的中等粒度描述。P3 超長(zhǎng)指令3000 字符考古級(jí)復(fù)原規(guī)范刻意埋入 12 個(gè)可逐條核驗(yàn)的指令點(diǎn)。其余鎖死cfg4.0、num_steps50、seed42、Auto·4MP。對(duì)應(yīng) workflow實(shí)驗(yàn)/workflow_實(shí)驗(yàn)四_長(zhǎng)指令壓測(cè).json三檔 prompt 全文見(jiàn)實(shí)驗(yàn)/實(shí)驗(yàn)四_長(zhǎng)指令壓測(cè)_prompts.md。運(yùn)行截圖7.2 P3 超長(zhǎng)指令全文節(jié)選核心約束為了讓讀者感受「3000 字符指令」到底是什么密度摘錄 P3 的部位施色規(guī)則完整版在 prompts 文件里請(qǐng)以秦始皇帝陵博物院文物保護(hù)研究的嚴(yán)謹(jǐn)標(biāo)準(zhǔn)……秦代工匠先在陶胎表面髹涂一至兩層生漆作為底層再于漆層之上敷施礦物質(zhì)顏料故所有色彩均應(yīng)呈現(xiàn)「漆底托色」的溫潤(rùn)質(zhì)感……一、面部與肌膚面龐施粉紅肉色鉛丹調(diào)白雙唇施朱紅色指令點(diǎn)1兩道劍眉與頜下須髯均為純黑色指令點(diǎn)2……三、鎧甲甲片為褐色每片邊緣以朱紅色描邊指令點(diǎn)4……五、腿足小腿纏裹行縢行縢為粉綠色指令點(diǎn)8足穿方口齊頭履履為赭石色指令點(diǎn)9……七、形態(tài)約束最重要嚴(yán)禁改變陶俑任何幾何形態(tài)僅在原有表面敷色指令點(diǎn)12。這種密度的約束普通生圖模型給到第 3 個(gè)詞就開始「失憶」了。7.3 三檔指令效果對(duì)比7.4 12 項(xiàng)指令點(diǎn)逐條核驗(yàn)命中率我按 prompts 文件里的核對(duì)表對(duì) P1/P2/P3 三張圖逐條打勾#指令點(diǎn)P1 短P2 中P3 長(zhǎng)1雙唇朱紅區(qū)別于肉色???2須發(fā)為黑色???3發(fā)帶朱紅色???4甲片褐色 朱紅勾邊???5長(zhǎng)襦戰(zhàn)袍朱紅色???6領(lǐng)口/袖口粉綠緣邊???7下褲天青/石青色???8行縢綁腿粉綠色???9鞋履赭石色???10整體啞光、無(wú)塑料反光???11有自然剝落、露灰陶/漆底???12形態(tài)/姿勢(shì)/朝向不變???命中數(shù)3 / 128 / 1211 / 12命中率25%67%92%7.5 判讀長(zhǎng)指令是真的「讀懂」了命中率從25% → 67% → 92%的單調(diào)躍升說(shuō)明短指令P1只抓住了最泛化的特征須發(fā)黑、戰(zhàn)袍紅、啞光細(xì)節(jié)部位幾乎全丟——因?yàn)樾畔⒘扛静粔?。中指令P2補(bǔ)上了分部位施色命中過(guò)半但天青下褲、朱紅發(fā)帶、自然剝落這些「需要精確描述才會(huì)出現(xiàn)」的點(diǎn)仍缺失。長(zhǎng)指令P3命中 11/12連「下褲天青而非朱紅」「顏料層隨機(jī)剝落露出灰陶胎」這種極細(xì)的約束都還原了——它是真的在逐條執(zhí)行指令而不是套通用彩俑模板。唯一沒(méi)命中的指令點(diǎn) 12形態(tài)完全不變P3 因?yàn)榧s束太多在敷色時(shí)對(duì)局部輪廓做了極輕微的重塑并非結(jié)構(gòu)性改變但嚴(yán)格核驗(yàn)算「未完全守住」。這也給出一個(gè)實(shí)用經(jīng)驗(yàn)——當(dāng)長(zhǎng)指令里「上色約束」和「形態(tài)鎖定約束」同時(shí)高壓時(shí)可適當(dāng)調(diào)低img_cfg提高對(duì)原圖的保真權(quán)重來(lái)更好地鎖形這是我下一步要繼續(xù)調(diào)的方向。對(duì)我的課題而言92% 的考古級(jí)指令命中率意味著我可以把一份文字化的復(fù)原方案直接翻譯成可視化預(yù)演圖且絕大多數(shù)施色約束會(huì)被忠實(shí)執(zhí)行。這是把「文字復(fù)原假設(shè)」變成「可評(píng)審圖像」的關(guān)鍵一躍——也是課題組認(rèn)可這次實(shí)驗(yàn)的核心技術(shù)依據(jù)。八、成本與復(fù)現(xiàn)門檻這套鏈路到底貴不貴作為實(shí)驗(yàn)室用戶我最關(guān)心「這套東西能不能長(zhǎng)期用、要不要排隊(duì)搶卡」。做一個(gè)誠(chéng)實(shí)的成本分析。8.1 顯存門檻前面實(shí)測(cè)過(guò)50 步滿配峰值 alloc 僅20.08 GiB。這是關(guān)鍵數(shù)字——它落在消費(fèi)級(jí)卡RTX 4090 / 4080的預(yù)算內(nèi)。硬件顯存能否跑滿 50 步 / 4MPA800本次80 GB? 遠(yuǎn)未用滿RTX 409024 GB? 可以RTX 4080 / 309024 GB? 接近預(yù)算邊緣RTX 4090 出家裝24 GB? 可offloadauto 量化8.2 時(shí)間成本場(chǎng)景耗時(shí)備注單圖 50 步 / 4MP≈ 62 s多次運(yùn)行高度一致8 步草稿檔≈ 12 s快速預(yù)覽實(shí)驗(yàn)三混合批5083020149.02 s一次跑完 4 組實(shí)驗(yàn)四3×50 步191.40 s一次跑完 3 檔A800 時(shí)租按當(dāng)前行情估算單張 4MP 復(fù)原圖成本可壓縮到幾毛到一塊人民幣量級(jí)按周租折算相比人工手繪一張考古復(fù)原圖專業(yè)畫師數(shù)天到數(shù)周、報(bào)價(jià)可達(dá)數(shù)千元數(shù)字復(fù)原的邊際成本幾乎可以忽略。8.3 關(guān)鍵結(jié)論一次論證長(zhǎng)期可用數(shù)據(jù)不出內(nèi)網(wǎng)權(quán)重本地、推理本地文物圖可以完全私有化部署——這對(duì)做文物保護(hù)的單位是硬需求文物影像通常有保密要求。單卡即可跑不用搶多卡、不用開集群實(shí)驗(yàn)室一張 4090 或臨時(shí)租一張 A800 就能產(chǎn)出。邊際成本≈0跑起來(lái)后每多生成一張復(fù)原方案圖幾乎不額外花錢。可逆預(yù)演傳統(tǒng)修復(fù)不可逆數(shù)字復(fù)原可以無(wú)限次「試錯(cuò)」——這正是它相對(duì)物理試色的根本優(yōu)勢(shì)。九、踩坑與經(jīng)驗(yàn)9.1 部署類本地模型要用本地目錄加載Model Loader 默認(rèn)走 API 目錄本地部署必須手動(dòng)指到/root/autodl-tmp/sensenova/models/SenseNova-U1.5-8B-MoT否則會(huì)連 API 報(bào)錯(cuò)或回退內(nèi)置選項(xiàng)。啟動(dòng)日志里的Unable to load SenseNova models from API是正常降級(jí)本地權(quán)重場(chǎng)景下模型列表拉不到線上目錄不影響推理別被嚇到。用 screen/tmux 掛后臺(tái)SSH 一斷 ComfyUI 就沒(méi)了50 步長(zhǎng)任務(wù)跑一半斷掉很虧。依賴要裝全sensenova-u1官方包 transformers 5.16.1 accelerate pillow 版本都有硬要求建議嚴(yán)格按官方 requirements 裝避免隱式版本沖突。國(guó)內(nèi)網(wǎng)絡(luò)用魔搭 gitcode 鏡像HF 直連慢且易斷魔搭下載 gitcode clone 全程穩(wěn)定我實(shí)測(cè) 19 文件 16 分鐘拉完 33GB。9.2 圖像編輯類img_cfg對(duì)原圖保真權(quán)重與cfg指令遵循力度要平衡想更嚴(yán)格保持原圖形態(tài)就調(diào)低img_cfg、適當(dāng)提高cfg想要更強(qiáng)的彩繪自由度反過(guò)來(lái)。我在實(shí)驗(yàn)四 P3 里發(fā)現(xiàn)「上色約束 鎖形約束同時(shí)高強(qiáng)度」時(shí)形態(tài)偶爾會(huì)被輕微重塑調(diào)低img_cfg是鎖形的最直接手段。超長(zhǎng)指令建議用「編號(hào)分部位」的結(jié)構(gòu)化寫法像 P3 那樣一、二、三、四……分面部/發(fā)髻/鎧甲/戰(zhàn)袍/腿足再在每個(gè)部位下埋具體顏色約束模型對(duì)「編號(hào)條目」的遵循遠(yuǎn)好于一大段散文。這是我的實(shí)測(cè)經(jīng)驗(yàn)也建議寫進(jìn)官方 prompt 工程指南。9.3 數(shù)據(jù)/出圖類ComfyUI 隊(duì)列面板「只顯示 2 個(gè)」是顯示條數(shù)上限實(shí)際提交的 4 組、3 組都成功執(zhí)行了別被歷史記錄面板誤導(dǎo)。步數(shù)不影響顯存可以放心把步數(shù)當(dāng)質(zhì)量檔位用8 步草稿 / 50 步終稿無(wú)縫切換。輸出分辨率會(huì)按輸入寬高比自適應(yīng)取整同樣是 Auto·4MP不同輸入的輸出尺寸可能不同canjun 是 2400×1792實(shí)驗(yàn)四輸入是 2368×1760組內(nèi)一致即可不影響跨組對(duì)比。十、可復(fù)現(xiàn)性清單環(huán)節(jié)位置 / 命令模型權(quán)重魔搭SenseNova/SenseNova-U1.5-8B-MoT約 33GB源碼倉(cāng)庫(kù)GitHubOpenSenseNova/SenseNova-U1ComfyUI官方 ComfyUI ComfyUI-SenseNova-U1自定義節(jié)點(diǎn)AB 工作流實(shí)驗(yàn)/workflow_兵馬俑修復(fù)_AB.json實(shí)驗(yàn)三工作流實(shí)驗(yàn)/workflow_實(shí)驗(yàn)三_步數(shù)消融.json實(shí)驗(yàn)四工作流實(shí)驗(yàn)/workflow_實(shí)驗(yàn)四_長(zhǎng)指令壓測(cè).json實(shí)驗(yàn)四三檔 prompt實(shí)驗(yàn)/實(shí)驗(yàn)四_長(zhǎng)指令壓測(cè)_prompts.md圖表腳本實(shí)驗(yàn)/make_charts.py可一鍵重生成 4 張圖完整運(yùn)行日志實(shí)驗(yàn)/實(shí)驗(yàn)數(shù)據(jù)/comfyui_運(yùn)行日志.log82KBVRAM/步數(shù)/offload 全記錄環(huán)境速查A800 80G / torch 2.8.0cu128 / Python 3.12.3 / ComfyUI 0.34.0 / bf16 / offloadauto / 輸出 2400×1792。十一、結(jié)論與展望一次完整的、扎根于我研究方向的實(shí)戰(zhàn)到此收官?；仡櫿麄€(gè)鏈路SenseNova U1.5 Lite 交出的答卷遠(yuǎn)超我的預(yù)期部署門檻被大幅降低。33GB 權(quán)重、8B 參數(shù)真實(shí)顯存占用僅 20.08 GiB——一張家用卡就能跑滿 50 步 4MP單圖 62 秒。它沒(méi)有停留在「能跑」而是達(dá)到了「有條件長(zhǎng)期跑」。圖像編輯是真能用不是 demo。從殘俑到彩繪復(fù)原A/B 兩級(jí)流水線完美兌現(xiàn)了「最小干預(yù) 可逆預(yù)演」補(bǔ)全的形制、復(fù)原的彩繪都經(jīng)得起形制規(guī)律檢驗(yàn)。3-4k 長(zhǎng)指令遵循是它最硬的能力。12 項(xiàng)考古級(jí)可核驗(yàn)指令點(diǎn)從 25% → 67% → 92% 的命中率躍升證明指令越具體、越有結(jié)構(gòu)它執(zhí)行得越精準(zhǔn)。這直接打開了「文字化復(fù)原方案 → 可視化預(yù)演圖」的大門。對(duì)整個(gè) AI 視覺(jué)生態(tài)的判斷當(dāng) 8B 模型能做到「穩(wěn)定完成真實(shí)視覺(jué)交付」而非「能看」時(shí)像文物復(fù)原這種強(qiáng)約束、多部位、長(zhǎng)指令的真實(shí)場(chǎng)景才開始真正被大模型觸達(dá)。這正是活動(dòng)標(biāo)語(yǔ)「從能看走向穩(wěn)定完成真實(shí)視覺(jué)交付」的含義。寫在最后作為西工大兵馬俑數(shù)字化方向的研究生我始終相信技術(shù)應(yīng)當(dāng)服務(wù)于一個(gè)個(gè)具體的、有公共價(jià)值的問(wèn)題。當(dāng)我把一尊兩千年前褪盡鉛華的殘俑用 8B 單卡模型重新「畫」回它出土?xí)r的斑斕模樣——那種跨越時(shí)空的連接感是這個(gè)項(xiàng)目贈(zèng)予我的、比任何指標(biāo)都更真實(shí)的東西。本文為原創(chuàng)技術(shù)實(shí)戰(zhàn)記錄模型與數(shù)據(jù)均來(lái)自本人實(shí)測(cè)。歡迎交流也歡迎對(duì)文物數(shù)字化方向感興趣的同行一起探討。