做具身智能的人應(yīng)該都有同感模型結(jié)構(gòu)、訓(xùn)練策略這些可以后面再卷真正卡住進(jìn)度的往往是數(shù)據(jù)。多模態(tài)對(duì)齊這件事放在純視覺(jué)、純語(yǔ)言里已經(jīng)有了不少成熟套路但一進(jìn)到具身智能立刻變成hard模式——RGB-D相機(jī)、激光雷達(dá)、機(jī)械臂關(guān)節(jié)編碼器、力傳感器、觸覺(jué)皮膚、音頻陣列每個(gè)傳感器都有自己的采樣頻率、自己的坐標(biāo)系、自己的時(shí)間基準(zhǔn)想要把這一堆信號(hào)清洗成模型能吃下、語(yǔ)義一致的多模態(tài)訓(xùn)練數(shù)據(jù)就繞不開(kāi)“對(duì)齊”這兩個(gè)字。這篇博文想從數(shù)采與處理的角度把多模態(tài)對(duì)齊的方法完整捋一遍每種對(duì)齊到底在解決什么問(wèn)題硬件和軟件怎么配合數(shù)據(jù)流水線怎么落地以及我自己在這條路上踩過(guò)的坑。內(nèi)容偏工程實(shí)踐適合正在搭具身智能數(shù)據(jù)平臺(tái)、做多模態(tài)智能體采集系統(tǒng)或者準(zhǔn)備入坑多模態(tài)融合方向的同學(xué)參考。1. 先把“對(duì)齊”說(shuō)清楚具身智能里的多模態(tài)到底在對(duì)齊什么1.1 四種對(duì)齊時(shí)間、空間、語(yǔ)義與分布很多人一提多模態(tài)對(duì)齊第一反應(yīng)是模型訓(xùn)練里的特征對(duì)齊把那套對(duì)比學(xué)習(xí)、跨模態(tài)注意力搬上來(lái)。但在具身智能語(yǔ)境下對(duì)齊首先是一個(gè)數(shù)據(jù)問(wèn)題不是訓(xùn)練問(wèn)題。一個(gè)機(jī)械臂抓取任務(wù)里至少存在四種層面的對(duì)齊。時(shí)間對(duì)齊解決的是“同一物理時(shí)刻”的問(wèn)題。相機(jī)在30Hz采圖像IMU在200Hz轉(zhuǎn)數(shù)據(jù)關(guān)節(jié)編碼器500Hz上報(bào)角度一個(gè)“杯子被夾爪捏住”的事件在不同傳感器里出現(xiàn)的時(shí)刻必須對(duì)應(yīng)上。難點(diǎn)不只是采樣頻率不同還有傳輸延遲不同——USB相機(jī)從曝光到數(shù)據(jù)到達(dá)主機(jī)可能要幾十毫秒而關(guān)節(jié)狀態(tài)走以太網(wǎng)可能只要幾毫秒。如果不對(duì)齊模型學(xué)到的就是“視覺(jué)看到杯子變形和力傳感器感到力”之間錯(cuò)開(kāi)的因果動(dòng)作策略自然學(xué)歪。空間對(duì)齊解決的是“同一個(gè)三維點(diǎn)在不同傳感器坐標(biāo)系里怎么表達(dá)”的問(wèn)題。圖像上的像素坐標(biāo)(u,v)、激光雷達(dá)的三維點(diǎn)(x,y,z)、機(jī)械臂的關(guān)節(jié)角、末端執(zhí)行器的位姿本質(zhì)上是同一個(gè)物理點(diǎn)在不同坐標(biāo)系下的投影?？臻g對(duì)齊沒(méi)做好“圖像里那個(gè)紅色杯子”和“機(jī)器人基座坐標(biāo)系里的杯子位置”就對(duì)不上抓取位置算出來(lái)必然是偏的。語(yǔ)義對(duì)齊解決的是“語(yǔ)言指令、視覺(jué)內(nèi)容、動(dòng)作意圖怎么對(duì)應(yīng)”的問(wèn)題?！鞍炎郎夏莻€(gè)紅色杯子拿起來(lái)”這句話要對(duì)應(yīng)到圖像里的一個(gè)物體區(qū)域再對(duì)應(yīng)到一組關(guān)節(jié)軌跡和夾爪動(dòng)作。這種對(duì)齊往往要靠多模態(tài)大模型或者人工標(biāo)注來(lái)建立但前提是前兩種對(duì)齊已經(jīng)做好了——如果時(shí)間、空間都是亂的語(yǔ)義標(biāo)注根本標(biāo)不準(zhǔn)。分布對(duì)齊是相對(duì)隱性的層面。真實(shí)數(shù)據(jù)里模態(tài)經(jīng)常缺失遮擋導(dǎo)致深度圖黑洞反光導(dǎo)致點(diǎn)云空洞線纜松動(dòng)導(dǎo)致某一路完全掉線。模型必須對(duì)這種不完整輸入魯棒所以數(shù)據(jù)階段就要有意識(shí)地加入模態(tài)隨機(jī)丟棄、噪聲擾動(dòng)而不是祈禱測(cè)試時(shí)一切完美。1.2 為什么數(shù)采與處理階段最容易翻車原因很樸素真實(shí)機(jī)器人數(shù)據(jù)是不可再生的。仿真里數(shù)據(jù)錯(cuò)了可以重跑真機(jī)上一段數(shù)據(jù)采集成本可能按小時(shí)、按電費(fèi)、按人工算采壞了就是實(shí)打?qū)嵗速M(fèi)。更麻煩的是對(duì)齊誤差會(huì)被模型放大——?jiǎng)討B(tài)抓取中50毫秒的時(shí)間錯(cuò)位可能讓“接觸成功”這個(gè)標(biāo)簽貼到錯(cuò)誤的力矩波形上5毫米的空間標(biāo)定誤差在深度相機(jī)下對(duì)應(yīng)的可能就是十來(lái)個(gè)像素的偏差末端抓取直接偏出目標(biāo)區(qū)域。還有一個(gè)容易被忽略的點(diǎn)模型層的對(duì)齊可以做很多補(bǔ)救屬于“后天補(bǔ)課”但數(shù)據(jù)源頭的對(duì)齊如果沒(méi)做后面再怎么設(shè)計(jì)loss也補(bǔ)不回來(lái)因?yàn)樾畔⒃谠搭^已經(jīng)丟了。比如相機(jī)曝光中間時(shí)刻沒(méi)有記錄、只記了數(shù)據(jù)到達(dá)主機(jī)的時(shí)刻那你的時(shí)間戳本身就帶了幾十毫秒的偏差之后任何插值算法都救不回來(lái)。所以我一直覺(jué)得數(shù)據(jù)管線的上限決定了模型的上限模型只是在逼近這個(gè)上限。2. 數(shù)采方案怎么定傳感器組合、時(shí)間同步與空間標(biāo)定2.1 傳感器組合與各自的“時(shí)鐘脾氣”搭一套具身智能數(shù)采系統(tǒng)第一步是選傳感器而選型時(shí)除了看分辨率、量程這些常規(guī)參數(shù)還得看它的時(shí)間特性。我把常見(jiàn)的幾種傳感器和它們的對(duì)齊難點(diǎn)整理成了表格方便對(duì)比。傳感器典型頻率輸出形式對(duì)齊難點(diǎn)RGB-D相機(jī)RealSense、Orbbec等30/60Hz彩色圖深度圖深度與彩色需要配準(zhǔn)曝光時(shí)間影響運(yùn)動(dòng)模糊機(jī)械式激光雷達(dá)10/20Hz點(diǎn)云旋轉(zhuǎn)掃描有逐點(diǎn)時(shí)間差一幀內(nèi)不同角度時(shí)刻不同IMU100~1000Hz角速度/加速度零偏與溫漂頻率高需要插值對(duì)齊關(guān)節(jié)編碼器/力矩傳感器500~1000Hz關(guān)節(jié)角/力矩與視覺(jué)延遲不匹配事件標(biāo)簽難對(duì)齊觸覺(jué)/視觸覺(jué)傳感器30~60Hz圖像或高頻陣列觸覺(jué)圖像/力分布接觸事件短暫需要高時(shí)間精度麥克風(fēng)陣列16kHz以上音頻流采樣率高但語(yǔ)義邊界模糊幀級(jí)對(duì)齊這里特別提一下機(jī)械式激光雷達(dá)它不是瞬時(shí)成像而是電機(jī)帶著激光頭旋轉(zhuǎn)掃描一幀點(diǎn)云里每條激光束的時(shí)間戳都不一樣。如果拿整個(gè)點(diǎn)云幀的時(shí)間戳去和其他模態(tài)對(duì)齊在機(jī)器人快速運(yùn)動(dòng)時(shí)誤差會(huì)非常明顯。很多人在處理點(diǎn)云時(shí)忽略了這一點(diǎn)導(dǎo)致運(yùn)動(dòng)畸變和錯(cuò)位。2.2 時(shí)間同步硬件觸發(fā)、PTP與軟件時(shí)間戳?xí)r間同步是數(shù)采系統(tǒng)的地基但目前業(yè)界主流就是兩條路線硬件同步和軟件時(shí)間戳。硬件同步是我個(gè)人更推薦的做法。用一個(gè)主控制器STM32這類MCU或FPGA產(chǎn)生固定頻率的同步脈沖相機(jī)設(shè)置為外部觸發(fā)模式只在脈沖上升沿曝光機(jī)器人控制器和IMU采集板同時(shí)記錄脈沖計(jì)數(shù)。這樣所有傳感器都掛在同一個(gè)“心跳”上時(shí)間精度可以直接做到微秒級(jí)而且不受主機(jī)負(fù)載影響。代價(jià)是每一路傳感器都要支持外部觸發(fā)線纜和接線復(fù)雜度上升。軟件時(shí)間戳則是依賴各傳感器驅(qū)動(dòng)打上主機(jī)時(shí)間再通過(guò)NTP或PTP同步各設(shè)備時(shí)鐘。NTP在局域網(wǎng)內(nèi)一般能做到毫秒級(jí)對(duì)慢速操作任務(wù)基本夠用但機(jī)械臂做快速抓取、動(dòng)態(tài)避障時(shí)毫秒級(jí)誤差就可能讓視覺(jué)和關(guān)節(jié)數(shù)據(jù)對(duì)不上。PTPIEEE 1588配合支持硬件時(shí)間戳的網(wǎng)卡和交換機(jī)精度可以做到亞微秒到微秒級(jí)但需要設(shè)備、網(wǎng)絡(luò)環(huán)境都支持成本不低。實(shí)操上的建議是預(yù)算有限時(shí)用一個(gè)幾十塊錢的MCU生成20~50Hz同步脈沖同時(shí)接到相機(jī)外部觸發(fā)口和機(jī)器人控制器的數(shù)字輸入口采集時(shí)把脈沖計(jì)數(shù)也寫進(jìn)日志。離線處理時(shí)直接用脈沖序號(hào)對(duì)齊各模態(tài)比解析系統(tǒng)時(shí)間戳更穩(wěn)。這里有一個(gè)我自己踩過(guò)的細(xì)節(jié)坑相機(jī)驅(qū)動(dòng)里默認(rèn)給的時(shí)間戳是“數(shù)據(jù)到達(dá)主機(jī)的時(shí)刻”不是“曝光中間時(shí)刻”。對(duì)運(yùn)動(dòng)物體來(lái)說(shuō)曝光開(kāi)始的時(shí)刻和曝光結(jié)束的時(shí)刻差別很大更準(zhǔn)確的應(yīng)該用曝光中點(diǎn)。很多相機(jī)SDK都提供曝光時(shí)間字段處理時(shí)做一次減法補(bǔ)償運(yùn)動(dòng)對(duì)齊的精度能提升不少。2.3 空間對(duì)齊內(nèi)參、外參與手眼標(biāo)定空間對(duì)齊的核心是標(biāo)定繞不開(kāi)三個(gè)層次的參數(shù)。第一層是相機(jī)內(nèi)參包括焦距、主點(diǎn)、畸變系數(shù)用棋盤格或ChArUco板就能標(biāo)。第二層是傳感器之間的外參也就是兩個(gè)傳感器坐標(biāo)系之間的變換關(guān)系。第三層是傳感器與機(jī)器人之間的變換最常見(jiàn)的是手眼標(biāo)定。手眼標(biāo)定有兩種典型位形相機(jī)固定在機(jī)械臂末端之外、觀察機(jī)械臂運(yùn)動(dòng)叫eye-to-hand相機(jī)裝在機(jī)械臂末端跟著動(dòng)叫eye-in-hand。無(wú)論哪種本質(zhì)都是求解AXXB這個(gè)矩陣方程——通過(guò)機(jī)械臂運(yùn)動(dòng)到多個(gè)位姿采集對(duì)應(yīng)的標(biāo)定板觀測(cè)就能解出相機(jī)和機(jī)械臂之間的固定變換。OpenCV提供了現(xiàn)成的APIROS生態(tài)里也有easy_handeye這類工具十幾分鐘就能出結(jié)果。標(biāo)定的關(guān)鍵不只是“做一次”而是要建立驗(yàn)證和復(fù)檢機(jī)制。我習(xí)慣每次標(biāo)定完都用已知尺寸的物體做一次重投影驗(yàn)證計(jì)算重投影誤差誤差超過(guò)閾值就重新標(biāo)。還有一個(gè)容易被忽略的點(diǎn)機(jī)械結(jié)構(gòu)受到撞擊、溫度變化、長(zhǎng)期運(yùn)行后外參會(huì)悄悄漂移。所以標(biāo)定不是一勞永逸的建議在大規(guī)模采集前、采集周期中定期復(fù)檢不要等到數(shù)據(jù)全采完了才發(fā)現(xiàn)空間沒(méi)對(duì)齊。3. 數(shù)據(jù)處理流水線從原始信號(hào)到干凈樣本3.1 時(shí)間戳對(duì)齊、插值與重采樣傳感器數(shù)據(jù)進(jìn)到主機(jī)后第一件事是統(tǒng)一時(shí)間基準(zhǔn)。我會(huì)把所有時(shí)間戳都換算成同一個(gè)時(shí)鐘域統(tǒng)一單位到微秒避免混用秒、毫秒造成精度丟失。接下來(lái)選一個(gè)主頻率作為對(duì)齊基準(zhǔn)。常見(jiàn)的做法是選機(jī)器人控制環(huán)頻率比如50Hz或者直接選訓(xùn)練數(shù)據(jù)的目標(biāo)頻率比如動(dòng)作分塊action chunking里常用的10Hz。確定了參考時(shí)間柵格后每個(gè)參考時(shí)刻都要從各模態(tài)里取對(duì)應(yīng)數(shù)據(jù)。插值策略要分模態(tài)處理。標(biāo)量數(shù)據(jù)關(guān)節(jié)角、力、IMU加速度用線性插值就行姿態(tài)和旋轉(zhuǎn)量不能直接線性插值要用四元數(shù)球面插值也就是slerp否則中間姿態(tài)會(huì)歪掉圖像和點(diǎn)云不要做時(shí)間插值直接選時(shí)間戳最接近的一幀因?yàn)檫@個(gè)量級(jí)的插值計(jì)算成本高、收益又低。丟幀處理也要區(qū)分短時(shí)間間隔內(nèi)丟一兩幀可以靠插值補(bǔ)如果連續(xù)丟了幾十幀就不要硬插了直接給這段數(shù)據(jù)打缺失標(biāo)記。下面是一個(gè)最樸素的最近鄰對(duì)齊片段很多項(xiàng)目里改改就能用import numpy as np def align_to_reference(ref_ts, src_ts, src_data): 把src模態(tài)的數(shù)據(jù)按最近鄰時(shí)間戳對(duì)齊到ref_ts時(shí)間柵格 idx np.searchsorted(src_ts, ref_ts) idx np.clip(idx, 0, len(src_ts) - 1) # 比較左右鄰居取時(shí)間距離更近的一個(gè) left np.maximum(idx - 1, 0) right_idx np.minimum(idx, len(src_ts) - 1) left_dist np.abs(src_ts[left] - ref_ts) right_dist np.abs(src_ts[right_idx] - ref_ts) use_left left_dist right_dist final_idx np.where(use_left, left, right_idx) return src_data[final_idx], src_ts[final_idx]這個(gè)函數(shù)雖然簡(jiǎn)單但能處理大部分“不同頻率模態(tài)對(duì)齊到統(tǒng)一柵格”的需求。真正的項(xiàng)目里我會(huì)把參考時(shí)間柵格、各模態(tài)的原始時(shí)間戳、對(duì)齊后的索引都存下來(lái)方便后續(xù)追蹤對(duì)齊質(zhì)量。3.2 模態(tài)缺失、噪聲與數(shù)據(jù)增強(qiáng)真實(shí)數(shù)據(jù)永遠(yuǎn)是不完美的。模態(tài)缺失是常態(tài)應(yīng)對(duì)策略應(yīng)該從數(shù)據(jù)階段就開(kāi)始。訓(xùn)練時(shí)我會(huì)刻意做模態(tài)隨機(jī)丟棄按照一定概率把某一整路輸入置零或替換成掩碼讓模型學(xué)會(huì)在主模態(tài)缺失時(shí)也不慌。比如視覺(jué)-語(yǔ)言-動(dòng)作的聯(lián)合模型訓(xùn)練時(shí)隨機(jī)丟掉圖像或丟掉語(yǔ)言指令能顯著增強(qiáng)部署時(shí)的魯棒性。處理不完整樣本時(shí)盡量別直接刪樣本而是給缺失區(qū)間打mask這樣模型能學(xué)到“這段時(shí)間沒(méi)有觸覺(jué)信號(hào)”本身也是一個(gè)信息。數(shù)據(jù)增強(qiáng)也要分模態(tài)來(lái)做。圖像做顏色擾動(dòng)、亮度變化、隨機(jī)裁剪深度圖做補(bǔ)洞和邊緣平滑反光區(qū)域的空洞能補(bǔ)就補(bǔ)點(diǎn)云做隨機(jī)降采樣、加高斯噪聲、隨機(jī)旋轉(zhuǎn)觸覺(jué)圖像可以做小幅裁剪和旋轉(zhuǎn)音頻加環(huán)境噪聲。時(shí)間維度上還可以做時(shí)間裁剪和時(shí)間縮放但要注意動(dòng)作標(biāo)簽必須跟著變換不然就制造了錯(cuò)誤樣本。有一個(gè)容易忽略的點(diǎn)多模態(tài)數(shù)據(jù)增強(qiáng)要保證“模態(tài)間的一致性”。比如圖像做了水平翻轉(zhuǎn)語(yǔ)言指令里就不能再有“左邊”這種方向詞點(diǎn)云旋轉(zhuǎn)了末端執(zhí)行器的位姿標(biāo)簽也要同步旋轉(zhuǎn)。各模態(tài)獨(dú)立增強(qiáng)增強(qiáng)完就互相矛盾了這種數(shù)據(jù)比不增強(qiáng)還糟糕。3.3 標(biāo)注方案從人工到多模態(tài)大模型輔助具身智能數(shù)據(jù)里最貴的是語(yǔ)義標(biāo)注尤其是語(yǔ)言指令和動(dòng)作意圖。純?nèi)斯?biāo)注一個(gè)episode的指令要花不少時(shí)間而且不同標(biāo)注員對(duì)“左轉(zhuǎn)一點(diǎn)”“靠近杯子”這類模糊描述的標(biāo)準(zhǔn)不一致。我的做法分三層。第一層是規(guī)則自動(dòng)標(biāo)注能靠機(jī)器人狀態(tài)直接生成的標(biāo)簽絕不人工標(biāo)如夾爪是否閉合成功可以根據(jù)夾爪寬度變化和力傳感器閾值自動(dòng)判定末端軌跡可以直接從關(guān)節(jié)編碼器反解出來(lái)。第二層是模板加人工擴(kuò)展先寫一批指令模板池再由人按場(chǎng)景改寫保證語(yǔ)義多樣。第三層是靠多模態(tài)大模型輔助初標(biāo)用現(xiàn)成的視覺(jué)語(yǔ)言模型對(duì)圖像序列生成初步描述或者對(duì)“拿起杯子”“放到盤子里”這類動(dòng)作做預(yù)標(biāo)注再由人工抽檢修正。抽檢比例建議不低于10%并且要定期計(jì)算標(biāo)注一致性。如果兩個(gè)標(biāo)注員對(duì)同一段數(shù)據(jù)的標(biāo)簽一致率低于90%說(shuō)明標(biāo)注規(guī)范本身有問(wèn)題得回去修訂說(shuō)明書而不是繼續(xù)堆標(biāo)注量。4. 一條可直接復(fù)用的數(shù)采與處理流水線4.1 整體架構(gòu)與硬件接線前面講了很多理論這一節(jié)給一個(gè)我自己在項(xiàng)目里驗(yàn)證過(guò)的可落地配置。假設(shè)場(chǎng)景是六軸機(jī)械臂做桌面操作任務(wù)傳感器是一臺(tái)腕裝RGB-D相機(jī)、關(guān)節(jié)狀態(tài)接口、一臺(tái)IMU、一個(gè)夾爪力傳感器再加一個(gè)MCU作為同步源。接線方案是MCU每20ms產(chǎn)生一個(gè)同步脈沖分成三路——一路接到RGB-D相機(jī)的外部觸發(fā)引腳一路接到機(jī)器人控制器的數(shù)字輸入口一路接到IMU采集板的同步輸入。相機(jī)設(shè)置為硬件觸發(fā)模式只在脈沖上升沿曝光機(jī)器人控制器在每個(gè)控制周期內(nèi)記錄當(dāng)前脈沖計(jì)數(shù)和關(guān)節(jié)狀態(tài)IMU采集板同樣記錄脈沖計(jì)數(shù)和時(shí)間戳。這樣整條鏈路都掛在同一個(gè)節(jié)奏上離線時(shí)用脈沖序號(hào)對(duì)齊即可。軟件架構(gòu)上用Python寫采集主程序分三個(gè)線程分別處理相機(jī)幀、機(jī)器人狀態(tài)、IMU數(shù)據(jù)通過(guò)帶時(shí)間戳的隊(duì)列傳入日志模塊。日志模塊統(tǒng)一寫HDF5文件每個(gè)episode一個(gè)文件文件里按模態(tài)分組存儲(chǔ)。4.2 關(guān)鍵處理步驟與代碼示例采集完成后離線處理的第一步是把原始數(shù)據(jù)轉(zhuǎn)成統(tǒng)一的樣本格式。這里給一個(gè)簡(jiǎn)單的轉(zhuǎn)換腳本片段把機(jī)械臂關(guān)節(jié)狀態(tài)和圖像幀按脈沖序號(hào)對(duì)齊后寫成一個(gè)壓縮包import h5py import numpy as np with h5py.File(episode_001.h5, w) as f: # 假設(shè)joint_ts是關(guān)節(jié)時(shí)間戳joint_state是對(duì)應(yīng)的關(guān)節(jié)角 # sync_idx是每個(gè)關(guān)節(jié)數(shù)據(jù)對(duì)應(yīng)的脈沖序號(hào) f.create_dataset(joint/state, datajoint_state, compressiongzip) f.create_dataset(joint/sync_idx, datasync_idx) # rgb_ts是圖像時(shí)間戳 for i, (ts, img) in enumerate(zip(rgb_ts, rgb_images)): f.create_dataset(frgb/{i:06d}, dataimg, compressiongzip) f.attrs[fps] 50 f.attrs[num_steps] len(sync_idx)實(shí)際項(xiàng)目里建議直接在采集機(jī)上邊采邊轉(zhuǎn)碼避免原始數(shù)據(jù)堆積占用磁盤。轉(zhuǎn)碼時(shí)同步做時(shí)間戳差分檢查如果某一幀間隔突然變?yōu)樵瓉?lái)的兩倍以上就在日志里打上warning標(biāo)記方便后面定位丟幀位置。4.3 數(shù)據(jù)質(zhì)量檢查與可視化驗(yàn)證數(shù)據(jù)質(zhì)量檢查一定要在采集當(dāng)天做拖到第二天再檢查錯(cuò)誤數(shù)據(jù)可能已經(jīng)污染了一批樣本更糟的是你根本記不清當(dāng)時(shí)硬件狀態(tài)。我最常用的是可視化檢查把圖像、點(diǎn)云、機(jī)械臂末端位姿疊加到同一段視頻里播放。具體做法是把三維點(diǎn)云按照當(dāng)前標(biāo)定的外參投影到圖像上觀察輪廓是否貼合物體邊緣把末端執(zhí)行器的坐標(biāo)系畫在圖像上看是否貼在夾爪的真實(shí)位置。人眼對(duì)錯(cuò)位非常敏感錯(cuò)一個(gè)像素都會(huì)覺(jué)得“不對(duì)勁”這是最廉價(jià)也最有效的方法。自動(dòng)化檢查也不能少。我會(huì)生成一份質(zhì)量報(bào)告包含幾項(xiàng)指標(biāo)時(shí)間戳間隔直方圖、丟幀率、深度圖有效像素比、重投影誤差、同步脈沖計(jì)數(shù)連續(xù)性。每項(xiàng)都設(shè)閾值超過(guò)閾值直接標(biāo)紅。這些指標(biāo)同樣作為元數(shù)據(jù)存進(jìn)數(shù)據(jù)集模型訓(xùn)練時(shí)可以用來(lái)做樣本過(guò)濾。4.4 數(shù)據(jù)格式、目錄組織與存儲(chǔ)管理數(shù)據(jù)格式選型上小型實(shí)驗(yàn)用HDF5最順手單文件多模態(tài)存儲(chǔ)、壓縮選項(xiàng)豐富讀取也快大規(guī)模訓(xùn)練集推薦WebDataset天然支持流式讀取和多進(jìn)程加載避免訓(xùn)練時(shí)把所有數(shù)據(jù)都塞內(nèi)存。ROS bag適合采集現(xiàn)場(chǎng)但不適合直接當(dāng)訓(xùn)練格式我一般只在采集環(huán)節(jié)用處理完就轉(zhuǎn)走。目錄結(jié)構(gòu)建議按episode組織并保留一個(gè)全局索引文件方便做訓(xùn)練集劃分和數(shù)據(jù)版本管理dataset/ ├── meta.json # 全局元數(shù)據(jù)傳感器型號(hào)、標(biāo)定參數(shù)、采樣頻率 ├── train.txt # 訓(xùn)練集劃分 ├── val.txt ├── test.txt └── episodes/ ├── episode_001/ │ ├── rgb/ # 彩色圖序列 │ ├── depth/ │ ├── pointcloud/ │ ├── joint_states.npy │ ├── imu.npy │ ├── language.json │ ├── sync_index.npy │ └── meta.json └── episode_002/ ...還要注意數(shù)據(jù)集的場(chǎng)景多樣性。同一個(gè)場(chǎng)景采一百個(gè)episode模型學(xué)到的其實(shí)只是一百種噪聲模式。我習(xí)慣按“桌面清理”“抓取放置”“工具使用”等任務(wù)類型分開(kāi)采樣并記錄場(chǎng)景的干擾物數(shù)量、光照條件、物體種類數(shù)量供后續(xù)分析模型對(duì)場(chǎng)景泛化的能力。5. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄這里把我在做多模態(tài)數(shù)采和處理時(shí)遇到的高頻問(wèn)題整理成一張速查表方便直接對(duì)號(hào)入座。現(xiàn)象常見(jiàn)原因排查方法解決辦法時(shí)間戳亂跳、間隔忽大忽小系統(tǒng)時(shí)鐘被NTP調(diào)整、處理線程阻塞畫時(shí)間戳差分圖看異常點(diǎn)對(duì)應(yīng)時(shí)刻的系統(tǒng)日志采集時(shí)禁用NTP或配置成僅步進(jìn)調(diào)整同步源優(yōu)先用硬件脈沖圖像與點(diǎn)云輪廓錯(cuò)位外參漂移、標(biāo)定板松動(dòng)、鏡頭受撞重投影驗(yàn)證檢查標(biāo)定板固定螺絲重新標(biāo)定采集前加外參自動(dòng)復(fù)檢深度圖大面積黑洞反光/透明表面、物體超出量程查看深度值和對(duì)應(yīng)RGB檢查曝光參數(shù)加輔助光源、換傳感器角度、多視角補(bǔ)采同一動(dòng)作指令標(biāo)注不一致標(biāo)注規(guī)范不明確、標(biāo)注員理解差異雙人標(biāo)注同一批數(shù)據(jù)算一致率編寫標(biāo)注手冊(cè)規(guī)范措辭模板定期校準(zhǔn)IMU數(shù)據(jù)毛刺多電氣干擾、安裝共振看頻譜分析對(duì)比電機(jī)加減速時(shí)段加低通濾波但注意濾波會(huì)引入相位延遲采集到一半磁盤滿邊采邊存原始數(shù)據(jù)、壓縮不及時(shí)監(jiān)控磁盤寫入速率邊采邊轉(zhuǎn)碼限制原始緩沖大小加磁盤告警某一路模態(tài)頻繁掉線線纜松動(dòng)、驅(qū)動(dòng)崩潰、帶寬不足查看驅(qū)動(dòng)日志、USB帶寬占用獨(dú)立供電、換線纜、降低采集分辨率或幀率標(biāo)定好后精度仍然差目標(biāo)物體反光弱紋理、標(biāo)定數(shù)據(jù)不足增加標(biāo)定位姿數(shù)量覆蓋工作空間邊緣標(biāo)定采集時(shí)覆蓋多個(gè)位置和姿態(tài)增加驗(yàn)證點(diǎn)除了表格里的內(nèi)容還有兩個(gè)我反復(fù)栽過(guò)的跟頭。第一個(gè)是“采完當(dāng)天必須檢查”這個(gè)真不是懶不懶的問(wèn)題隔天檢查時(shí)機(jī)械臂位姿、物體位置、光照全都變了你根本沒(méi)法判斷那段錯(cuò)位到底是采集時(shí)的噪聲還是處理時(shí)的bug。第二個(gè)是“同步源要獨(dú)立”任何依賴主機(jī)時(shí)鐘的方案在主機(jī)高負(fù)載、CPU調(diào)度抖動(dòng)時(shí)都會(huì)露餡。硬件同步脈沖雖然多幾根線但換來(lái)的是穩(wěn)定這種投入非常值得。6. 工具鏈與開(kāi)源資源參考6.1 常用工具與庫(kù)ROS/ROS2采集現(xiàn)場(chǎng)的事實(shí)標(biāo)準(zhǔn)bag格式方便記錄帶時(shí)間戳的多模態(tài)數(shù)據(jù)但訓(xùn)練前通常要轉(zhuǎn)成HDF5或WebDataset。Kalibr相機(jī)內(nèi)參、相機(jī)-IMU外參標(biāo)定的利器支持目標(biāo)板標(biāo)定。easy_handeye、OpenCV手眼標(biāo)定和通用相機(jī)標(biāo)定前者在ROS里用起來(lái)非常順。PCL、Open3D點(diǎn)云處理濾波、配準(zhǔn)、可視化一站式。pyrealsense2、Orbbec SDKRGB-D相機(jī)的驅(qū)動(dòng)和采集接口記得關(guān)注曝光時(shí)間和時(shí)間戳字段。h5py、WebDataset、FiftyOne數(shù)據(jù)存儲(chǔ)、流式讀取和可視化檢查FiftyOne做多模態(tài)數(shù)據(jù)抽檢非常好用。6.2 公開(kāi)數(shù)據(jù)集參考如果暫時(shí)沒(méi)有真機(jī)條件用公開(kāi)的具身智能操作數(shù)據(jù)集做對(duì)齊方法驗(yàn)證是很高效的做法。比如大規(guī)模機(jī)器人操作數(shù)據(jù)集BridgeData、Google的RT-1系列數(shù)據(jù)、ALOHA/ACT的雙手操作數(shù)據(jù)都是多模態(tài)對(duì)齊研究里經(jīng)常出現(xiàn)的基準(zhǔn)。拿這些數(shù)據(jù)先跑通對(duì)齊流程、驗(yàn)證模型對(duì)時(shí)序?qū)R誤差的敏感度再回到自己的真機(jī)場(chǎng)景能少走很多彎路。用公開(kāi)數(shù)據(jù)集時(shí)注意兩點(diǎn)一是仔細(xì)讀數(shù)據(jù)集文檔里的時(shí)間戳定義和坐標(biāo)系定義不同數(shù)據(jù)集對(duì)齊基準(zhǔn)不一樣二是關(guān)注許可證和商用限制很多數(shù)據(jù)集只允許科研用途。最后說(shuō)點(diǎn)個(gè)人體會(huì)我自己做了幾輪數(shù)采系統(tǒng)迭代之后最大的體會(huì)是多模態(tài)對(duì)齊這件事七分靠流程三分靠工具。工具能幫你算出標(biāo)定矩陣、插值對(duì)齊但決定數(shù)據(jù)天花板的永遠(yuǎn)是流程——時(shí)間基準(zhǔn)統(tǒng)不統(tǒng)一、標(biāo)定有沒(méi)有定期復(fù)檢、質(zhì)量檢查有沒(méi)有當(dāng)天做、標(biāo)注規(guī)范是否清晰。每當(dāng)我看到模型效果上不去回頭查起來(lái)八成都能在數(shù)據(jù)處理階段找到根因。最后再分享一個(gè)小技巧從第一天起就做一個(gè)小型可視化檢查工具把時(shí)間對(duì)齊、空間對(duì)齊、語(yǔ)義標(biāo)注都疊加顯示出來(lái)后面每一次排查問(wèn)題都能省下幾倍的時(shí)間。這條經(jīng)驗(yàn)比任何現(xiàn)成的對(duì)齊算法都值錢。