手眼標(biāo)定眼在手中眼在手外——這四個(gè)字看起來(lái)簡(jiǎn)單但凡是做過(guò)機(jī)器人視覺(jué)引導(dǎo)項(xiàng)目的人都知道這是整個(gè)系統(tǒng)里最容易讓人失眠的環(huán)節(jié)。你搭好了相機(jī)、裝好了機(jī)械臂、寫(xiě)好了識(shí)別算法結(jié)果機(jī)械臂怎么都抓不準(zhǔn)誤差從幾毫米到幾厘米飄忽不定最后排查下來(lái)十有八九是手眼標(biāo)定這一步出了問(wèn)題。這篇文章我就把這塊的內(nèi)容完整拆開(kāi)從原理到實(shí)操?gòu)难墼谑种械窖墼谑滞獍炎鴺?biāo)變換的來(lái)龍去脈、標(biāo)定步驟、常見(jiàn)坑點(diǎn)一次講透適合剛接觸機(jī)器人視覺(jué)的工程師也適合被標(biāo)定精度折磨過(guò)一陣子的老手對(duì)照排查。1. 手眼標(biāo)定到底在解決什么問(wèn)題1.1 機(jī)器人的眼睛和手各說(shuō)各話先說(shuō)一個(gè)最直觀的感受機(jī)械臂能拿到一個(gè)物體靠的是末端執(zhí)行器精確移動(dòng)到某個(gè)坐標(biāo)位置。而相機(jī)能看到物體輸出的是像素坐標(biāo)或者相機(jī)坐標(biāo)系下的三維坐標(biāo)。問(wèn)題是相機(jī)坐標(biāo)系和機(jī)器人坐標(biāo)系之間沒(méi)有任何天然的對(duì)應(yīng)關(guān)系——你在圖像里看到一個(gè)螺絲釘在畫(huà)面正中央但機(jī)械臂到底要往哪個(gè)方向伸、伸多遠(yuǎn)完全取決于相機(jī)和機(jī)器人之間的空間關(guān)系。這個(gè)關(guān)系不是靠眼睛看出來(lái)的也不是靠尺子量出來(lái)的。相機(jī)裝在機(jī)械臂旁邊或者末端上角度、距離、高度稍有偏差機(jī)械臂的目標(biāo)位置就會(huì)跟著偏。手眼標(biāo)定要做的事情就是通過(guò)一系列數(shù)學(xué)計(jì)算把相機(jī)看到的物體坐標(biāo)換算成機(jī)械臂能執(zhí)行的機(jī)器人坐標(biāo)。這個(gè)換算關(guān)系一旦出錯(cuò)后面所有的視覺(jué)識(shí)別精度都白搭。有人可能會(huì)說(shuō)那我用尺子量一下相機(jī)相對(duì)機(jī)械臂的位置角度手動(dòng)換算不行嗎理論上是可行的但實(shí)際幾乎沒(méi)人這么干。因?yàn)橄鄼C(jī)的鏡頭光軸、成像中心、安裝傾角都不是肉眼能精確測(cè)量的幾度的角度誤差在遠(yuǎn)距離上就是幾十毫米的位置偏差。標(biāo)定算法通過(guò)多組測(cè)量數(shù)據(jù)反解出變換關(guān)系比手工測(cè)量可靠得多這也是為什么手眼標(biāo)定成了視覺(jué)引導(dǎo)項(xiàng)目里不可跳過(guò)的一步。1.2 眼在手中和眼在手外的坐標(biāo)系關(guān)系眼在手中eye-in-hand指的是相機(jī)固定在機(jī)械臂末端法蘭上跟著機(jī)械臂一起運(yùn)動(dòng)。這種情況下相機(jī)坐標(biāo)系和機(jī)械臂末端坐標(biāo)系是相對(duì)固定的但機(jī)械臂在運(yùn)動(dòng)所以相機(jī)在世界中的位置也在不斷變化。標(biāo)定要求解的是相機(jī)坐標(biāo)系到機(jī)械臂末端坐標(biāo)系的齊次變換矩陣記為X T_cam_to_tool。眼在手外eye-to-hand指的是相機(jī)固定在機(jī)械臂之外的某個(gè)位置比如支架上、天花板上、工作臺(tái)上方相機(jī)不動(dòng)機(jī)械臂在它的視野里運(yùn)動(dòng)。這種情況下相機(jī)坐標(biāo)系和機(jī)器人基座坐標(biāo)系才是相對(duì)固定的標(biāo)定要求解的是相機(jī)坐標(biāo)系到機(jī)器人基坐標(biāo)系的變換矩陣記為X T_cam_to_base。這兩種安裝方式的求解目標(biāo)不同數(shù)據(jù)采集方式也不同但底層數(shù)學(xué)都是同一個(gè)問(wèn)題AX XB。這個(gè)方程看著抽象實(shí)際上描述的是一個(gè)閉合的坐標(biāo)變換鏈——機(jī)械臂帶著末端動(dòng)一圈相機(jī)每次都記錄下標(biāo)定板在相機(jī)里的位姿同時(shí)記錄下機(jī)械臂末端的位姿聯(lián)立方程把未知的固定變換解出來(lái)。理解了這條坐標(biāo)鏈后面的所有操作步驟就都順理成章了。1.3 AXXB的通俗理解AX XB 這個(gè)方程說(shuō)白了就是我從兩個(gè)不同路徑走到同一個(gè)房間路徑不一樣但終點(diǎn)一樣于是兩個(gè)路徑的變換關(guān)系可以聯(lián)立。具體到手眼標(biāo)定假設(shè)標(biāo)定板固定不動(dòng)機(jī)械臂帶著或不帶相機(jī)運(yùn)動(dòng)到多個(gè)位置A 是機(jī)械臂末端在兩個(gè)位姿之間的運(yùn)動(dòng)變換由機(jī)器人示教器或控制接口直接讀出。B 是相機(jī)在兩次拍照之間觀察到的標(biāo)定板位姿變化由標(biāo)定板識(shí)別得到。X 是我們想求的固定變換眼在手中時(shí)是相機(jī)到末端的變換眼在手外時(shí)是相機(jī)到基座的變換。多取幾組位姿就有了多個(gè) AX XB 方程數(shù)值求解得到最優(yōu)的 X。這些年 OpenCV 的calibrateHandEye函數(shù)已經(jīng)把常用的經(jīng)典算法Tsai-Lenz、Park-Martin 等封裝好了輸入肉眼看不懂輸出就是一個(gè) 4×4 齊次變換矩陣。理解到這一層就夠了真正的工作量在數(shù)據(jù)采集和質(zhì)量把控上而不是在數(shù)學(xué)推導(dǎo)上。2. 兩種安裝方式怎么選別等裝好了再后悔2.1 眼在手中的優(yōu)勢(shì)與適用場(chǎng)景眼在手中最直觀的好處是相機(jī)離作業(yè)目標(biāo)近。視野小、分辨率高螺絲孔、小零件、表面缺陷這些細(xì)節(jié)能看得很清楚精度潛力比固定相機(jī)大得多。其次機(jī)械臂動(dòng)到哪相機(jī)就跟到哪總能找到合適的角度去看目標(biāo)不用擔(dān)心被其他物體擋住視線。比如在狹窄的機(jī)箱內(nèi)部插線、小零件抓取、焊縫跟蹤這些需要貼近看、照著干的場(chǎng)景眼在手中基本是默認(rèn)選擇。但它也有明顯的代價(jià)。相機(jī)跟著機(jī)械臂動(dòng)運(yùn)動(dòng)慣性會(huì)影響整機(jī)的動(dòng)態(tài)精度而且每次拍照時(shí)機(jī)械臂必須穩(wěn)定到位不然畫(huà)面模糊直接導(dǎo)致識(shí)別失敗。另外一個(gè)容易被忽視的問(wèn)題是眼在手中標(biāo)定時(shí)標(biāo)定板必須固定在工作空間里機(jī)械臂帶著相機(jī)在不同角度拍照這就對(duì)機(jī)械臂的工作空間有要求活動(dòng)范圍太小會(huì)嚴(yán)重影響標(biāo)定質(zhì)量。我見(jiàn)過(guò)不少項(xiàng)目機(jī)械臂工作空間本身就緊湊還要騰出標(biāo)定位置最后只能把標(biāo)定板往邊緣放標(biāo)定出來(lái)的結(jié)果自然不理想。2.2 眼在手外的優(yōu)勢(shì)與適用場(chǎng)景眼在手外是另一種思路相機(jī)固定在龍門(mén)架、支架或工作臺(tái)上俯視整個(gè)作業(yè)區(qū)域。最大的優(yōu)勢(shì)是視野覆蓋大且穩(wěn)定適合大范圍定位、物料來(lái)料檢測(cè)、多工位共享一個(gè)相機(jī)。機(jī)械臂運(yùn)動(dòng)時(shí)相機(jī)不受任何振動(dòng)影響圖像質(zhì)量穩(wěn)定標(biāo)定一次之后只要相機(jī)不碰長(zhǎng)時(shí)間不用重新標(biāo)。對(duì)很多流水線場(chǎng)景來(lái)說(shuō)眼在手外更省心。缺點(diǎn)也很現(xiàn)實(shí)。相機(jī)離得遠(yuǎn)視野大但分辨率被攤薄識(shí)別小物體時(shí)精度有限。俯視角度也意味著低矮物體、堆疊物體的側(cè)面信息看不到有些姿態(tài)識(shí)別做不了。還有一個(gè)比較大坑相機(jī)和機(jī)械臂如果距離太遠(yuǎn)標(biāo)定板放在機(jī)械臂末端時(shí)相機(jī)的安裝角度和距離會(huì)導(dǎo)致標(biāo)定板成像過(guò)小或過(guò)大直接影響標(biāo)定板角點(diǎn)檢測(cè)的穩(wěn)定性。這也是為什么眼在手外標(biāo)定時(shí)很多工程師傾向于選較大的標(biāo)定板而不能隨手拿個(gè)小的湊合用。2.3 選型決策要點(diǎn)拿不準(zhǔn)選哪種的時(shí)候我從項(xiàng)目經(jīng)驗(yàn)里總結(jié)了幾個(gè)判斷點(diǎn)判斷維度眼在手中眼在手外目標(biāo)物大小小零件、細(xì)節(jié)特征中大物體、整面覆蓋視野需求局部高精度全局覆蓋遮擋情況機(jī)器人靠近觀察、規(guī)避遮擋容易被機(jī)械臂自身遮擋標(biāo)定頻率換末端夾具或相機(jī)松動(dòng)時(shí)需要重標(biāo)相機(jī)固定穩(wěn)定可長(zhǎng)期復(fù)用安裝空間相機(jī)占用末端載荷和空間需要外部支架或龍門(mén)運(yùn)動(dòng)影響圖像受運(yùn)動(dòng)振動(dòng)影響圖像完全不受運(yùn)動(dòng)影響如果項(xiàng)目里既有全局定位需求又要有細(xì)節(jié)檢測(cè)還有些人會(huì)做成雙相機(jī)方案一個(gè)眼在手外負(fù)責(zé)找大范圍目標(biāo)粗定位另一個(gè)眼在手中跟著末端走精定位。這種組合在不少?gòu)?fù)雜工位上是比較實(shí)用的做法但前期調(diào)試量也翻倍初學(xué)者不建議一上來(lái)就雙相機(jī)。我的建議是先根據(jù)主要作業(yè)目標(biāo)確定主方案復(fù)雜度控制在一個(gè)相機(jī)穩(wěn)定跑通之后再考慮加裝。3. 手眼標(biāo)定的完整實(shí)操流程3.1 標(biāo)定板的選型與準(zhǔn)備標(biāo)定板是手眼標(biāo)定的基準(zhǔn)參照物質(zhì)量直接決定標(biāo)定成敗。市面上常見(jiàn)的三類(lèi)棋盤(pán)格、圓點(diǎn)陣、二維碼/ArUco 板。棋盤(pán)格最容易獲得紙質(zhì)打印就能用OpenCV 的findChessboardCorners成熟穩(wěn)定適合快速驗(yàn)證流程但紙質(zhì)板容易彎折、反光精度天花板有限。圓點(diǎn)陣對(duì)畸變和模糊更魯棒圓心提取精度比角點(diǎn)高適合高精度標(biāo)定。ArUco / AprilTag 的優(yōu)勢(shì)在于單張圖就能提供唯一的位姿信息部分算法用它做實(shí)時(shí)標(biāo)定更靈活但對(duì)相機(jī)離焦比較敏感。尺寸選擇有一個(gè)很實(shí)用的經(jīng)驗(yàn)法則標(biāo)定板邊長(zhǎng)至少占相機(jī)視野的 1/3 到 1/2。太小了角點(diǎn)檢測(cè)不穩(wěn)定太大了在近距離下又拍不全。眼在手中因?yàn)橄鄼C(jī)跟得近標(biāo)定板比眼在手外可以小一些眼在手外相機(jī)離得遠(yuǎn)標(biāo)定板盡量選大方形的。我自己的習(xí)慣是打印后貼在剛性背板上比如鋁板、亞克力板用雙面膠貼平后壓重物靜置一晚確保板面平整。這一步看著不起眼但板面不平造成的誤差后面靠算法怎么調(diào)都調(diào)不回來(lái)。3.2 數(shù)據(jù)采集的關(guān)鍵姿勢(shì)與數(shù)量控制標(biāo)定精度很大程度上由數(shù)據(jù)決定而不是由算法決定。數(shù)據(jù)采集的核心要求是姿態(tài)要多樣位置要分散覆蓋整個(gè)工作區(qū)域。具體來(lái)說(shuō)至少采集 15 到 20 組有效圖像每組對(duì)應(yīng)機(jī)械臂的一個(gè)位姿。每組之間要保證機(jī)械臂末端的姿態(tài)要有明顯變化光平移不轉(zhuǎn)或者光轉(zhuǎn)不平移都容易讓 AXXB 方程退化解出來(lái)的 X 精度很差。標(biāo)定板成像在視野內(nèi)盡量往四角和邊緣靠不要總在正中心徘徊。相機(jī)鏡頭的畸變?cè)谶吘墔^(qū)域表現(xiàn)得更明顯標(biāo)定數(shù)據(jù)覆蓋邊緣有助于算法把畸變和手眼關(guān)系分開(kāi)。機(jī)械臂的運(yùn)動(dòng)范圍要覆蓋后續(xù)作業(yè)會(huì)用到的區(qū)域不能只在某個(gè)角落轉(zhuǎn)小圈。還有一個(gè)很多人會(huì)忽略的點(diǎn)每組數(shù)據(jù)記錄時(shí)機(jī)械臂必須到達(dá)目標(biāo)位姿并完全穩(wěn)定之后再拍照。如果機(jī)械臂還在抖動(dòng)或者移動(dòng)中就觸發(fā)拍照標(biāo)定板位姿識(shí)別會(huì)產(chǎn)生隨機(jī)誤差每一組都帶噪聲最終標(biāo)定結(jié)果就是抖的?？刂葡鄼C(jī)觸發(fā)的信號(hào)我一般建議直接接機(jī)械臂的輸出端口到位后延時(shí) 300 到 500 毫秒再拍比在工控機(jī)里靠線程延時(shí)靠譜得多。3.3 標(biāo)定求解OpenCV工具鏈與核心代碼數(shù)據(jù)采集完之后求解階段用 OpenCV 的calibrateHandEye就夠了。下面這段是標(biāo)準(zhǔn)流程基于 Python 和 OpenCV我實(shí)際項(xiàng)目里一直在用直接套用即可。import cv2 import numpy as np import glob # 讀入所有標(biāo)定板圖像 images sorted(glob.glob(calib_images/*.jpg)) pattern_size (9, 6) # 棋盤(pán)格內(nèi)角點(diǎn)數(shù) square_size 30.0 # 格邊長(zhǎng)單位mm # 標(biāo)定板在相機(jī)坐標(biāo)系下的位姿以及末端位姿的容器 rvecs_cam [] tvecs_cam [] rvecs_robot [] tvecs_robot [] # 1. 從圖像中提取標(biāo)定板角點(diǎn)并解算相機(jī)外參 objp np.zeros((pattern_size[0] * pattern_size[1], 3), np.float32) objp[:, :2] np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2) objp * square_size # 相機(jī)內(nèi)參從單獨(dú)的相機(jī)標(biāo)定中獲得或先用近似值 camera_matrix ... # 3x3內(nèi)參矩陣 dist_coeffs ... # 畸變系數(shù) for fname in images: img cv2.imread(fname) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) ret, corners cv2.findChessboardCorners(gray, pattern_size, None) if not ret: continue # 亞像素角點(diǎn)精化 criteria (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 50, 1e-6) corners cv2.cornerSubPix(gray, corners, (11, 11), (-1, -1), criteria) # 解算標(biāo)定板相對(duì)相機(jī)的位姿 ret, rvec, tvec cv2.solvePnP(objp, corners, camera_matrix, dist_coeffs) rvecs_cam.append(rvec) tvecs_cam.append(tvec) # 從機(jī)械臂控制接口讀取當(dāng)前末端位姿轉(zhuǎn)成旋轉(zhuǎn)向量和平移向量 robot_pose get_robot_pose() # 自行實(shí)現(xiàn)返回4x4齊次矩陣或歐拉角 rvec_robot, tvec_robot pose_to_rvec_tvec(robot_pose) rvecs_robot.append(rvec_robot) tvecs_robot.append(tvec_robot) # 2. 手眼標(biāo)定求解 R_cam2tool, t_cam2tool cv2.calibrateHandEye( rvecs_robot, tvecs_robot, # 機(jī)械臂末端運(yùn)動(dòng) rvecs_cam, tvecs_cam, # 相機(jī)觀測(cè)標(biāo)定板運(yùn)動(dòng) methodcv2.CALIB_HAND_EYE_TSAI ) # 3. 組裝齊次變換矩陣 H_cam2tool np.eye(4) H_cam2tool[:3, :3] R_cam2tool H_cam2tool[:3, 3] t_cam2tool.flatten() print(H_cam2tool)眼在手外的求解過(guò)程幾乎一樣區(qū)別只在讀取機(jī)械臂位姿的時(shí)候用的是基坐標(biāo)系下的機(jī)械臂末端位姿而且標(biāo)定板一般固定在機(jī)械臂末端法蘭上數(shù)據(jù)記錄順序和輸入?yún)?shù)要對(duì)應(yīng)好。很多人在這一步栽跟頭就是把兩種安裝方式的輸入搞反了。3.4 標(biāo)定結(jié)果怎么驗(yàn)證才算通過(guò)標(biāo)定完不是看一眼矩陣就收工必須做驗(yàn)證。最常用的方法有兩種重投影驗(yàn)證和實(shí)際點(diǎn)驗(yàn)證。重投影驗(yàn)證的思路是用標(biāo)定得到的手眼矩陣把標(biāo)定板上的已知點(diǎn)反投到圖像坐標(biāo)中和實(shí)際檢測(cè)到的像素坐標(biāo)對(duì)比計(jì)算重投影誤差。這個(gè)誤差在亞像素到 1 到 2 個(gè)像素內(nèi)說(shuō)明標(biāo)定結(jié)果在圖像層面是自洽的。但注意一點(diǎn)重投影誤差只反映數(shù)據(jù)擬合的殘差不代表機(jī)器人抓取的實(shí)際精度因?yàn)樗鼪](méi)法暴露機(jī)械臂自身絕對(duì)定位誤差帶來(lái)的影響。所以更關(guān)鍵的是實(shí)際點(diǎn)驗(yàn)證把標(biāo)定板或者一個(gè)特征明顯的小工件放在相機(jī)視野內(nèi)的多個(gè)位置用視覺(jué)檢測(cè)出它的坐標(biāo)再通過(guò)手眼矩陣換算成機(jī)器人坐標(biāo)讓機(jī)械臂末端移動(dòng)到該坐標(biāo)看實(shí)際對(duì)準(zhǔn)誤差。一般來(lái)說(shuō)平移誤差控制在 1 到 3 毫米內(nèi)是及格線配合高精度末端工具可以做到 0.5 毫米內(nèi)旋轉(zhuǎn)誤差最好在 0.1 度到 0.2 度以?xún)?nèi)。如果驗(yàn)證結(jié)果超出這個(gè)范圍先不要急著調(diào)算法回頭檢查數(shù)據(jù)采集的質(zhì)量多數(shù)問(wèn)題出在那里。4. 實(shí)操中踩過(guò)的坑與排查技巧4.1 標(biāo)定板檢測(cè)失敗的常見(jiàn)原因標(biāo)定板檢測(cè)失敗是最容易讓人沮喪的問(wèn)題因?yàn)閳?bào)錯(cuò)往往不明確。我遇到的情況大致有幾類(lèi)第一類(lèi)是光照問(wèn)題。標(biāo)定板表面反光尤其是棋盤(pán)格的白格在強(qiáng)光下過(guò)曝角點(diǎn)附近的高光會(huì)把角點(diǎn)吞掉。解決辦法是調(diào)整光源角度不要讓光源對(duì)著標(biāo)定板直射漫射光或者角度低一點(diǎn)的側(cè)光效果會(huì)好很多。這類(lèi)問(wèn)題用眼睛看圖像無(wú)法發(fā)現(xiàn)因?yàn)槿搜勰苣X補(bǔ)出邊界但算法不行一定要把圖像放大逐塊看。第二類(lèi)是標(biāo)定板尺寸和視野的比例不合適。棋盤(pán)格在畫(huà)面里占的像素太少角點(diǎn)之間的間距只有幾個(gè)像素亞像素精化也沒(méi)有意義。遇到這種情況要么換更大號(hào)的標(biāo)定板要么讓相機(jī)離標(biāo)定板更近保證角點(diǎn)間距至少在 10 個(gè)像素以上。第三類(lèi)是運(yùn)動(dòng)模糊。機(jī)械臂到位后沒(méi)有穩(wěn)定就觸發(fā)拍照?qǐng)D像邊緣有輕微的拖影角點(diǎn)檢測(cè)就會(huì)識(shí)別出斜向誤差。排查方法是拍照后立刻查看圖像是否清晰標(biāo)定板邊緣是否銳利不行就在相機(jī)觸發(fā)邏輯上加延時(shí)。4.2 標(biāo)定結(jié)果發(fā)散或誤差大的排查思路標(biāo)定出來(lái)的矩陣如果明顯不合理——比如平移分量有幾十毫米的突變、旋轉(zhuǎn)矩陣不正交、兩次標(biāo)定結(jié)果差得離譜——先別懷疑算法公式寫(xiě)錯(cuò)了大概率是數(shù)據(jù)本身的病態(tài)問(wèn)題。最典型的是姿態(tài)多樣性不夠。如果你采集的 20 組數(shù)據(jù)里機(jī)械臂末端姿態(tài)幾乎沒(méi)變只是左右前后平移那 AXXB 方程就處于退化狀態(tài)解出來(lái)的旋轉(zhuǎn)分量嚴(yán)重不可靠。這時(shí)候就算重采樣也要刻意讓機(jī)械臂做俯仰、偏航、滾轉(zhuǎn)的大角度運(yùn)動(dòng)姿態(tài)角度差異最好在 30 度以上才能把旋轉(zhuǎn)自由度約束住。另外一個(gè)常見(jiàn)的坑是坐標(biāo)系混淆。機(jī)械臂接口返回的位姿有的是末端坐標(biāo)系相對(duì)基坐標(biāo)系的有的是工具坐標(biāo)系相對(duì)基坐標(biāo)系的如果你的工具坐標(biāo)系有偏移比如裝了吸盤(pán)、氣爪直接拿來(lái)標(biāo)定就會(huì)引入一個(gè)固定偏差。排查方法很簡(jiǎn)單手動(dòng)把機(jī)械臂末端轉(zhuǎn)個(gè) 90 度看讀取的坐標(biāo)變化是否符合預(yù)期也可以在示教器上單獨(dú)查看工具坐標(biāo)系的數(shù)值是否歸零。還有一個(gè)容易忽略的是機(jī)械臂的絕對(duì)定位精度。某些型號(hào)的機(jī)械臂重復(fù)定位精度很高比如 ±0.02 毫米但絕對(duì)定位精度可能只有 ±2 到 ±3 毫米這種差異會(huì)被標(biāo)定算法當(dāng)成噪聲吸收掉導(dǎo)致視覺(jué)引導(dǎo)的最終精度上限受制于機(jī)械臂自身。這種情況不是標(biāo)定能彌補(bǔ)的要做的是在驗(yàn)證環(huán)節(jié)就把機(jī)械臂的絕對(duì)定位能力測(cè)一遍心里有數(shù)。4.3 手眼矩陣驗(yàn)證的獨(dú)門(mén)方法標(biāo)定矩陣的驗(yàn)證環(huán)節(jié)我有一個(gè)自己一直在用的“三點(diǎn)法”實(shí)施起來(lái)很快但很能說(shuō)明問(wèn)題在相機(jī)視野內(nèi)的左、中、右三個(gè)區(qū)域各放一個(gè)特征點(diǎn)用視覺(jué)檢測(cè)出坐標(biāo)換算成機(jī)器人坐標(biāo)后控制機(jī)械臂去指。如果三個(gè)點(diǎn)的誤差方向一致且大小相近可能是手眼矩陣?yán)锬硞€(gè)平移分量有固定偏差如果誤差在不同區(qū)域差別很大通常是旋轉(zhuǎn)分量不對(duì)因?yàn)樾D(zhuǎn)誤差在視野邊緣會(huì)被放大如果誤差隨機(jī)跳動(dòng)優(yōu)先懷疑機(jī)械臂定位穩(wěn)定性或視覺(jué)識(shí)別本身的波動(dòng)。這個(gè)方法的優(yōu)點(diǎn)是把誤差來(lái)源做了粗分離省得每次出問(wèn)題都全鏈路排查。我做了這么多項(xiàng)目之后有個(gè)體會(huì)手眼標(biāo)定是一次性的活兒但驗(yàn)證是每次換工裝、換夾具、調(diào)相機(jī)之后都要做的安全網(wǎng)。很多現(xiàn)場(chǎng)故障看起來(lái)是識(shí)別算法的問(wèn)題追根溯源往往是手眼矩陣已經(jīng)失效了比如相機(jī)被碰歪了幾毫米提前做一個(gè)三點(diǎn)法驗(yàn)證能省幾個(gè)小時(shí)的無(wú)頭緒排查。4.4 提高標(biāo)定精度的幾個(gè)獨(dú)家技巧第一采集數(shù)據(jù)時(shí)給機(jī)械臂“多轉(zhuǎn)少移”。每次到位后讓末端姿態(tài)多做一些變化平移動(dòng)量大但姿態(tài)變化小的數(shù)據(jù)對(duì)求解的貢獻(xiàn)遠(yuǎn)不如姿態(tài)變化大的數(shù)據(jù)。我一般會(huì)刻意規(guī)劃幾組“大角度低頭看標(biāo)定板”的姿態(tài)比如 30 度、45 度、60 度俯仰角各幾組效果好很多。第二標(biāo)定板不要放在工作空間正中心附近。很多人習(xí)慣把標(biāo)定板放在機(jī)器人正前方然后讓機(jī)械臂帶著相機(jī)原地轉(zhuǎn)圈拍。這樣采集的數(shù)據(jù)覆蓋范圍太集中標(biāo)定出來(lái)的手眼矩陣在中心附近擬合得很好但到了工作區(qū)域邊緣就明顯偏。正確做法是讓標(biāo)定板覆蓋整個(gè)工作平面的多個(gè)位置移動(dòng)標(biāo)定板而不是只移動(dòng)機(jī)械臂。第三多標(biāo)定幾次取平均。同一個(gè)數(shù)據(jù)集因?yàn)槌踔挡煌惴赡苁諗康铰杂胁町惖慕膺@不是算法不穩(wěn)定而是數(shù)值求解的正常現(xiàn)象。我通常會(huì)連續(xù)標(biāo)定 5 次把得到的五個(gè)矩陣兩兩比較看平移分量波動(dòng)多少。波動(dòng)在 1 毫米以?xún)?nèi)算穩(wěn)定如果波動(dòng)過(guò)大說(shuō)明數(shù)據(jù)質(zhì)量還不夠加了再多數(shù)據(jù)也白搭。5. 最后分享一點(diǎn)個(gè)人體會(huì)做了這些年視覺(jué)引導(dǎo)項(xiàng)目我個(gè)人的體會(huì)是手眼標(biāo)定這個(gè)東西技術(shù)含量并不在數(shù)學(xué)和代碼上而在數(shù)據(jù)采集和現(xiàn)場(chǎng)判斷上。OpenCV 給了一行函數(shù)真正決定成敗的是你有沒(méi)有耐心把 20 組高質(zhì)量數(shù)據(jù)采出來(lái)有沒(méi)有把標(biāo)定板貼平、把光源調(diào)好、把機(jī)械臂的姿態(tài)覆蓋到位。很多時(shí)候項(xiàng)目卡住不是卡在算法上而是卡在“差不多就行”的心態(tài)上。另外一個(gè)小建議標(biāo)定完的矩陣一定要做好歸檔和版本管理。換相機(jī)、換鏡頭、換末端工具、甚至只是相機(jī)支架被人碰了一下手眼矩陣可能就失效了。我在現(xiàn)場(chǎng)的習(xí)慣是每次標(biāo)定完把矩陣、采集的圖像編號(hào)、機(jī)械臂型號(hào)、工具坐標(biāo)系的配置一起存成一個(gè)版本文件夾現(xiàn)場(chǎng)出問(wèn)題時(shí)可以快速回溯是哪一次標(biāo)定出了問(wèn)題。這個(gè)習(xí)慣看起來(lái)不起眼但真正遇到半夜現(xiàn)場(chǎng)調(diào)試、設(shè)備被人動(dòng)過(guò)又沒(méi)人承認(rèn)的場(chǎng)合它比什么都管用。