簡(jiǎn)介相機(jī)標(biāo)定是計(jì)算機(jī)視覺(jué)中獲取相機(jī)內(nèi)參和畸變參數(shù)的基礎(chǔ)技術(shù)其核心原理是通過(guò)已知尺寸的標(biāo)定板建立圖像像素坐標(biāo)與三維世界坐標(biāo)的映射關(guān)系。準(zhǔn)確的內(nèi)外參是后續(xù)三維重建、立體匹配等高級(jí)應(yīng)用的基石直接影響深度感知和三維測(cè)量的精度。在機(jī)器人導(dǎo)航、自動(dòng)駕駛、工業(yè)檢測(cè)等場(chǎng)景中雙目相機(jī)通過(guò)三角測(cè)量原理計(jì)算深度而標(biāo)定則是確保測(cè)量準(zhǔn)確性的關(guān)鍵前置步驟。本文聚焦于雙目相機(jī)標(biāo)定結(jié)合OpenCV-Python詳細(xì)解析了包括角點(diǎn)檢測(cè)、單目標(biāo)定、雙目標(biāo)定、立體校正在內(nèi)的完整流程并針對(duì)標(biāo)定板制作、圖像采集、參數(shù)優(yōu)化等工程實(shí)踐中的常見(jiàn)問(wèn)題提供了具體的解決方案和避坑指南旨在幫助讀者獲得高精度的標(biāo)定結(jié)果為后續(xù)的立體視覺(jué)應(yīng)用奠定堅(jiān)實(shí)基礎(chǔ)。1. 項(xiàng)目緣起為什么雙目相機(jī)必須標(biāo)定如果你玩過(guò)3D視覺(jué)或者機(jī)器人肯定對(duì)雙目相機(jī)不陌生。它就像我們?nèi)祟?lèi)的兩只眼睛通過(guò)左右兩個(gè)攝像頭從不同角度觀(guān)察同一個(gè)物體然后利用三角測(cè)量的原理計(jì)算出物體的深度信息從而重建出三維世界。聽(tīng)起來(lái)很酷對(duì)吧但這里有個(gè)大前提你得知道這兩只“眼睛”的精確位置和它們各自的“視力”參數(shù)。如果兩眼間距、焦距、甚至鏡頭畸變都搞不清楚那計(jì)算出來(lái)的深度信息就會(huì)錯(cuò)得離譜就像一個(gè)人兩眼度數(shù)相差巨大還不戴眼鏡看東西全是重影和扭曲。這就是雙目相機(jī)標(biāo)定的核心價(jià)值。它不是一個(gè)可選項(xiàng)而是所有后續(xù)三維重建、SLAM同步定位與地圖構(gòu)建、立體匹配等高級(jí)應(yīng)用的地基。標(biāo)定的目標(biāo)就是精確求解出兩個(gè)相機(jī)的內(nèi)參和它們之間的外參。內(nèi)參決定了相機(jī)自身的成像特性比如焦距、主點(diǎn)坐標(biāo)、畸變系數(shù)外參則描述了兩個(gè)相機(jī)之間的空間關(guān)系即旋轉(zhuǎn)矩陣和平移向量。只有拿到了這些準(zhǔn)確的參數(shù)我們才能把左右相機(jī)拍到的二維圖像像素正確地映射到真實(shí)的三維空間坐標(biāo)上。網(wǎng)上有很多關(guān)于單目相機(jī)標(biāo)定的教程但涉及到雙目很多人就卡殼了。要么是標(biāo)定流程繁瑣要么是OpenCV函數(shù)參數(shù)理解不透標(biāo)定出來(lái)的結(jié)果誤差巨大根本沒(méi)法用。我自己在項(xiàng)目初期也踩了不少坑比如標(biāo)定板擺放姿勢(shì)不對(duì)導(dǎo)致解算失敗或者忽略了畸變校正的重要性導(dǎo)致立體匹配的結(jié)果慘不忍睹。所以今天我就結(jié)合OpenCV-Python把雙目相機(jī)標(biāo)定的完整流程、核心原理、實(shí)操細(xì)節(jié)以及那些容易掉進(jìn)去的坑從頭到尾捋一遍目標(biāo)是讓你看完就能自己動(dòng)手跑出一個(gè)靠譜的標(biāo)定結(jié)果。2. 標(biāo)定前的核心準(zhǔn)備硬件、軟件與環(huán)境在寫(xiě)第一行代碼之前準(zhǔn)備工作做得好不好直接決定了標(biāo)定過(guò)程的順利程度和最終結(jié)果的精度。這部分看似瑣碎但每一步都至關(guān)重要。2.1 硬件選擇與標(biāo)定板制作首先你需要一對(duì)雙目相機(jī)?？梢允浅鰪S(chǎng)就固定好基線(xiàn)的工業(yè)級(jí)雙目模組也可以是自己用兩個(gè)USB攝像頭組裝的。如果是自己組裝務(wù)必確保兩個(gè)相機(jī)在標(biāo)定和后續(xù)使用中其相對(duì)位置是剛性固定、不會(huì)發(fā)生微小移動(dòng)的。任何微小的位移都會(huì)讓標(biāo)定參數(shù)失效。其次是標(biāo)定板。OpenCV官方推薦使用棋盤(pán)格Chessboard圖案因?yàn)樗屈c(diǎn)檢測(cè)的算法成熟穩(wěn)定。我強(qiáng)烈建議你自己打印一張而不是在電腦屏幕上顯示。屏幕顯示會(huì)因?yàn)椴Ａд凵?、像素點(diǎn)間距等問(wèn)題引入誤差。棋盤(pán)格尺寸通常使用9x6內(nèi)角點(diǎn)數(shù)量即棋盤(pán)內(nèi)部黑白格子相交的點(diǎn)或者7x10等。9x6是一個(gè)比較通用的選擇。注意OpenCV統(tǒng)計(jì)的是內(nèi)角點(diǎn)比如9x6意味著每行有9個(gè)內(nèi)點(diǎn)每列有6個(gè)內(nèi)點(diǎn)。方格尺寸這個(gè)參數(shù)極其重要它指的是每個(gè)黑白方格的實(shí)際物理邊長(zhǎng)單位是毫米mm。你需要用一把精度較高的尺子實(shí)際測(cè)量并記錄下來(lái)比如25.0 mm。這個(gè)值將作為世界坐標(biāo)系的尺度后續(xù)所有三維坐標(biāo)的計(jì)算都基于此。打印時(shí)務(wù)必選擇高精度打印機(jī)并確保打印出的方格尺寸與設(shè)計(jì)值一致。材質(zhì)與平整度將棋盤(pán)格打印在硬質(zhì)、平整的卡紙或亞克力板上。皺巴巴的紙張會(huì)嚴(yán)重影響角點(diǎn)提取的精度。2.2 軟件環(huán)境搭建我們使用Python和OpenCV。假設(shè)你已經(jīng)有了Python環(huán)境3.6以上版本均可安裝OpenCV可以使用pip非常方便pip install opencv-python opencv-contrib-python這里安裝opencv-contrib-python是因?yàn)橐恍└呒?jí)功能比如某些標(biāo)定算法在contrib包中。通?；A(chǔ)標(biāo)定功能在opencv-python里也足夠了但為了兼容性建議一起安裝。安裝完成后可以在Python中導(dǎo)入驗(yàn)證import cv2 print(cv2.__version__) # 應(yīng)該能正常打印出版本號(hào)如 4.8.02.3 圖像采集決定標(biāo)定成敗的關(guān)鍵一步采集用于標(biāo)定的圖像集是整個(gè)流程中最需要耐心和技巧的環(huán)節(jié)。你的目標(biāo)是讓標(biāo)定算法能從不同角度“看清”標(biāo)定板從而充分約束相機(jī)參數(shù)。數(shù)量要求至少需要10-15組有效的左右視圖對(duì)。所謂有效是指左右相機(jī)同時(shí)、清晰地拍到了完整的棋盤(pán)格。我建議采集20-30組給算法更多的數(shù)據(jù)去優(yōu)化結(jié)果會(huì)更魯棒。姿態(tài)多樣性這是核心要點(diǎn)。你不能只把標(biāo)定板平放在相機(jī)正前方拍。需要讓標(biāo)定板在視野中呈現(xiàn)各種姿態(tài)平移在視野中左右、上下移動(dòng)。旋轉(zhuǎn)繞X、Y、Z軸旋轉(zhuǎn)傾斜擺放。遠(yuǎn)近既有靠近相機(jī)占滿(mǎn)視野的也有遠(yuǎn)離相機(jī)只占一部分視野的。位置放在視野的中心、四個(gè)角落。采集技巧保持環(huán)境光線(xiàn)均勻明亮避免反光和陰影覆蓋角點(diǎn)。移動(dòng)標(biāo)定板時(shí)動(dòng)作要慢確保每一組左右圖像是“同時(shí)”的對(duì)于非同步觸發(fā)的USB相機(jī)可以喊口令同時(shí)按快門(mén)或用軟件同步采集。確保棋盤(pán)格在兩張圖像中都完全可見(jiàn)且沒(méi)有嚴(yán)重模糊。文件管理建議建立清晰的文件夾結(jié)構(gòu)例如calib_imgs/ ├── left/ # 存放左相機(jī)所有圖像 left01.jpg, left02.jpg... └── right/ # 存放右相機(jī)所有圖像 right01.jpg, right02.jpg...左右圖像必須嚴(yán)格按順序一一對(duì)應(yīng)。3. 標(biāo)定流程深度拆解從圖像到參數(shù)準(zhǔn)備好圖像后我們就可以開(kāi)始編寫(xiě)標(biāo)定程序了。整個(gè)過(guò)程可以分為幾個(gè)清晰的步驟角點(diǎn)檢測(cè)、單目標(biāo)定、雙目標(biāo)定。下面我結(jié)合代碼和原理詳細(xì)說(shuō)明。3.1 第一步角點(diǎn)檢測(cè)與亞像素優(yōu)化角點(diǎn)檢測(cè)的目的是找到每張圖片中棋盤(pán)格每個(gè)內(nèi)角點(diǎn)的像素坐標(biāo)。OpenCV提供了cv2.findChessboardCorners函數(shù)。import cv2 import numpy as np import glob # 定義棋盤(pán)格尺寸 (內(nèi)角點(diǎn)數(shù)量) pattern_size (9, 6) # 例如 9列, 6行 # 定義每個(gè)方格的實(shí)際物理尺寸 (單位毫米) square_size 25.0 # 準(zhǔn)備對(duì)象點(diǎn)對(duì)于一張圖像棋盤(pán)格上所有角點(diǎn)的世界坐標(biāo)。 # 假設(shè)棋盤(pán)格在Z0的平面上X和Y坐標(biāo)由方格尺寸生成。 objp np.zeros((pattern_size[0] * pattern_size[1], 3), np.float32) objp[:, :2] np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2) objp * square_size # 用于存儲(chǔ)所有圖像的對(duì)象點(diǎn)和圖像點(diǎn) objpoints [] # 3D點(diǎn)世界坐標(biāo)系 imgpoints_left [] # 左相機(jī)2D點(diǎn) imgpoints_right [] # 右相機(jī)2D點(diǎn) # 獲取左右圖像路徑列表確保順序一致 images_left sorted(glob.glob(calib_imgs/left/*.jpg)) images_right sorted(glob.glob(calib_imgs/right/*.jpg)) criteria (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) for img_path_left, img_path_right in zip(images_left, images_right): img_l cv2.imread(img_path_left) img_r cv2.imread(img_path_right) gray_l cv2.cvtColor(img_l, cv2.COLOR_BGR2GRAY) gray_r cv2.cvtColor(img_r, cv2.COLOR_BGR2GRAY) # 在左右圖中查找角點(diǎn) ret_l, corners_l cv2.findChessboardCorners(gray_l, pattern_size, None) ret_r, corners_r cv2.findChessboardCorners(gray_r, pattern_size, None) # 如果左右圖都成功找到角點(diǎn) if ret_l and ret_r: objpoints.append(objp) # 同一組世界坐標(biāo)點(diǎn) # 亞像素級(jí)角點(diǎn)精確化 corners_l_refined cv2.cornerSubPix(gray_l, corners_l, (11,11), (-1,-1), criteria) corners_r_refined cv2.cornerSubPix(gray_r, corners_r, (11,11), (-1,-1), criteria) imgpoints_left.append(corners_l_refined) imgpoints_right.append(corners_r_refined) # 可視化可選 cv2.drawChessboardCorners(img_l, pattern_size, corners_l_refined, ret_l) cv2.drawChessboardCorners(img_r, pattern_size, corners_r_refined, ret_r) cv2.imshow(Left Corners, img_l) cv2.imshow(Right Corners, img_r) cv2.waitKey(500) # 顯示500毫秒 cv2.destroyAllWindows() print(f成功找到角點(diǎn)的圖像對(duì)數(shù)量: {len(objpoints)})關(guān)鍵點(diǎn)解析objp定義了棋盤(pán)格角點(diǎn)在“世界坐標(biāo)系”下的坐標(biāo)。我們?cè)O(shè)定棋盤(pán)格平面為Z0這樣每個(gè)角點(diǎn)的坐標(biāo)就是(X*方形尺寸, Y*方形尺寸, 0)。這是標(biāo)定的基準(zhǔn)尺子。findChessboardCorners返回的角點(diǎn)坐標(biāo)是整數(shù)像素級(jí)別的。cornerSubPix這一步非常重要。它利用周?chē)袼氐奶荻刃畔⒔屈c(diǎn)位置優(yōu)化到亞像素精度如0.1像素能顯著提高標(biāo)定精度。參數(shù)(11,11)定義了搜索窗口大小。必須成對(duì)成功只有左右相機(jī)在同一時(shí)刻都成功檢測(cè)到完整棋盤(pán)格這一組數(shù)據(jù)才有效。這就是為什么采集時(shí)要確保姿態(tài)能讓兩個(gè)相機(jī)都看清。3.2 第二步單目相機(jī)標(biāo)定求解內(nèi)參和畸變?cè)陔p目標(biāo)定前通常先對(duì)左右相機(jī)分別進(jìn)行單目標(biāo)定。這能為我們提供初始的內(nèi)參和畸變系數(shù)也可以用來(lái)評(píng)估單個(gè)相機(jī)的成像質(zhì)量。使用cv2.calibrateCamera函數(shù)。# 左相機(jī)單目標(biāo)定 print(正在進(jìn)行左相機(jī)單目標(biāo)定...) ret_l, mtx_l, dist_l, rvecs_l, tvecs_l cv2.calibrateCamera( objpoints, imgpoints_left, gray_l.shape[::-1], None, None ) # 右相機(jī)單目標(biāo)定 print(正在進(jìn)行右相機(jī)單目標(biāo)定...) ret_r, mtx_r, dist_r, rvecs_l, tvecs_l cv2.calibrateCamera( objpoints, imgpoints_right, gray_r.shape[::-1], None, None ) print(左相機(jī)內(nèi)參矩陣 (K_l):\n, mtx_l) print(左相機(jī)畸變系數(shù) (D_l):, dist_l.ravel()) print(右相機(jī)內(nèi)參矩陣 (K_r):\n, mtx_r) print(右相機(jī)畸變系數(shù) (D_r):, dist_r.ravel()) print(左相機(jī)重投影誤差:, ret_l) print(右相機(jī)重投影誤差:, ret_r)參數(shù)解讀ret重投影誤差的均值。這個(gè)值是衡量標(biāo)定精度的核心指標(biāo)。它表示通過(guò)標(biāo)定得到的參數(shù)將3D點(diǎn)投影回2D圖像與檢測(cè)到的真實(shí)2D角點(diǎn)之間的平均像素距離。一般來(lái)說(shuō)這個(gè)誤差小于0.5像素可以認(rèn)為標(biāo)定質(zhì)量很好在0.5-1.0像素之間可以接受大于1像素則需要檢查圖像質(zhì)量和角點(diǎn)檢測(cè)結(jié)果。mtx內(nèi)參矩陣。一個(gè)3x3的矩陣包含了焦距fx, fy和主點(diǎn)坐標(biāo)cx, cy。[[fx, 0, cx], [0, fy, cy], [0, 0, 1]]dist畸變系數(shù)。通常是一個(gè)5x1或更多元素的向量包含(k1, k2, p1, p2, k3, ...)。k系列是徑向畸變系數(shù)糾正“桶形”或“枕形”失真p系列是切向畸變系數(shù)糾正由于鏡頭與傳感器不平行引起的失真。rvecs,tvecs對(duì)于每一張標(biāo)定圖像相機(jī)相對(duì)于世界坐標(biāo)系棋盤(pán)格的旋轉(zhuǎn)向量和平移向量。在雙目標(biāo)定中我們更關(guān)心兩個(gè)相機(jī)之間的相對(duì)關(guān)系。3.3 第三步雙目相機(jī)聯(lián)合標(biāo)定求解外參這是雙目標(biāo)定的核心目的是求出連接左右兩個(gè)相機(jī)的旋轉(zhuǎn)矩陣R和平移向量T。使用cv2.stereoCalibrate函數(shù)。print(正在進(jìn)行雙目聯(lián)合標(biāo)定...) flags cv2.CALIB_FIX_INTRINSIC # 使用我們之前單目標(biāo)定好的內(nèi)參和畸變 # 也可以使用 CALIB_USE_INTRINSIC_GUESS 讓函數(shù)在初始值上微調(diào)但 FIX_INTRINSIC 更穩(wěn)定 retval, _, _, _, _, R, T, E, F cv2.stereoCalibrate( objpoints, imgpoints_left, imgpoints_right, mtx_l, dist_l, mtx_r, dist_r, gray_l.shape[::-1], criteriacriteria, flagsflags ) print(旋轉(zhuǎn)矩陣 R (從右相機(jī)到左相機(jī)):\n, R) print(平移向量 T (從右相機(jī)到左相機(jī)單位與世界坐標(biāo)相同通常是mm):\n, T) print(雙目重投影誤差:, retval)核心輸出解讀R,T這是最重要的結(jié)果。它們描述了如何將右相機(jī)坐標(biāo)系下的一個(gè)點(diǎn)P_r轉(zhuǎn)換到左相機(jī)坐標(biāo)系P_lP_l R * P_r T。T向量的第一個(gè)分量T[0]通常是絕對(duì)值最大的那個(gè)的物理意義就是雙目相機(jī)的基線(xiàn)距離單位是毫米與你定義的square_size單位一致。這個(gè)值對(duì)于后續(xù)計(jì)算深度至關(guān)重要。E本質(zhì)矩陣Essential Matrix包含了兩相機(jī)之間的旋轉(zhuǎn)和平移信息歸一化坐標(biāo)下。F基礎(chǔ)矩陣Fundamental Matrix描述了兩幅圖像之間對(duì)應(yīng)點(diǎn)的幾何關(guān)系像素坐標(biāo)下。retval雙目標(biāo)定的總體重投影誤差也應(yīng)盡可能小。3.4 第四步立體校正與極線(xiàn)約束標(biāo)定出參數(shù)后我們還需要進(jìn)行立體校正。校正的目的是將兩個(gè)相機(jī)“對(duì)齊”使得左右圖像的極線(xiàn)變成水平共線(xiàn)的。這樣做的好處是在進(jìn)行立體匹配尋找對(duì)應(yīng)點(diǎn)時(shí)只需要在同一行上進(jìn)行搜索極大簡(jiǎn)化了算法并提高了效率。使用cv2.stereoRectify函數(shù)。# 立體校正 R1, R2, P1, P2, Q, validPixROI1, validPixROI2 cv2.stereoRectify( mtx_l, dist_l, mtx_r, dist_r, gray_l.shape[::-1], R, T, alpha0 # 參數(shù)很重要見(jiàn)下文解釋 ) # 計(jì)算校正映射表 left_map1, left_map2 cv2.initUndistortRectifyMap(mtx_l, dist_l, R1, P1, gray_l.shape[::-1], cv2.CV_32FC1) right_map1, right_map2 cv2.initUndistortRectifyMap(mtx_r, dist_r, R2, P2, gray_r.shape[::-1], cv2.CV_32FC1)關(guān)鍵參數(shù)alpha解析 這個(gè)參數(shù)控制校正后圖像的有效區(qū)域和黑邊。alpha0函數(shù)會(huì)進(jìn)行去黑邊的校正。它會(huì)最大化校正后圖像的有效區(qū)域即所有像素都來(lái)自原始圖像但可能會(huì)損失一些視野。結(jié)果圖像沒(méi)有黑邊但可能不是矩形。alpha1函數(shù)會(huì)保留所有原始像素。這意味著校正后的圖像是完整的矩形但會(huì)包含大量由無(wú)效像素填充的黑邊。alpha-1函數(shù)自動(dòng)選擇一個(gè)折中值。 我個(gè)人的經(jīng)驗(yàn)是對(duì)于后續(xù)的立體匹配通常選擇alpha0或-1因?yàn)楹谶厖^(qū)域無(wú)法進(jìn)行有效的匹配。validPixROI返回的就是校正后圖像中有效的無(wú)黑邊區(qū)域。4. 實(shí)戰(zhàn)驗(yàn)證與結(jié)果可視化標(biāo)定好了然后呢參數(shù)打印出來(lái)一堆數(shù)字怎么知道標(biāo)定得好不好最直觀(guān)的方法就是進(jìn)行校正和深度圖生成驗(yàn)證。4.1 校正圖像可視化讓我們加載一對(duì)左右圖像應(yīng)用上面計(jì)算出的映射表進(jìn)行校正并繪制極線(xiàn)來(lái)驗(yàn)證校正效果。# 讀取一對(duì)測(cè)試圖像 img_l_test cv2.imread(calib_imgs/left/test01.jpg) img_r_test cv2.imread(calib_imgs/right/test01.jpg) # 重映射進(jìn)行校正 img_l_rectified cv2.remap(img_l_test, left_map1, left_map2, cv2.INTER_LINEAR) img_r_rectified cv2.remap(img_r_test, right_map1, right_map2, cv2.INTER_LINEAR) # 為了直觀(guān)比較將左右校正圖上下拼接 total_height img_l_rectified.shape[0] total_width img_l_rectified.shape[1] canvas np.zeros((total_height*2, total_width, 3), dtypenp.uint8) canvas[0:total_height, :, :] img_l_rectified canvas[total_height:, :, :] img_r_rectified # 畫(huà)一些水平線(xiàn)檢查極線(xiàn)是否水平對(duì)齊 line_interval 50 for i in range(line_interval, total_height*2, line_interval): cv2.line(canvas, (0, i), (total_width, i), (0, 255, 0), 1) cv2.imshow(Rectified Images (Top: Left, Bottom: Right), canvas) cv2.waitKey(0) cv2.destroyAllWindows()如果標(biāo)定和校正正確你看到的綠色水平線(xiàn)應(yīng)該同時(shí)穿過(guò)左右圖像中的同一個(gè)特征點(diǎn)比如棋盤(pán)格角點(diǎn)、物體邊緣。這就是極線(xiàn)校正成功的標(biāo)志對(duì)應(yīng)點(diǎn)位于同一行。4.2 生成視差圖與深度圖原理驗(yàn)證立體校正后我們可以用簡(jiǎn)單的立體匹配算法如Semi-Global Block Matching, SGBM來(lái)計(jì)算視差圖進(jìn)而得到深度圖。這能最直接地驗(yàn)證標(biāo)定參數(shù)的有效性。# 創(chuàng)建SGBM匹配器 window_size 5 min_disp 0 num_disp 16*5 # 必須是16的整數(shù)倍 stereo cv2.StereoSGBM_create( minDisparitymin_disp, numDisparitiesnum_disp, # 最大視差 - 最小視差 blockSizewindow_size, P18*3*window_size**2, # 控制視差平滑度的參數(shù) P232*3*window_size**2, disp12MaxDiff1, uniquenessRatio15, speckleWindowSize0, speckleRange2, preFilterCap63, modecv2.STEREO_SGBM_MODE_SGBM_3WAY ) # 計(jì)算視差圖 (需要灰度圖) gray_l_rect cv2.cvtColor(img_l_rectified, cv2.COLOR_BGR2GRAY) gray_r_rect cv2.cvtColor(img_r_rectified, cv2.COLOR_BGR2GRAY) disparity stereo.compute(gray_l_rect, gray_r_rect).astype(np.float32) / 16.0 # SGBM返回的視差是16倍整數(shù) # 顯示視差圖 cv2.imshow(Disparity, (disparity - min_disp) / num_disp) # 歸一化顯示 cv2.waitKey(0) # 使用重投影矩陣Q將視差圖轉(zhuǎn)換為深度圖 # Q是從 stereoRectify 得到的 depth_map cv2.reprojectImageTo3D(disparity, Q) # depth_map是一個(gè)3通道圖像其中 depth_map[y, x] [X, Y, Z] # Z就是深度值距離單位與世界坐標(biāo)一致mm z_channel depth_map[:, :, 2] # 過(guò)濾無(wú)效視差通常為負(fù)值或過(guò)大值 z_channel[disparity min_disp] 0 z_channel[z_channel 5000] 0 # 假設(shè)有效深度在5米內(nèi) # 顯示深度圖以熱力圖形式 z_display cv2.normalize(z_channel, None, 0, 255, cv2.NORM_MINMAX, dtypecv2.CV_8U) z_display_color cv2.applyColorMap(z_display, cv2.COLORMAP_JET) cv2.imshow(Depth Map (Jet Colormap), z_display_color) cv2.waitKey(0) cv2.destroyAllWindows()如果標(biāo)定準(zhǔn)確你看到的視差圖/深度圖應(yīng)該能清晰地反映出物體的遠(yuǎn)近層次感。前景物體視差大顏色亮深度值小背景物體視差小顏色暗深度值大。棋盤(pán)格平面應(yīng)該呈現(xiàn)出均勻的深度。5. 避坑指南與精度提升技巧理論流程走通了但實(shí)際做下來(lái)你可能會(huì)遇到各種問(wèn)題。下面是我踩過(guò)坑后總結(jié)出的關(guān)鍵點(diǎn)。5.1 常見(jiàn)失敗場(chǎng)景與排查findChessboardCorners失敗或檢測(cè)角點(diǎn)錯(cuò)亂原因圖像模糊、光線(xiàn)太暗或反光、棋盤(pán)格部分被遮擋、圖案對(duì)比度太低。排查先單獨(dú)用cv2.imshow顯示圖像用肉眼判斷棋盤(pán)格是否清晰。可以嘗試對(duì)圖像進(jìn)行直方圖均衡化或調(diào)整對(duì)比度后再檢測(cè)。技巧在采集時(shí)可以用實(shí)時(shí)預(yù)覽的方式在代碼中調(diào)用findChessboardCorners只有檢測(cè)成功時(shí)才保存圖像確保每一張都是有效的。標(biāo)定誤差 (retval) 過(guò)大 1.5像素原因這是最普遍的問(wèn)題。根源在于角點(diǎn)檢測(cè)不準(zhǔn)或標(biāo)定板姿態(tài)不夠多樣化。排查檢查角點(diǎn)檢測(cè)用drawChessboardCorners可視化確保所有角點(diǎn)都準(zhǔn)確地畫(huà)在了黑白格的交界處沒(méi)有漂移。檢查標(biāo)定板姿態(tài)回顧你采集的圖像是否大部分都是正面、平行的缺少傾斜和旋轉(zhuǎn)的視角會(huì)導(dǎo)致參數(shù)約束不足特別是畸變系數(shù)。檢查標(biāo)定板平整度翹曲的標(biāo)定板會(huì)引入系統(tǒng)誤差。解決重新采集數(shù)據(jù)嚴(yán)格按照“姿態(tài)多樣性”的要求并確保角點(diǎn)檢測(cè)穩(wěn)定?？梢赃m當(dāng)增加圖像數(shù)量到25-30組。立體校正后圖像扭曲嚴(yán)重或有效區(qū)域太小原因畸變系數(shù)標(biāo)定不準(zhǔn)或者stereoRectify的alpha參數(shù)選擇不當(dāng)。排查先檢查單目標(biāo)定的重投影誤差是否已經(jīng)很小。如果單目標(biāo)定誤差就大雙目標(biāo)定不可能好。解決嘗試調(diào)整alpha參數(shù)-1 0 0.5 1觀(guān)察validPixROI返回的有效區(qū)域大小。在精度和視野間做權(quán)衡。如果無(wú)論如何有效區(qū)域都很小可能需要重新標(biāo)定并檢查相機(jī)是否存在嚴(yán)重的鏡頭畸變?nèi)玺~(yú)眼鏡頭需要使用cv2.fisheye模塊進(jìn)行標(biāo)定。深度圖噪聲大、空洞多原因除了標(biāo)定精度深度圖質(zhì)量極大依賴(lài)于立體匹配算法和場(chǎng)景紋理。標(biāo)定問(wèn)題極線(xiàn)未嚴(yán)格水平導(dǎo)致匹配搜索在錯(cuò)誤的行上進(jìn)行。算法參數(shù)SGBM的參數(shù)如numDisparities,blockSize,P1/P2需要針對(duì)你的場(chǎng)景和基線(xiàn)進(jìn)行調(diào)整。場(chǎng)景問(wèn)題無(wú)紋理區(qū)域如白墻、重復(fù)紋理區(qū)域、遮擋區(qū)域立體匹配天生就難以處理。解決用drawChessboardCorners畫(huà)極線(xiàn)圖嚴(yán)格檢查校正質(zhì)量。耐心調(diào)整SGBM參數(shù)。numDisparities需要覆蓋你的場(chǎng)景最大最小視差blockSize太小噪聲大太大則邊緣模糊?？紤]使用更魯棒的匹配算法或后處理如cv2.ximgproc中的WLS濾波器。5.2 提升標(biāo)定精度的實(shí)戰(zhàn)技巧高精度標(biāo)定板如果項(xiàng)目對(duì)精度要求極高可以考慮購(gòu)買(mǎi)專(zhuān)業(yè)的陶瓷或玻璃標(biāo)定板其平面度和圖案精度遠(yuǎn)高于打印品。多姿態(tài)慢移動(dòng)采集時(shí)緩慢、平穩(wěn)地移動(dòng)標(biāo)定板在每個(gè)姿態(tài)停留片刻確保相機(jī)對(duì)焦清晰如果使用自動(dòng)對(duì)焦相機(jī)最好先鎖定焦點(diǎn)。覆蓋整個(gè)視野確保標(biāo)定板的圖像出現(xiàn)在視野的各個(gè)區(qū)域特別是邊緣這有助于更準(zhǔn)確地估計(jì)畸變系數(shù)。溫度與穩(wěn)定性對(duì)于高精度應(yīng)用注意環(huán)境溫度變化可能導(dǎo)致相機(jī)內(nèi)部結(jié)構(gòu)微變。標(biāo)定和使用應(yīng)在相同溫度條件下進(jìn)行。參數(shù)保存與加載標(biāo)定一次不容易務(wù)必把關(guān)鍵參數(shù)保存下來(lái)如mtx_l, dist_l, mtx_r, dist_r, R, T, R1, R2, P1, P2, Q?？梢允褂胣p.savez保存為.npz文件。# 保存所有參數(shù) np.savez(stereo_calib_params.npz, mtx_lmtx_l, dist_ldist_l, mtx_rmtx_r, dist_rdist_r, RR, TT, R1R1, R2R2, P1P1, P2P2, QQ, left_map1left_map1, left_map2left_map2, right_map1right_map1, right_map2right_map2) # 加載參數(shù) calib_data np.load(stereo_calib_params.npz) mtx_l_loaded calib_data[mtx_l] # ... 加載其他參數(shù)雙目相機(jī)標(biāo)定是一個(gè)典型的“功夫在詩(shī)外”的過(guò)程。代碼本身并不復(fù)雜OpenCV已經(jīng)提供了強(qiáng)大的工具函數(shù)。真正的挑戰(zhàn)在于對(duì)原理的理解、對(duì)細(xì)節(jié)的把握比如那個(gè)不起眼的square_size以及采集數(shù)據(jù)時(shí)的耐心和嚴(yán)謹(jǐn)。當(dāng)你看到校正后完美的水平極線(xiàn)以及由自己標(biāo)定的相機(jī)生成的、層次分明的深度圖時(shí)那種成就感是實(shí)實(shí)在在的。這套流程和代碼框架已經(jīng)在我多個(gè)機(jī)器人視覺(jué)項(xiàng)目中驗(yàn)證過(guò)希望它能幫你打好3D視覺(jué)的第一塊基石。本文還有配套的精品資源點(diǎn)擊獲取