簡介這份合輯面向計算機(jī)視覺與人工智能方向的初中級開發(fā)者及學(xué)生圍繞手勢識別、虛擬鍵盤、姿態(tài)檢測等典型應(yīng)用整理了一套可直接運行和對照學(xué)習(xí)的Python項目素材適合用于課程實踐、畢業(yè)設(shè)計預(yù)研或人機(jī)交互實驗復(fù)現(xiàn)。壓縮包共35個文件約16.91MB以16個Python腳本為核心配合6個Arduino ino程序、11張JPG示例圖片及少量緩存與截圖文件覆蓋算法實現(xiàn)、硬件聯(lián)動和效果參考等環(huán)節(jié)便于讀者按模塊理解項目結(jié)構(gòu)。已有436人學(xué)習(xí)說明其在入門實踐場景中具有一定參考價值。合輯中的項目涉及手部關(guān)鍵點追蹤、指尖計數(shù)、空中字符輸入、音量手勢控制與虛擬鼠標(biāo)等內(nèi)容并包含面部網(wǎng)格與姿態(tài)檢測的模塊化代碼讀者可據(jù)此梳理攝像頭采集、模型推理到交互控制的完整鏈路積累調(diào)試與參數(shù)調(diào)整經(jīng)驗。1. 從一次“能跑但不對”的翻車說起這套 cvzone 合輯省掉的到底是什么去年冬天幫人調(diào)一個展會用的手勢交互 Demo攝像頭開得起來骨架畫得漂亮FPS 穩(wěn)定在 30看著像可以交付了結(jié)果一上手就露餡數(shù)手指永遠(yuǎn)返回 5虛擬鍵盤十次能點中一次姿態(tài)判定的肘部角度在鏡頭前左右橫跳。翻倉庫只找到三個 .py 文件問題全在兩處畫面做了水平鏡像坐標(biāo)沒跟著翻左右手判斷整個反了關(guān)鍵點拿到的是歸一化值沒有乘回畫面寬高就當(dāng)像素用。這兩處都不報錯屬于典型的“跑得起來但不對”比直接崩掉難查得多。cvzone 在計算機(jī)視覺這套棧里干的是膠水活把 MediaPipe 輸出的關(guān)鍵點壓成幾行能直接用的接口Python 側(cè)寫手勢識別、虛擬鍵盤、姿態(tài)檢測的原型速度能快一個量級。這份合輯手勢識別、虛擬鍵盤、姿態(tài)檢測等逐段調(diào)試通過的價值不在代碼多新而在于每一段都真跑通過、版本對得上、坐標(biāo)換算不用你重新推一遍。適合兩類人看想兩小時內(nèi)出個能演示的 Demo 的新手照著抄就能跑以及 Demo 已經(jīng)跑起來、但被抖動和延遲折磨的熟手中間幾章講的是我當(dāng)時怎么定位的。2. 選型判斷cvzone 在 Python 計算機(jī)視覺技術(shù)棧里該占哪個位置2.1 為什么不直接從原生接口寫起先說結(jié)論做交互原型選 cvzone做要長期維護(hù)的產(chǎn)品別選。判別標(biāo)準(zhǔn)不是“哪個更強(qiáng)”而是“你的時間花在交互設(shè)計上還是花在樣板代碼上”。原生 MediaPipe 的返回對象是一層 protobuf 結(jié)構(gòu)取一個點要寫results.multi_hand_landmarks[0].landmark[8].x拿到的是 0~1 的歸一化值你還得自己乘寬高轉(zhuǎn)像素、自己算外接框、自己判斷左右手、自己決定畫不畫連接線。這套東西寫一遍沒問題問題是每換一個模塊手、臉、姿態(tài)、分割就要重寫一遍而且每個模塊的返回結(jié)構(gòu)還不一樣。cvzone 把這層封裝掉了findHands()直接回一個列表里面是像素坐標(biāo)的點列表、外接框、中心點、左右手標(biāo)記。姿態(tài)模塊同理33 個點加一個現(xiàn)成的角度計算。對做 Demo、做課程作業(yè)、做產(chǎn)品早期的交互驗證這半天的差距是實打?qū)嵉摹４鷥r也要說清楚。封裝層跟著上游版本走出問題的時候你會卡在“到底是我的代碼錯還是封裝層沒跟上”一些新特性比如新版的任務(wù)式接口封裝層不會第一時間支持以及最煩的一點封裝層偶爾會吞掉異常讓你看到的現(xiàn)象和真實原因隔了一層。我一般這么判斷兩周內(nèi)要看到效果的用封裝要上線半年的封裝一層自己維護(hù)把關(guān)鍵調(diào)用包在自己的函數(shù)里將來替換成本才可控。2.2 合輯里各模塊的能力邊界與依賴關(guān)系拿到一份合輯第一步不是跑是先看清每個文件依賴什么。同一份代碼在你機(jī)器上跑不起來八成不是代碼問題是某個模塊的依賴沒裝或者裝錯版本。模塊關(guān)鍵類/函數(shù)輸出內(nèi)容典型用途額外依賴手部追蹤HandDetector21 點像素坐標(biāo)、外接框、左右手手勢識別、虛擬鍵盤、捏合交互手部關(guān)鍵點模型面部網(wǎng)格FaceMeshDetector468 點坐標(biāo)面部特效、注意力方向估計面部網(wǎng)格模型姿態(tài)檢測PoseDetector33 點坐標(biāo)、角度計算動作判定、計數(shù)、體態(tài)分析姿態(tài)關(guān)鍵點模型人像分割SelfieSegmentation前景/背景 mask摳圖換背景、虛擬演播分割模型分類器Classifier類別索引、置信度自定義手勢分類訓(xùn)練好的模型文件 標(biāo)簽文件圖像工具putTextRect、cornerRect、stackImages帶底色的文字、圓角框、圖像拼貼畫面合成、多窗口并排無串口SerialModule下行指令聯(lián)動外部硬件串口設(shè)備這張表最該記住的是最后兩列的差異前四個模塊靠模型文件驅(qū)動分類器額外要一個標(biāo)簽文件圖像工具純算法不依賴任何模型。很多人跑分類器那一段只拷了模型沒拷標(biāo)簽報錯信息又指向別處能耗掉一晚上。還有一個容易忽略的點手部、面部、姿態(tài)三個模塊都是獨立初始化的同時開三個會明顯吃 CPU。做多模塊合輯演示時我一般按場景只啟一個需要同時顯示就在畫面里分區(qū)域別指望一臺普通筆記本同時跑滿。2.3 版本對齊先鎖環(huán)境再談?wù){(diào)參合輯類資源最常見的死法不是邏輯錯是環(huán)境漂移。同一份代碼三個月前能跑系統(tǒng)重裝后跑不起來因為中間某個依賴升了大版本。我核對環(huán)境的順序固定是四步。第一步看 Python 主版本很多視覺庫對 3.11 之后的支持是滯后的遇到裝不上先降一個小版本試試。第二步pip show逐個看已安裝的包版本重點看數(shù)值計算庫和視覺庫這兩個它們是最容易互相打架的一對。第三步確認(rèn)模型文件路徑合輯里的路徑經(jīng)常是作者本機(jī)的絕對路徑。第四步才是跑代碼。# 導(dǎo)出當(dāng)前能跑通的環(huán)境作為后續(xù)復(fù)現(xiàn)的基線 pip freeze requirements_lock.txt # 裝新環(huán)境時按鎖文件還原不要用最新版硬裝 pip install -r requirements_lock.txt # 懷疑版本打架時先看誰依賴誰 pip show 包名提示把requirements_lock.txt和合輯放同一個目錄。半年后回來復(fù)現(xiàn)這份文件比任何注釋都值錢。pip freeze只鎖頂層和已解析的依賴版本夠用。真要做成可交付的東西我還會額外記一行本機(jī)的 Python 版本號和操作系統(tǒng)寫在一個 README 里。血淚經(jīng)驗環(huán)境問題占了這類合輯跑不通原因的七成以上而它偏偏是最無聊、最容易被跳過的一步。3. 手勢識別與虛擬鍵盤從 21 個關(guān)鍵點到可點擊的按鈕3.1 關(guān)鍵點編號與坐標(biāo)系先搞清楚再寫邏輯手部追蹤輸出 21 個點編號是固定的0 是手腕1 到 4 是拇指4 是拇指尖5 到 8 是食指8 是食指尖9 到 12 中指13 到 16 無名指17 到 20 小指。四根手指的規(guī)律是“掌指關(guān)節(jié)起點 4”指尖就是每組的最后一個。記住這個結(jié)構(gòu)后面所有判定都是圍繞它展開的。坐標(biāo)系有兩件事必須先確認(rèn)。第一原點在畫面左上角y 軸向下所以“指尖在關(guān)節(jié)上方”對應(yīng)的是 y 值更小這一點和數(shù)學(xué)課本直覺相反寫判定的時候最容易搞混。第二拿到的是像素坐標(biāo)還是歸一化坐標(biāo)取決于你用的封裝版本穩(wěn)妥做法是先打印一次看看數(shù)值范圍全是 0 到 1 就是歸一化幾百上千就是像素。import cv2 from cvzone.HandTrackingModule import HandDetector cap cv2.VideoCapture(0) cap.set(3, 1280) # 寬決定后面像素坐標(biāo)的量級 cap.set(4, 720) # 高 detector HandDetector(detectionCon0.8, maxHands1) while True: ok, img cap.read() if not ok: break # drawTrue 直接把骨架畫在畫面上flipType 決定左右手判定是否跟隨鏡像 img, hands detector.findHands(img, drawTrue, flipTypeTrue) if hands: lmList hands[0][lmList] # 21 個點元素是 [x, y, z] print(lmList[8]) # 食指尖先看清量級 print(hands[0][type]) # Left 或 Right cv2.imshow(hand, img) if cv2.waitKey(1) 0xFF 27: break cap.release() cv2.destroyAllWindows()這段代碼只干一件事把量級和左右手打印出來。別小看這一步flipType開與不開左右手的標(biāo)簽會整個反過來而你后面所有拇指判定都依賴這個標(biāo)簽。我見過不止一個人在這上面卡了半天最后發(fā)現(xiàn)是標(biāo)簽反了而不是邏輯錯。3.2 數(shù)手指的判定寫對邏輯只是開始四根手指的判定是最直觀的指尖的 y 比它的近端關(guān)節(jié) y 小就算伸出來。用編號說8 和 6 比、12 和 10 比、16 和 14 比、20 和 18 比。拇指特殊因為它的活動方向是橫向的單純比 y 會在手側(cè)過來的時候失效。拇指我一般用距離法而不是坐標(biāo)比較算拇指尖到食指根部關(guān)節(jié)點 5的距離伸開時距離明顯更大握拳時靠近。這個判據(jù)對手的旋轉(zhuǎn)角度不敏感比硬編碼 x 大小關(guān)系穩(wěn)得多。閾值不是一個固定數(shù)字而是相對于手掌尺寸的比例用點 0 到點 9 的距離作為手掌尺度做歸一化換個人、換個距離都不用重調(diào)。判定的第二個坑是“抖動”。人手指尖在臨界位置來回晃逐幀判定會出現(xiàn) 5、4、5、4 的跳變。解決方式不是調(diào)閾值是加時間維度的平滑維護(hù)一個長度為 N 的滑動窗口占比超過 70% 才認(rèn)定狀態(tài)改變。N 取 5 到 7 在 30 幀下大概兩百毫秒手感剛好。第三個坑是 z 值。這個坐標(biāo)是模型估計的相對深度精度很差做展示可以拿它做前后層次排序做判定不要用會引入大量噪聲。我早期拿它判“手指是否朝前”結(jié)果一塌糊涂。3.3 虛擬鍵盤點擊判定要寫成一個狀態(tài)機(jī)虛擬鍵盤的難點從來不是畫面繪制。畫幾個矩形、把按鍵文字貼上去半小時的事。真正難的是“怎么算一次點擊”。新手寫法是在循環(huán)里判斷“食指和拇指距離小于閾值就觸發(fā)按鍵”這樣寫出來會出現(xiàn)按住不放瘋狂觸發(fā)、手在按鍵上方掠過也觸發(fā)、邊緣區(qū)域連擊。根因是這本質(zhì)是一個離散事件而代碼在用連續(xù)信號判斷。正確的做法是一個三態(tài)機(jī)空閑、按下中、已觸發(fā)。進(jìn)入“按下中”需要連續(xù)若干幀滿足命中條件確認(rèn)后產(chǎn)生一次點擊事件并進(jìn)入冷卻冷卻期間無論信號如何都不再觸發(fā)手離開命中區(qū)之后才回到空閑。這樣按住不放只算一次快速掠過不算抖動能被幀數(shù)門檻濾掉。import time class ClickGate: 把連續(xù)的命中信號變成一個確定的點擊事件 def __init__(self, hold_frames3, cooldown0.6): self.hold hold_frames # 需要連續(xù)命中多少幀才算按下 self.cooldown cooldown # 一次點擊后多久內(nèi)不再響應(yīng) self.state idle # idle / pressing / fired self.count 0 self.last_fire 0.0 def update(self, hit, nowNone): hit: 本幀是否命中返回 True 表示產(chǎn)生了一次點擊 now now if now is not None else time.time() if self.state idle: if hit: self.state pressing self.count 1 return False if self.state pressing: if hit: self.count 1 if self.count self.hold: if now - self.last_fire self.cooldown: self.state fired self.last_fire now return True self.state fired else: self.state idle # 中途斷了就重來過濾掠過 self.count 0 return False # fired 狀態(tài)手必須先離開才能重新開始 if not hit: self.state idle self.count 0 return False三個參數(shù)的作用要說清楚。hold_frames控制靈敏度調(diào)大更穩(wěn)但反應(yīng)鈍30 幀下取 3 幀約 100 毫秒是手感的甜點區(qū)。cooldown防止連擊0.5 到 0.8 秒比較自然太短會出現(xiàn)一次手勢打兩個字符。state的“必須先離開才能重置”這一條最關(guān)鍵少了它按住不放就會走一次冷卻觸發(fā)一次。按鍵布局部分有個實用技巧別用固定像素寫死六宮格用畫面寬高的比例算。分辨率從 640 換到 1280固定坐標(biāo)的鍵盤會縮在左上角一小塊而比例坐標(biāo)自動鋪滿。命中判定用指尖到按鍵中心的距離小于按鍵寬度的一半或者用外接框包含判定后者在按鍵較大時更寬松。3.4 自定義手勢分類合輯里最容易被跳過的一段如果要做“石頭剪刀布”之外的手勢比如數(shù)字手勢或自定義指令就得走分類器這條路。流程是先寫一個采集腳本按鍵切換類別每類存兩三百張手部區(qū)域截圖然后訓(xùn)練一個圖像分類模型把關(guān)鍵點區(qū)域裁出來當(dāng)輸入比整張圖效果好最后導(dǎo)出模型文件和標(biāo)簽文件用分類器類加載。這里有三個真實的坑。一是采集和推理的輸入規(guī)格必須完全一致包括裁剪方式、縮放尺寸、歸一化方式任何一項不同訓(xùn)練準(zhǔn)確率 99% 跑起來也會全錯。二是標(biāo)簽文件的行數(shù)要和模型的輸出維度對上少一行就會把最后一個類別的結(jié)果映射錯。三是合輯里的分類器接口在不同版本里參數(shù)名改過報 TypeError 的時候別猜直接看函數(shù)簽名。# 加載分類器模型文件和標(biāo)簽文件必須同時存在且互相匹配 from cvzone.ClassificationModule import Classifier clf Classifier(Model/keras_model.h5, Model/labels.txt) # 推理imgTypeBGR 表示送進(jìn)去的是 OpenCV 原生順序 # 如果你的訓(xùn)練集是按 RGB 歸一化的這里必須一致否則準(zhǔn)確率會崩 pred, index clf.getPrediction(img, scale1)scale這個參數(shù)容易被忽略。它不是簡單縮放會影響輸入到模型前的裁剪比例取 1 表示按原圖比例處理取大于 1 的值相當(dāng)于裁掉一部分邊緣。如果你發(fā)現(xiàn)推理時總是把“拳頭”認(rèn)成“手掌”先檢查這一項和采集時的設(shè)置是否一致而不是去重訓(xùn)模型。分類器的置信度也要看低于閾值就別出結(jié)論寧可顯示“未識別”也不要給用戶一個篤定的錯誤答案。4. 姿態(tài)檢測與畫面合成33 個關(guān)鍵點能落地的三件事4.1 角度計算別用反三角函數(shù)硬湊姿態(tài)模塊給 33 個關(guān)鍵點光有點沒有意義要轉(zhuǎn)成“肘彎了多少度”“膝蓋彎了多少度”這種可判定的量。常見做法是三點求夾角肩、肘、腕算手臂髖、膝、踝算腿。寫這個函數(shù)有兩個細(xì)節(jié)必須注意。第一用向量點積算夾角比用反正切穩(wěn)因為點積法天然把結(jié)果限制在 0 到 180 度不會因為象限問題出現(xiàn)負(fù)角或跳變。第二如果你用的是歸一化坐標(biāo)一定要先乘回寬高否則畫面寬高比會直接把角度拉歪——16:9 的畫面里一個真實的 90 度可能會算成 60 度這種偏差是系統(tǒng)性的靠調(diào)閾值永遠(yuǎn)調(diào)不回來。import math def find_angle(p1, p2, p3): p2 為頂點。輸入必須是像素坐標(biāo)返回值范圍 0~180 度 a (p1[0] - p2[0], p1[1] - p2[1]) b (p3[0] - p2[0], p3[1] - p2[1]) na math.hypot(a[0], a[1]) nb math.hypot(b[0], b[1]) if na 0 or nb 0: return 0.0 # 兩點重合退化情況直接返回 cos_v (a[0] * b[0] a[1] * b[1]) / (na * nb) cos_v max(-1.0, min(1.0, cos_v)) # 浮點誤差會算出 1.0000001 return math.degrees(math.acos(cos_v))浮點截斷那一行不能省。acos在入?yún)⒙源笥?1 時會拋異常而浮點誤差導(dǎo)致這種越界非常常見尤其是在完全伸直手臂的時候——恰好是最容易復(fù)現(xiàn)的場景。角度到手之后做動作判定還要加一層滯回。比如俯臥撐肘角小于 90 度算“下”大于 150 度算“上”中間 90 到 150 是緩沖區(qū)不做判定。不加這個中間帶人停在 120 度附近晃動會瘋狂計數(shù)。這套“雙閾值 狀態(tài)翻轉(zhuǎn)”的思路在深蹲、抬臂、開合跳上是通用的改的只是閾值和參考的三點。4.2 畫面合成工具看著簡單用起來省事合輯里的圖像工具函數(shù)很不起眼但實際拼演示界面的時候用得最多。帶底色文字解決了白字壓在白墻上看不清的問題圓角矩形用來畫按鍵和狀態(tài)標(biāo)簽圖像拼貼可以把原圖、mask、結(jié)果圖并成一張網(wǎng)格顯示方便對比調(diào)試。這里有個中文顯示的坑值得單說OpenCV 的文本繪制函數(shù)不支持中文字形直接傳中文會顯示成一串問號。解決方案要么是統(tǒng)一用英文標(biāo)簽要么是引入一個支持中文的繪制庫把文字轉(zhuǎn)成圖像再疊上去。做演示給別人看的時候我一般選擇英文加圖形化圖標(biāo)省事且不依賴額外字體文件。拼貼函數(shù)在調(diào)試階段特別有用把二值 mask、關(guān)鍵點圖、最終結(jié)果三個畫面按相同尺寸拼成一行一眼能看出是哪一步出的問題。等調(diào)通了再把拼貼關(guān)掉只顯示最終畫面。我養(yǎng)成的習(xí)慣是每個視覺項目都留一個debugTrue開關(guān)打開就拼貼全流程中間結(jié)果。注意拼貼要求所有子圖尺寸完全一致尺寸不匹配時會直接拋錯。傳進(jìn)去之前統(tǒng)一 resize別指望函數(shù)內(nèi)部幫你對齊。4.3 人像分割與背景替換邊界效果取決于光分割模塊輸出的是前景概率圖融合公式很樸素結(jié)果 原圖 × mask 背景 × (1 - mask)。寫起來兩行效果好壞全在輸入條件上。邊緣毛邊是最常見的問題。原因不一定是算法差更多是光照逆光、背景和衣服顏色接近、頭發(fā)絲的細(xì)節(jié)都會讓概率圖在邊界上給出中間值融合后就變成半透明的一圈毛邊。解決辦法按照投入從低到高排列換一個對比度高的背景、把分割結(jié)果做一次形態(tài)學(xué)腐蝕再融合邊緣更干凈但人物會瘦一圈、用引導(dǎo)濾波做邊緣細(xì)化效果好但要多裝一個庫。還有一個實際坑不同版本的分割接口返回 mask 的方式不一樣有的是返回二值圖有的是返回浮點概率圖。融合之前先打印一下數(shù)據(jù)類型和取值范圍浮點圖和二值圖直接用同一套公式出來的畫面要么全黑要么全白。穩(wěn)妥寫法是先歸一化到 0 到 1再做加權(quán)。import numpy as np def blend(img, bg, mask): mask 統(tǒng)一歸一化到 0~1避免二值圖和概率圖混用導(dǎo)致的整屏黑白 m mask.astype(np.float32) if m.max() 1.0: m m / 255.0 m m[..., None] if m.ndim 2 else m # 補(bǔ)通道維便于廣播 bg bg[:img.shape[0], :img.shape[1]] # 尺寸對齊 return (img * m bg * (1 - m)).astype(np.uint8)歸一化那幾行看著啰嗦但它把“這個版本返回什么格式”的不確定性擋住了。合輯里如果直接寫死二值圖除法換個版本就崩。4.4 攝像頭讀取延遲越跑越大是因為它在阻塞很多人第一次做實時視覺都會遇到一個詭異現(xiàn)象剛啟動延遲很低跑幾分鐘之后畫面越來越滯后手抬起來兩秒畫面才動。這不是推理變慢了是攝像頭讀取在阻塞。cv2.VideoCapture.read()是同步調(diào)用它從內(nèi)部緩沖隊列取一幀。當(dāng)主線程忙于推理時相機(jī)還在往隊列里塞新幀隊列越積越長你取到的永遠(yuǎn)是幾秒前的舊幀。推理越快、分辨率越高這個現(xiàn)象越明顯。解決辦法是把讀取放到獨立線程里只保留最新一幀主線程需要時直接拿。這樣無論推理多慢拿到的都是當(dāng)前最新畫面。import cv2 import threading class Camera: 獨立線程持續(xù)讀取主線程只取最新幀避免緩沖堆積 def __init__(self, src0, w1280, h720): self.cap cv2.VideoCapture(src) self.cap.set(3, w) self.cap.set(4, h) self.frame None self.running True self._lock threading.Lock() threading.Thread(targetself._loop, daemonTrue).start() def _loop(self): while self.running: ok, frame self.cap.read() if not ok: continue with self._lock: self.frame frame # 覆蓋舊幀不排隊 def read(self): with self._lock: return None if self.frame is None else self.frame.copy() def release(self): self.running False self.cap.release()daemonTrue讓線程隨主程序退出不用手動回收。copy()不能省否則主線程繪制時會和讀取線程同時改同一塊內(nèi)存出現(xiàn)撕裂畫面。分辨率方面1280×720 是手部關(guān)鍵點的性價比拐點再往上關(guān)鍵點精度提升有限但推理耗時線性上漲。5. 常見問題與排查跑不通、跑得慢、跑得飄的五個坑5.1 裝了卻導(dǎo)入失敗斷在依賴鏈的哪一環(huán)現(xiàn)象是import cvzone直接報模塊找不到或者導(dǎo)入成功但一調(diào)用就報某個內(nèi)部符號不存在。原因通常不是沒裝而是裝了但版本組合不匹配封裝層引用的上游接口在新版本里改名或挪了位置另一種情況是裝錯了環(huán)境比如終端里用的是一個 Python編輯器里選的是另一個。解決方式是三步定位先用pip show確認(rèn)包確實裝在當(dāng)前解釋器對應(yīng)的環(huán)境里再打印解釋器路徑確認(rèn)“當(dāng)前”是哪個最后單獨導(dǎo)入底層的視覺庫看是否正常。如果底層庫導(dǎo)入就報錯問題在依賴解析導(dǎo)出依賴清單重裝一次如果底層正常只有封裝層報錯鎖定封裝層版本別用最新版。5.2 攝像頭出不來畫面黑屏和讀幀失敗是兩回事現(xiàn)象分兩種窗口一片黑但程序沒崩或者read()返回失敗、循環(huán)立刻退出。前者通常是設(shè)備被別的程序占用或者索引不對后者常見于權(quán)限問題或驅(qū)動沒就緒。排查順序是先換成最簡單的讀幀腳本只做讀幀和顯示不加載任何模型排除推理層的影響再換設(shè)備索引試從 0 試到 2再確認(rèn)系統(tǒng)里能看到這臺攝像頭并且沒被會議軟件占用。還有一種隱蔽情況筆記本上外接顯示器后攝像頭索引順序會變昨天是 0 今天變成 2寫死索引的代碼就會突然失效。我現(xiàn)在的寫法是把索引做成啟動參數(shù)出問題直接改參數(shù)不改代碼。5.3 點不中、判定跳不是閾值問題是坐標(biāo)系問題現(xiàn)象是虛擬鍵盤點擊位置整體偏移或者左右手判定反了或者數(shù)手指在臨界角度反復(fù)跳變。第一反應(yīng)通常是去調(diào)閾值越調(diào)越亂。先確認(rèn)三件事畫面有沒有做水平翻轉(zhuǎn)自拍視角幾乎一定要翻翻轉(zhuǎn)后坐標(biāo)必須同步處理、關(guān)鍵點是不是歸一化值是的話必須乘回寬高、命中判定用的是哪個參考點食指指尖和食指根部差得很遠(yuǎn)。這三項都對上之后再去考慮加時間平滑和滯回區(qū)間。判斷依據(jù)很簡單如果你把閾值從 30 調(diào)到 60 才勉強(qiáng)能用那說明判定邏輯本身錯了閾值只是在掩蓋錯誤。5.4 幀率掉到個位數(shù)先分清是采集慢還是推理慢現(xiàn)象是畫面卡成 PPT或者 FPS 顯示只剩個位數(shù)。原因可能有三層分辨率開太高、同時加載了多個模型、主線程被讀幀阻塞。定位方式是分段計時只讀幀不推理看能跑多少幀加上一個模塊再看逐步加滿。哪一步掉得厲害問題就在那一層。優(yōu)化順序建議是先降分辨率收益最大、再減模型數(shù)量同時開手部和姿態(tài)通常沒必要、再上多線程讀幀消除延遲堆積、最后才考慮換更輕的模型。順序反過來做往往花了大力氣只換來兩三幀。5.5 分類器加載失敗或永遠(yuǎn)輸出同一類現(xiàn)象是加載模型時報找不到文件或格式不支持或者能加載但不管輸入什么都返回同一個類別加很高的置信度。第一種情況查路徑和文件完整性模型文件常常在拷貝過程中損壞比對一下大小就能發(fā)現(xiàn)。第二種情況基本可以確定是輸入規(guī)格不一致訓(xùn)練時的輸入尺寸、通道順序、歸一化方式和推理時送進(jìn)去的完全對上才能出正確結(jié)果。排查方法是把送進(jìn)模型的張量存成圖片看一眼如果存出來是一張比例失真、顏色發(fā)綠或發(fā)藍(lán)的圖問題就找到了。通道順序這個坑尤其隱蔽因為 OpenCV 讀進(jìn)來是 BGR而多數(shù)訓(xùn)練流程默認(rèn) RGB中間少一次轉(zhuǎn)換準(zhǔn)確率會從 95% 掉到隨機(jī)猜。6. 把合輯變成自己的東西一套跑通即歸檔的調(diào)試流程合輯類資源最大的陷阱是“跑通即完事”。真正有價值的動作是在第一次跑通之后花二十分鐘做歸檔否則下次換機(jī)器、換版本、換攝像頭你又得從頭再來一遍。我現(xiàn)在的固定動作是這樣的第一次跑通后立刻導(dǎo)出依賴清單把 Python 版本、操作系統(tǒng)、攝像頭分辨率和索引記在一個 README 里給每個模塊單獨建一個最小復(fù)現(xiàn)腳本只保留“讀幀 調(diào)用 顯示”三行核心邏輯出問題時先跑最小腳本能快速把問題范圍從整個工程縮到一個函數(shù)給畫面加一個調(diào)試開關(guān)打開就拼貼中間結(jié)果關(guān)掉就是最終畫面。這三件事加起來不到半小時但省下的時間是以天計的。復(fù)現(xiàn)驗證清單可以照著這張表逐項過檢查項怎么驗不通過時的方向依賴環(huán)境按鎖文件重裝后能跑回退到能跑的版本組合攝像頭最小腳本能出畫面換索引、查占用關(guān)鍵點量級打印后數(shù)值范圍符合預(yù)期確認(rèn)是否歸一化左右手舉左手標(biāo)簽為 Left檢查鏡像與翻轉(zhuǎn)參數(shù)點擊判定按住不放只觸發(fā)一次補(bǔ)狀態(tài)機(jī)而非調(diào)閾值幀率穩(wěn)定在目標(biāo)幀數(shù)上下降分辨率、減模型分類器輸入張量存圖肉眼可見正確查通道順序與歸一化這張表我一般貼在項目目錄里每次改完代碼過一遍比記在腦子里的清單可靠。最后說一個具體技巧把每個模塊的關(guān)鍵參數(shù)集中到一個配置字典里不要散落在各個函數(shù)內(nèi)部。閾值、分辨率、冷卻時間、置信度下限全放一處。調(diào)手感的時候只改這一塊不用滿文件搜數(shù)字。我當(dāng)時沒這么做改一次參數(shù)要在三個文件里改五處還漏過一次導(dǎo)致演示現(xiàn)場鍵盤響應(yīng)忽快忽慢當(dāng)著客戶的面重新跑了一遍才恢復(fù)。從那以后我每次拿到一份別人調(diào)通的合輯都強(qiáng)制走一遍“導(dǎo)環(huán)境、拆最小腳本、參數(shù)集中”這三步再動手改業(yè)務(wù)邏輯。合輯本身的價值是給你一個正確的起點而把這個起點變成自己的東西靠的是這套歸檔習(xí)慣。希望幫到你。本文還有配套的精品資源點擊獲取