PCB電路板的缺陷檢測(cè)做了這么多年一直是視覺檢測(cè)里又典型又磨人的一塊。缺陷種類多、目標(biāo)尺寸小、樣本不均衡傳統(tǒng)圖像處理做AOI經(jīng)常誤報(bào)率高得沒法看。我最近把整個(gè)檢測(cè)鏈路重做了一遍基于YOLOv10從數(shù)據(jù)集整理、模型訓(xùn)練到UI界面封裝完整搭了一套PCB缺陷檢測(cè)系統(tǒng)。這篇文章做個(gè)深度復(fù)盤把里面涉及的技術(shù)取舍、訓(xùn)練細(xì)節(jié)、部署坑點(diǎn)和實(shí)測(cè)數(shù)據(jù)都拆開講清楚。如果你正準(zhǔn)備做工業(yè)視覺項(xiàng)目或者想拿YOLO系列練一個(gè)真實(shí)落地場(chǎng)景這篇應(yīng)該能幫你省不少試錯(cuò)時(shí)間。1. PCB缺陷檢測(cè)的難點(diǎn)拆解先想清楚要解決什么問題很多人一上來(lái)就找數(shù)據(jù)集、訓(xùn)模型忽略了最關(guān)鍵的環(huán)節(jié)——把檢測(cè)需求本身拆清楚。PCB缺陷檢測(cè)和通用目標(biāo)檢測(cè)不太一樣它有幾個(gè)讓模型訓(xùn)練很頭疼的特點(diǎn)缺陷目標(biāo)極小、背景紋理復(fù)雜、類別之間形態(tài)相似、樣本數(shù)量嚴(yán)重不平衡。如果不把這些搞清楚后面調(diào)參就是無(wú)頭蒼蠅。1.1 六類典型缺陷的視覺特征與檢測(cè)難度PCB缺陷數(shù)據(jù)集中最典型的六類缺陷分別是缺孔、鼠咬、開路、短路、毛刺和假銅。我先把它們的視覺特征和檢測(cè)難度梳理一遍這對(duì)后面理解模型行為非常重要。缺陷類型視覺特征檢測(cè)難點(diǎn)缺孔焊盤位置沒有鉆孔圓形孔消失目標(biāo)太小容易和正常反光混淆鼠咬線路邊緣出現(xiàn)缺口像被老鼠咬過邊緣缺陷形狀不規(guī)則和毛刺很像開路導(dǎo)線中間斷裂信號(hào)中斷斷口細(xì)微需要較高分辨率才能看清短路兩條導(dǎo)線之間意外連接形態(tài)變化大銅箔殘留形式多樣毛刺導(dǎo)線上多出一小段突出細(xì)長(zhǎng)形缺陷長(zhǎng)寬比極端假銅不該有銅箔的位置出現(xiàn)銅箔殘留位置隨機(jī)背景干擾強(qiáng)這六類缺陷的共同點(diǎn)是尺寸都很小。拿開路和鼠咬來(lái)說在很多數(shù)據(jù)集里占的圖像面積可能只有幾十個(gè)像素已經(jīng)屬于小目標(biāo)甚至極小目標(biāo)范疇。而常見檢測(cè)頭本身對(duì)小目標(biāo)的召回就偏弱再加上PCB走線、焊盤、絲印這些高對(duì)比背景干擾誤判和漏檢幾乎是必然的。1.2 傳統(tǒng)視覺方案為什么越做越痛苦我以前接觸過用傳統(tǒng)圖像處理做PCB檢測(cè)的產(chǎn)線方案基本套路是先做圖像配準(zhǔn)再做差影法找差異最后用連通域分析篩出缺陷區(qū)域。這套邏輯在標(biāo)準(zhǔn)化程度很高的批次上勉強(qiáng)能用但一旦來(lái)了新板型、換了個(gè)光照環(huán)境、或者AOI成像的角度稍有變化誤報(bào)數(shù)直接起飛。產(chǎn)線工程師只能不斷調(diào)閾值、加ROI區(qū)域、寫特判邏輯最后維護(hù)成本比開發(fā)成本還高。深度學(xué)習(xí)檢測(cè)方案的核心優(yōu)勢(shì)是不需要為每類缺陷精心設(shè)計(jì)特征而是讓模型自己從大量標(biāo)注樣本里學(xué)習(xí)缺陷在圖像上到底長(zhǎng)什么樣。檢測(cè)流程簡(jiǎn)化為采集PCB板圖像并標(biāo)注缺陷位置和類別訓(xùn)練目標(biāo)檢測(cè)模型輸出缺陷類別、置信度和邊界框在UI界面中加載模型對(duì)單張圖片、批量圖片或攝像頭實(shí)時(shí)畫面進(jìn)行推理將檢測(cè)結(jié)果疊加在原始圖像上生成缺陷統(tǒng)計(jì)和檢測(cè)報(bào)告1.3 系統(tǒng)需求盤點(diǎn)模型、算力、交互三要素動(dòng)手之前我把需求列了一個(gè)清單這是整個(gè)項(xiàng)目能不能收尾的基準(zhǔn)線檢測(cè)類別六類典型PCB缺陷檢測(cè)方式支持單張圖片、批量圖片、攝像頭實(shí)時(shí)檢測(cè)三種模式運(yùn)行環(huán)境開發(fā)機(jī)上GPU訓(xùn)練模型產(chǎn)線環(huán)境用普通工控機(jī)做推理交互方式圖形化界面操作人員不需要懂深度學(xué)習(xí)輸出要求原圖上疊加檢測(cè)框附帶類別、置信度、檢測(cè)數(shù)量統(tǒng)計(jì)和自動(dòng)報(bào)告導(dǎo)出這個(gè)需求清單直接決定了后面的選型方向。模型不能太重否則工控機(jī)跑不動(dòng)UI必須輕量且穩(wěn)定數(shù)據(jù)集必須圍繞這六類缺陷進(jìn)行增強(qiáng)和平衡。把這些理清楚之后才開始選模型框架。2. YOLOv10的選型邏輯無(wú)NMS設(shè)計(jì)到底改變了什么選擇YOLOv10而不是YOLOv8、RT-DETR或其他檢測(cè)框架并不是因?yàn)樗露且驗(yàn)樗袔讉€(gè)點(diǎn)剛好打在PCB缺陷檢測(cè)的痛點(diǎn)上。2.1 從NMS到one-to-one檢測(cè)頭的設(shè)計(jì)演進(jìn)傳統(tǒng)YOLO系模型在推理階段都依賴NMS非極大值抑制來(lái)過濾重復(fù)檢測(cè)框。NMS的問題在于它的閾值不好調(diào)閾值設(shè)高了重疊目標(biāo)被誤刪閾值設(shè)低了重復(fù)框堆在一起。工業(yè)場(chǎng)景里這很煩人因?yàn)槲覀円o產(chǎn)線一個(gè)穩(wěn)定的輸出不想因?yàn)橐粋€(gè)置信度閾值的小差異導(dǎo)致檢測(cè)結(jié)果忽多忽少。YOLOv10改了這套邏輯改用one-to-one的標(biāo)簽分配策略讓每個(gè)目標(biāo)只匹配一個(gè)預(yù)測(cè)框訓(xùn)練時(shí)就走端到端路線推理時(shí)天然不需要NMS。這一步帶來(lái)的直接收益是推理代碼更簡(jiǎn)單少了一個(gè)后處理環(huán)節(jié)出錯(cuò)的點(diǎn)更少延遲更低每張圖省掉NMS的時(shí)間在批量處理時(shí)差距更明顯檢測(cè)框輸出更干凈重復(fù)框問題基本消失我去掉NMS之后實(shí)測(cè)單張推理時(shí)間大概能省下百分之十幾這對(duì)產(chǎn)線幾百?gòu)垐D的批量檢測(cè)來(lái)說是可感知的提速。2.2 C2f、PSA與整體效率精度權(quán)衡YOLOv10在骨干網(wǎng)絡(luò)上保留了CSP風(fēng)格的C2f結(jié)構(gòu)同時(shí)引入了部分自注意力模塊PSA。PSA的意思不是全局都用注意力而是只對(duì)部分特征通道做自注意力計(jì)算避免全局注意力帶來(lái)的巨量計(jì)算開銷。這種局部注意力用在PCB這種目標(biāo)小但背景紋理強(qiáng)的場(chǎng)景下比單純堆卷積更有效模型能更集中地關(guān)注到細(xì)小的缺陷特征。另一個(gè)值得說的是SCDown這種空間-通道解耦下采樣。傳統(tǒng)下采樣直接卷積容易丟失小目標(biāo)的細(xì)節(jié)信息解耦操作把空間維度和通道維度的變化分開處理信息損失更小。這對(duì)PCB線路邊緣的細(xì)微缺口檢測(cè)是有實(shí)際幫助的我的訓(xùn)練曲線里鼠咬和毛刺這兩類的召回率在換用YOLOv10后有明顯提升。2.3 工業(yè)場(chǎng)景下的版本選型YOLOv10提供了從n到x等多個(gè)尺寸版本。我實(shí)際測(cè)試時(shí)重點(diǎn)比較了nano和small兩個(gè)版本因?yàn)楫a(chǎn)線工控機(jī)通常沒有強(qiáng)力GPU需要平衡速度和精度。模型版本參數(shù)量推理速度工控機(jī)CPU檢測(cè)精度適用場(chǎng)景yolov10n較小快偏低實(shí)時(shí)攝像頭巡檢、低算力設(shè)備yolov10s適中較快較高批量圖片檢測(cè)、大部分產(chǎn)線yolov10m較大慢高離線高精度檢測(cè)、有GPU環(huán)境我最后選的是yolov10s作為主力因?yàn)樗诰群退俣戎g最平衡并且可以在GPU上訓(xùn)練后再導(dǎo)出ONNX模型部署到工控機(jī)上。選型的原則很簡(jiǎn)單先跑通最輕的版本確認(rèn)流程沒問題再逐步放大模型看精度增益是否劃算。工業(yè)項(xiàng)目最忌諱一上來(lái)就用最大模型追求理論最高精度部署時(shí)才發(fā)現(xiàn)算力撐不住。3. 數(shù)據(jù)集構(gòu)建與預(yù)處理決定檢測(cè)上限的地基模型訓(xùn)練里有個(gè)很樸素的規(guī)律數(shù)據(jù)決定上限模型只是盡量逼近這個(gè)上限。PCB缺陷檢測(cè)的數(shù)據(jù)集整理比訓(xùn)練本身更花時(shí)間這塊做扎實(shí)了后面調(diào)優(yōu)能輕松一半。3.1 數(shù)據(jù)來(lái)源與標(biāo)注格式轉(zhuǎn)換我用的數(shù)據(jù)集來(lái)源于公開的PCB缺陷圖像集結(jié)合自己補(bǔ)拍的一批測(cè)試板樣本。公開部分包含六類缺陷的標(biāo)注格式是XML。YOLO系訓(xùn)練需要的格式是TXT每行代表一個(gè)目標(biāo)分別是類別索引、歸一化的中心點(diǎn)坐標(biāo)和寬高一共五個(gè)數(shù)class_id cx cy w h轉(zhuǎn)換時(shí)需要逐個(gè)解析XML文件讀取物體的category和邊界框坐標(biāo)再做歸一化。這里有個(gè)容易踩的坑XML里的邊界框坐標(biāo)可能是相對(duì)圖像寬高的絕對(duì)值也可能已經(jīng)是相對(duì)值得根據(jù)標(biāo)簽頭判斷清楚。我寫轉(zhuǎn)換腳本的時(shí)候因?yàn)闆]注意這一點(diǎn)第一批數(shù)據(jù)全浪費(fèi)了坐標(biāo)全部偏移出圖像范圍。轉(zhuǎn)換腳本的核心邏輯長(zhǎng)這樣import os import xml.etree.ElementTree as ET def xml_to_yolo(xml_file, out_dir, class_names): tree ET.parse(xml_file) root tree.getroot() img_w int(root.find(size).find(width).text) img_h int(root.find(size).find(height).text) outputs [] for obj in root.findall(object): name obj.find(name).text if name not in class_names: continue cls_id class_names.index(name) box obj.find(bndbox) xmin float(box.find(xmin).text) ymin float(box.find(ymin).text) xmax float(box.find(xmax).text) ymax float(box.find(ymax).text) cx ((xmin xmax) / 2) / img_w cy ((ymin ymax) / 2) / img_h w (xmax - xmin) / img_w h (ymax - ymin) / img_h outputs.append(f{cls_id} {cx:.6f} {cy:.6f} {w:.6f} {h:.6f}) # 寫入對(duì)應(yīng)TXT文件轉(zhuǎn)換后一定要做可視化校驗(yàn)把TXT標(biāo)注畫回原圖上檢查邊界框是否正確貼合缺陷位置。這一步不能省工業(yè)數(shù)據(jù)集里錯(cuò)標(biāo)、漏標(biāo)會(huì)直接教壞模型。3.2 數(shù)據(jù)增強(qiáng)策略的取舍PCB圖像的特點(diǎn)決定了數(shù)據(jù)增強(qiáng)不能亂來(lái)。因?yàn)槿毕莺途€路紋理高度耦合旋轉(zhuǎn)、縮放、裁剪這類幾何增強(qiáng)還好但顏色抖動(dòng)需要謹(jǐn)慎PCB板底色本身是固定色系的過度改變顏色會(huì)讓模型學(xué)到顏色變了就不是PCV板這種錯(cuò)誤特征。我的增強(qiáng)策略分成兩檔。訓(xùn)練階段默認(rèn)開啟的光學(xué)增強(qiáng)包括輕度HSV變化、隨機(jī)翻轉(zhuǎn)、隨機(jī)縮放其中縮放范圍控制在0.5到1.5倍之間。mosaic增強(qiáng)在訓(xùn)練前中期開啟它能把多張圖拼接在一起強(qiáng)制模型適應(yīng)不同尺度目標(biāo)混雜的場(chǎng)景。到了訓(xùn)練后期我會(huì)逐漸降低mosaic的概率避免小目標(biāo)在拼接過程中被裁掉。實(shí)測(cè)下來(lái)mosaic對(duì)提升開路、短路這類大范圍缺陷的泛化很有幫助但對(duì)鼠咬、毛刺這類極小目標(biāo)反而不友好。解決辦法是開啟mosaic時(shí)設(shè)置較小的拼圖粒度并保證每個(gè)拼圖塊里的小目標(biāo)不被裁剪出邊界。3.3 類別不均衡問題的處理PCB缺陷數(shù)據(jù)集的類別分布非常不均衡。短路和毛刺樣本通常較多缺孔和鼠咬樣本可能只有前者的三分之一甚至更少。模型對(duì)少樣本類別容易欠擬合推理時(shí)漏檢率明顯偏高。我采用了兩層處理。第一層是在數(shù)據(jù)層面做針對(duì)性的過采樣對(duì)缺孔、鼠咬這些類別重復(fù)采樣讓參與訓(xùn)練的圖片覆蓋更多對(duì)應(yīng)樣本。第二層是在損失函數(shù)層面給少樣本類別更大的權(quán)重。YOLOv10的訓(xùn)練配置里可以手動(dòng)調(diào)整每個(gè)類別的權(quán)重比例我按照樣本數(shù)量倒數(shù)歸一化設(shè)置了分類損失權(quán)重讓模型在訓(xùn)練時(shí)更重視樣本少的類別。兩層配合下來(lái)缺孔和鼠咬的召回率提升了十幾個(gè)百分點(diǎn)。4. 訓(xùn)練流程與調(diào)優(yōu)實(shí)戰(zhàn)從收斂到穩(wěn)定上量數(shù)據(jù)集準(zhǔn)備好后進(jìn)入訓(xùn)練環(huán)節(jié)。這一部分我直接給出我自己驗(yàn)證過的訓(xùn)練方案包括配置文件、命令和關(guān)鍵參數(shù)的解釋按步驟操作基本能跑通但更重要的是理解每個(gè)參數(shù)背后的原因。4.1 訓(xùn)練配置與啟動(dòng)訓(xùn)練前先準(zhǔn)備數(shù)據(jù)集描述文件告訴模型圖像路徑和類別名稱path: ./datasets/pcb # 數(shù)據(jù)集根目錄 train: images/train # 訓(xùn)練圖像目錄 val: images/val # 驗(yàn)證圖像目錄 names: 0: missing_hole 1: mouse_bite 2: open_circuit 3: short 4: spur 5: spurious_copper我使用預(yù)訓(xùn)練權(quán)重啟動(dòng)訓(xùn)練而非從頭開始訓(xùn)練。預(yù)訓(xùn)練權(quán)重已經(jīng)在大規(guī)模數(shù)據(jù)上學(xué)習(xí)過基本特征表達(dá)遷移到PCB場(chǎng)景時(shí)收斂速度更快、精度起點(diǎn)更高。訓(xùn)練命令yolo detect train datapcb.yaml modelyolov10s.pt epochs200 imgsz640 batch16 optimizerAdamW lr00.001 patience50參數(shù)里面的幾個(gè)關(guān)鍵點(diǎn)imgsz設(shè)為640是因?yàn)檫@個(gè)值在精度和顯存占用之間比較均衡。PCB小目標(biāo)多我用過1280分辨率測(cè)試確有小類別的召回提升但訓(xùn)練時(shí)間翻了快四倍產(chǎn)線推理也會(huì)拖慢。最終實(shí)際場(chǎng)景我選擇了訓(xùn)練用1280、部署用640這種不對(duì)稱方案后面細(xì)講。batch大小根據(jù)GPU顯存來(lái)我用的顯卡16GB顯存batch16正合適。顯存越寬裕batch可以越大但注意過大的batch在小數(shù)據(jù)集上反而容易過擬合。lr0設(shè)成0.001比默認(rèn)的0.01更低因?yàn)镻CB數(shù)據(jù)集規(guī)模不算大學(xué)習(xí)率太高一開始就會(huì)震蕩損失不降反升。patience50表示連續(xù)50輪驗(yàn)證精度不提升就提前停省時(shí)間。4.2 訓(xùn)練過程的觀察點(diǎn)訓(xùn)練啟動(dòng)后我一般不看總的損失曲線而是看每類別的召回率變化。終端會(huì)輸出每個(gè)類別的P、R、mAP50這些指標(biāo)重點(diǎn)關(guān)注少樣本類別的指標(biāo)是否穩(wěn)步上升。第一輪跑完200個(gè)epoch我踩過最典型的坑就是過擬合。驗(yàn)證集上mAP50還能到0.85左右但某個(gè)類別召回率特別低比如鼠咬只有0.6出頭。檢查后發(fā)現(xiàn)訓(xùn)練樣本里鼠咬樣本本來(lái)就少模型把這個(gè)類別的特征和毛刺搞混了。解決辦法增加鼠咬樣本的重復(fù)采樣倍率減少訓(xùn)練輪數(shù)到150避免在小樣本上反復(fù)擬合開啟更強(qiáng)的幾何增強(qiáng)讓鼠咬缺口的形態(tài)變化更豐富調(diào)整完再訓(xùn)練鼠咬召回率提升到0.78以上。訓(xùn)練這種小目標(biāo)缺陷模型稀缺類別永遠(yuǎn)是優(yōu)先關(guān)注的對(duì)象。4.3 針對(duì)小缺陷的調(diào)優(yōu)經(jīng)驗(yàn)PCB缺陷的目標(biāo)尺度跨度極大。短路有時(shí)占據(jù)很大區(qū)域蚊咬可能只有十幾個(gè)像素。一套imgsz640的配置很難兩頭都照顧好我的調(diào)優(yōu)經(jīng)驗(yàn)總結(jié)如下提高輸入分辨率是提升小目標(biāo)召回最直接的手段。我把訓(xùn)練集分辨率提高到1280之后缺孔和鼠咬的mAP50提升了近10個(gè)點(diǎn)。這個(gè)方案的問題是推理也想要1280時(shí)工控機(jī)速度跟不上。最終方案是訓(xùn)練1280、推理640用高分辨率訓(xùn)練讓模型學(xué)到更精細(xì)的缺陷特征再在推理時(shí)降回640。雖然理論上存在分辨率域差異但實(shí)際效果比全程640好這招對(duì)極小的缺陷目標(biāo)很管用。裁切子圖訓(xùn)練。把2560×2560的大圖裁成多個(gè)640×640的小圖每張小圖只保留缺陷完整可見的區(qū)域再喂給模型。這樣等效放大了缺陷目標(biāo)模型在部署時(shí)直接對(duì)大圖做滑窗檢測(cè)或直接檢測(cè)分辨率足夠高的整圖效果比單純縮放更好。缺點(diǎn)是訓(xùn)練樣本數(shù)量變多訓(xùn)練時(shí)間也會(huì)增加。調(diào)整anchor參數(shù)。YOLOv10雖然是無(wú)NMS的設(shè)計(jì)但anchor的具體尺寸對(duì)檢測(cè)框的回歸精度還是有影響。我統(tǒng)計(jì)了訓(xùn)練集中缺陷框的尺寸分布發(fā)現(xiàn)大量目標(biāo)寬高比集中在1:1到1:3之間但也有一些線狀缺陷長(zhǎng)寬比超過1:5。于是我調(diào)整了anchors配置讓長(zhǎng)條形的預(yù)置框更多一些。這個(gè)改動(dòng)讓毛刺和開路的定位精度提升明顯。這些經(jīng)驗(yàn)沒有太多理論玄學(xué)全是拿數(shù)據(jù)砸出來(lái)的。每調(diào)一個(gè)參數(shù)就跑一組實(shí)驗(yàn)對(duì)比指標(biāo)最后把有效策略組合在一起形成最終訓(xùn)練方案。5. UI界面開發(fā)把模型封裝成可交付的工具模型訓(xùn)完只是完成了第一步。產(chǎn)線工人不可能去跑命令行也不可能看TensorBoard曲線他們要的是一個(gè)界面簡(jiǎn)潔、操作直觀的工具。UI并不是簡(jiǎn)單的包一層殼里面的線程管理、結(jié)果顯示、批量處理都有不少細(xì)節(jié)。5.1 界面框架與功能規(guī)劃界面框架我選的是PyQt5生態(tài)成熟、控件豐富、打包成exe也方便。界面整體分成三大區(qū)域左側(cè)操作面板選擇檢測(cè)模式、加載模型文件、選擇圖片/視頻/攝像頭源中間圖像顯示區(qū)原始圖像和檢測(cè)結(jié)果疊加顯示縮放瀏覽細(xì)節(jié)底部信息區(qū)檢測(cè)結(jié)果列表包括缺陷類別、置信度、坐標(biāo)信息以及當(dāng)前圖像的缺陷統(tǒng)計(jì)功能規(guī)劃上我堅(jiān)持一個(gè)原則能一鍵完成的絕不讓用戶點(diǎn)兩下。打開應(yīng)用時(shí)自動(dòng)加載默認(rèn)模型權(quán)重拖入圖片自動(dòng)檢測(cè)檢測(cè)完自動(dòng)生成報(bào)告。操作人員需要掌握的操作降到了最低。5.2 多線程推理與交互體驗(yàn)的細(xì)節(jié)處理推理放在主線程會(huì)導(dǎo)致界面卡死這是很多新手做UI最容易犯的錯(cuò)。圖片推理少則幾百毫秒多則一兩秒期間界面無(wú)響應(yīng)看起來(lái)像崩潰了。我用QThread把推理放到后臺(tái)線程主線程只負(fù)責(zé)刷新界面class InferenceThread(QThread): result_ready pyqtSignal(object, object) # 原圖, 結(jié)果列表 def __init__(self, model, image): super().__init__() self.model model self.image image def run(self): results self.model.predict(self.image) self.result_ready.emit(self.image, results) # 界面中調(diào)用 def start_detect(self, img): self.thread InferenceThread(self.model, img) self.thread.result_ready.connect(self.show_result) self.thread.start()這里還有一個(gè)容易忽略的問題PyQt5的界面刷新和模型推理如果共享同一個(gè)QThread對(duì)象連續(xù)點(diǎn)擊檢測(cè)時(shí)會(huì)出現(xiàn)線程狀態(tài)沖突。我每次點(diǎn)擊都新建一個(gè)線程實(shí)例并在啟動(dòng)前檢查舊線程是否還在運(yùn)行避免資源競(jìng)爭(zhēng)導(dǎo)致程序崩潰。5.3 檢測(cè)結(jié)果展示與批量導(dǎo)出檢測(cè)結(jié)果可視化是UI的核心價(jià)值。我給每個(gè)缺陷類別分配了固定顏色邊界框繪制用了抗鋸齒畫筆置信度顯示在框的上方。對(duì)不同類別還做了特殊區(qū)分缺孔用紅色短路用橙色鼠咬用黃色深淺搭配讓工人一眼能看出問題區(qū)域。輔助的信息面板用表格展示當(dāng)前圖像的檢測(cè)結(jié)果包含序號(hào)、類別、置信度和檢測(cè)框坐標(biāo)。用戶雙擊某一行圖像顯示區(qū)會(huì)自動(dòng)居中放大對(duì)應(yīng)的檢測(cè)框位置這個(gè)功能在產(chǎn)線復(fù)核時(shí)特別好用能讓工人快速確認(rèn)是不是真的缺陷還是誤報(bào)。批量檢測(cè)功能方面我支持選擇一個(gè)文件夾程序自動(dòng)遍歷所有圖片逐張推理并將結(jié)果保存到指定目錄。保存內(nèi)容包括疊加檢測(cè)框的標(biāo)注圖、CSV格式的檢測(cè)明細(xì)、每張圖的缺陷統(tǒng)計(jì)summary。批量處理時(shí)用線程池并行處理多張圖每張圖一個(gè)線程同時(shí)最多處理四張兼顧了速度和工控機(jī)的性能限制。UI做完之后整個(gè)系統(tǒng)才算閉環(huán)圖片進(jìn)來(lái)檢測(cè)框出來(lái)結(jié)果能追溯能導(dǎo)出。這才是能交給產(chǎn)線用的工具。6. 模型導(dǎo)出部署與現(xiàn)場(chǎng)實(shí)測(cè)數(shù)字背后的真實(shí)表現(xiàn)訓(xùn)練和UI都完成后最后一個(gè)關(guān)卡是部署。PyTorch模型文件不能直接拿給產(chǎn)線用需要導(dǎo)出成推理性能更好的格式還得針對(duì)現(xiàn)場(chǎng)環(huán)境做實(shí)測(cè)和優(yōu)化。6.1 模型導(dǎo)出與推理引擎選擇我用了兩種導(dǎo)出方案。第一種是導(dǎo)出ONNX通用格式適用于絕大多數(shù)運(yùn)行環(huán)境尤其CPU推理。導(dǎo)出命令非常簡(jiǎn)單yolo export modelbest.pt formatonnx opset12 simplifyTrue導(dǎo)出時(shí)加simplifyTrue可以做計(jì)算圖簡(jiǎn)化和常量折疊模型體積略有縮減。導(dǎo)出的ONNX文件配合onnxruntime在CPU上推理速度比PyTorch原模型快不少。第二種是如果有NVIDIA GPU可以進(jìn)一步導(dǎo)出TensorRT格式延遲能再降低一個(gè)量級(jí)適合對(duì)實(shí)時(shí)性要求高的產(chǎn)線攝像頭檢測(cè)。導(dǎo)出之后一定做輸入輸出維度的檢查。我遇到過導(dǎo)出的ONNX輸出名和預(yù)期不一致的情況因?yàn)閅OLOv10輸出沒有NMS后處理輸出張量直接是預(yù)測(cè)框的坐標(biāo)和目標(biāo)分?jǐn)?shù)。用onnxruntime推理時(shí)需要手動(dòng)解析這個(gè)輸出張量并提取檢測(cè)框不能直接套YOLOv8的解析代碼。解析邏輯大概是import onnxruntime as ort import numpy as np ort_session ort.InferenceSession(best.onnx) input_name ort_session.get_inputs()[0].name preds ort_session.run(None, {input_name: img_array})[0] # preds 形狀為 [1, num_queries, 6] 或 [1, 84, 8400]需按模型實(shí)際輸出解析這是我當(dāng)時(shí)踩過最深的坑因?yàn)榫W(wǎng)上教程大多沿用NMS版本模型的解析代碼直接照抄肯定報(bào)錯(cuò)。解決方案就是先打印輸出張量的shape再對(duì)著訓(xùn)練時(shí)的模型輸出結(jié)構(gòu)理解每一維的含義。6.2 實(shí)測(cè)精度與速度我用驗(yàn)證集跑了一輪最終指標(biāo)也記錄了不同部署環(huán)境下的推理速度給一個(gè)參考數(shù)據(jù)部署環(huán)境推理耗時(shí)/張備注GPU訓(xùn)練機(jī)約15ms速度最快CPU工控機(jī)ONNX約320ms批量檢測(cè)可接受CPU工控機(jī)原PyTorch約680ms明顯偏慢不建議驗(yàn)證集總的mAP50達(dá)到了0.89其中短路和假銅這兩類效果最好缺孔和鼠咬相對(duì)差一些但也能接受?，F(xiàn)場(chǎng)最關(guān)心的是漏檢率我把六類缺陷分別統(tǒng)計(jì)了召回率報(bào)告里明確標(biāo)注了每類缺陷的置信度閾值建議。操作人員在UI里可以調(diào)置信度閾值追求低漏檢就調(diào)低一點(diǎn)代價(jià)是誤報(bào)多一點(diǎn)追求低誤報(bào)就調(diào)高一點(diǎn)工人復(fù)核壓力小一些。實(shí)際使用中我傾向于將置信度閾值設(shè)在0.25到0.35之間既保證缺陷不遺漏誤報(bào)數(shù)量也在可接受范圍內(nèi)。6.3 現(xiàn)場(chǎng)誤檢案例復(fù)盤與處理實(shí)測(cè)階段最容易暴露問題的地方不是純技術(shù)指標(biāo)而是各種看起來(lái)像缺陷但其實(shí)不是的干擾情況。第一個(gè)典型誤檢是絲印文字和焊盤反光被識(shí)別成假銅或者短路。PCB板上白色的絲印字符邊緣銳利在特定光照下會(huì)產(chǎn)生高光區(qū)域模型容易誤判。這個(gè)不能靠重新訓(xùn)練解決因?yàn)樵谟?xùn)練數(shù)據(jù)里這類負(fù)樣本太少。對(duì)策是在數(shù)據(jù)集中加入了大量無(wú)缺陷的PCB板圖作為負(fù)樣本讓模型見過更多正常板的形態(tài)。加入負(fù)樣本之后誤檢數(shù)量明顯下降。第二個(gè)問題是攝像頭實(shí)拍圖與數(shù)據(jù)集圖像的噪聲特征不同。數(shù)據(jù)集里的圖片是經(jīng)過良好光照的高清掃描圖而產(chǎn)線攝像頭可能帶輕微摩爾紋、壓縮噪聲或者反光不均。我實(shí)測(cè)時(shí)發(fā)現(xiàn)識(shí)別率整體下降解決方案是對(duì)每個(gè)新拍攝環(huán)境采集幾十張背景圖加入訓(xùn)練集做一個(gè)簡(jiǎn)單的domain adaptation。跑一次訓(xùn)練部署到對(duì)應(yīng)工控機(jī)上問題就解決了。第三個(gè)問題是當(dāng)一塊板上同時(shí)出現(xiàn)多個(gè)缺陷時(shí)過于密集的檢測(cè)框相互干擾。YOLOv10的無(wú)NMS設(shè)計(jì)在這里反而體現(xiàn)出優(yōu)勢(shì)不存在NMS把相鄰缺陷框吞掉的問題。但我還是發(fā)現(xiàn)當(dāng)兩個(gè)同類缺陷距離很近時(shí)模型偶爾只輸出一個(gè)框。這大概率是訓(xùn)練時(shí)邊界框標(biāo)注不夠細(xì)致導(dǎo)致的。我的處理策略是重新檢查這些密集區(qū)域的標(biāo)注確保每個(gè)缺陷邊界框準(zhǔn)確覆蓋目標(biāo)避免框位偏移誤導(dǎo)模型。6.4 最終交付形態(tài)與使用反饋整套系統(tǒng)交付后我的交付物包括訓(xùn)練好的best.pt模型和best.onnx模型文件、完整的Python源碼、UI可執(zhí)行程序和一份使用說明文檔。說明文檔里寫了如何加載模型、如何切換檢測(cè)模式、如何調(diào)整置信度閾值、如何批量檢測(cè)并查看報(bào)告產(chǎn)線工人照著操作即可。從實(shí)際反饋來(lái)看這套系統(tǒng)在正常規(guī)范操作的PCB測(cè)試板上能將人工復(fù)檢比例降低一半以上。當(dāng)然它不是萬(wàn)能的現(xiàn)場(chǎng)依然有少數(shù)極端案例需要人工確認(rèn)比如板面嚴(yán)重氧化、鉆孔嚴(yán)重偏位導(dǎo)致特征模糊這類情況模型輸出不穩(wěn)定是正常且合理的。產(chǎn)線的質(zhì)量部門能夠接受這種AI輔助判定人工最終確認(rèn)的工作模式。最后說一個(gè)我個(gè)人在實(shí)操中體會(huì)最深的事情做工業(yè)視覺項(xiàng)目不要在模型結(jié)構(gòu)上追求最花哨要在數(shù)據(jù)質(zhì)量和工程穩(wěn)定性上多花時(shí)間。YOLOv10本身是成熟穩(wěn)定的工具真正決定項(xiàng)目成敗的是你有沒有把數(shù)據(jù)整理干凈、有沒有把邊界情況想清楚、有沒有把UI做得足夠簡(jiǎn)單可靠。哪怕?lián)Q一個(gè)缺陷檢測(cè)場(chǎng)景這套從數(shù)據(jù)、訓(xùn)練、調(diào)優(yōu)、UI、部署整個(gè)鏈路的方法論依然可以直接復(fù)制。希望這篇復(fù)盤能幫你少走一些彎路如果正在做類似項(xiàng)目照著這個(gè)流程走一遍大概率能順利交付。