農(nóng)產(chǎn)品分選線上的AI檢測到底能不能打我用一個真實項目給大伙兒驗證了一遍。這條產(chǎn)線我前后跟了一個多月從方案設(shè)計、數(shù)據(jù)采集、模型訓(xùn)練一路干到產(chǎn)線部署最終的結(jié)果比預(yù)期還穩(wěn)檢測速度從原來人工目檢為主的混線狀態(tài)提升了3倍以上漏檢率從6%~8%直接壓到1.5%以下。這篇文章不吹方案只復(fù)盤這一路怎么選型、怎么訓(xùn)練模型、怎么排坑給準(zhǔn)備上農(nóng)產(chǎn)品AI檢測的同行一個完整可參考的實戰(zhàn)樣本。1. 項目背景與目標(biāo)拆解為什么非要上AI檢測1.1 傳統(tǒng)人工目檢的瓶頸比想象中更嚴(yán)重農(nóng)產(chǎn)品檢測這個事聽起來簡單做起來全是細(xì)節(jié)。我這次做的項目是一家水果初加工企業(yè)的柑橘分選線主要檢測碰壓傷、霉變、腐爛、果梗殘留這幾類瑕疵。以前的流程是果品從分選機(jī)上來之后經(jīng)過一條皮帶靠幾個老師傅站在工位旁邊用肉眼快速挑出壞果。產(chǎn)線的物理節(jié)拍是1秒過5個果左右人工目檢在這種速度下根本反應(yīng)不過來。老師傅平均一個人一分鐘能仔細(xì)看大概60到80個果但產(chǎn)線速度提上去之后實際就是“看一眼抓一把”漏檢率常年游走在6%~8%趕上產(chǎn)地陰雨天氣多、病蟲害多發(fā)的時候漏檢率能沖到10%以上。企業(yè)最怕的不是多雇幾個人而是漏檢的壞果流入市場客訴和退貨帶來的損失遠(yuǎn)比人工成本大得多。更麻煩的是質(zhì)量問題不可追溯。人工挑出來的壞果隨手一扔沒有記錄沒有標(biāo)準(zhǔn)同一個批次在不同班次、不同工人手里挑出來的標(biāo)準(zhǔn)可能完全不一樣。產(chǎn)量越大越混亂管理成本高客戶的信任度也會被一點點消耗掉。1.2 我們定的三個硬指標(biāo)和驗收口徑這次項目的目標(biāo)不能用“上AI、提效率”這種空話糊弄必須在一開始就把驗收標(biāo)準(zhǔn)釘死。我們和甲方反復(fù)對齊后定下了三個核心指標(biāo)后面所有技術(shù)決策都圍繞這三條展開檢測節(jié)拍單相機(jī)工位檢測速度不低于每秒4個果合計整線處理速度比人工半自動混線提升至少2倍目標(biāo)3倍漏檢率從現(xiàn)有的6%左右降到2%以下這是質(zhì)量問題屬于紅線指標(biāo)誤檢率控制在3%以內(nèi)。誤檢率太高也不行把好果當(dāng)壞果踢出去損耗變大產(chǎn)線上會被罵死。漏檢率和誤檢率的定義項目一開始我們就和甲方確認(rèn)清楚了避免驗收的時候扯皮。漏檢率未檢出的實際缺陷果數(shù)量 ÷ 抽樣中真實缺陷果總數(shù)量 × 100%。誤檢率被誤判為缺陷的健康果數(shù)量 ÷ 全部抽樣果數(shù)量 × 100%。2. 方案選型與整體思路為什么視覺AI能行2.1 傳統(tǒng)圖像處理算法為什么搞不定農(nóng)產(chǎn)品立項調(diào)研的時候我們最先考慮的不是深度學(xué)習(xí)而是傳統(tǒng)圖像處理方案畢竟開發(fā)成本低、部署輕。但實測下來發(fā)現(xiàn)農(nóng)產(chǎn)品表面太不“規(guī)矩”了。柑橘表面的顏色紋理復(fù)雜不同品種、不同成熟度、不同產(chǎn)地的果皮底色差異很大。新鮮傷疤和老疤痕在灰度圖和RGB圖上看邊界模糊傳統(tǒng)的閾值分割、邊緣檢測、形態(tài)學(xué)處理連最基礎(chǔ)的缺陷區(qū)域分割都很難穩(wěn)定完成。以碰壓傷為例剛發(fā)生的碰壓傷在果皮上只是一小塊顏色加深的區(qū)域和正常的果皮顏色過渡非常平滑局部對比度極低。用固定閾值一類的算法去測要么全部漏掉要么把大量正常果皮上的斑點、花斑誤判成缺陷。表面反光也是個頭疼問題柑橘果皮自帶一層蠟質(zhì)在光照下形成高光區(qū)域傳統(tǒng)算法很容易在高光邊緣產(chǎn)生假邊界誤檢率直接失控。所以方案最終還是鎖定在深度學(xué)習(xí)視覺模型上。深度學(xué)習(xí)模型對紋理、顏色、形態(tài)的抽象能力遠(yuǎn)強(qiáng)于手工特征能學(xué)到“碰壓傷雖然顏色接近果皮但紋理走向和局部梯度特征不同”這類潛層規(guī)律。簡單說傳統(tǒng)算法是在拿尺子量“標(biāo)準(zhǔn)的圓”AI是在學(xué)“什么樣的圓受過傷”后者更適合農(nóng)產(chǎn)品這種非標(biāo)對象。2.2 硬件選型相機(jī)、光源、算力怎么配硬件選型這塊我踩了好幾個坑先說結(jié)論農(nóng)產(chǎn)品產(chǎn)線檢測光源比相機(jī)重要算力比模型大小重要。相機(jī)用的彩色工業(yè)相機(jī)分辨率500萬像素幀率不低于30fps。柑橘這類圓形水果單個果徑在60到90mm500萬像素在單果尺寸上進(jìn)行缺陷識別完全夠用。太高分辨率的相機(jī)反而拖累處理速度沒必要。鏡頭配的是16mm定焦工業(yè)鏡頭焦距定死光圈優(yōu)先保證景深覆蓋果體表面弧面防止邊緣失焦。光源這套系統(tǒng)最難的點就在光源。柑橘是球形表面直射光會產(chǎn)生大面積高光反射影響缺陷識別。我們試了環(huán)形光、條光、同軸光最后選了暗場反射加雙側(cè)條形光的組合讓光線盡量均勻鋪開同時把高光區(qū)域控制在果體邊緣很小范圍內(nèi)。后續(xù)實測發(fā)現(xiàn)光源角度差一度漏檢率可能差一個百分點。工控機(jī)用的是高性能工控機(jī)加獨(dú)立GPU模型推理放在GPU上跑。CPU扛模型推理在工業(yè)場景下基本不可行后面詳說。2.3 檢測任務(wù)清單和判定標(biāo)準(zhǔn)的對齊農(nóng)產(chǎn)品缺陷的類型非常多不能眉毛胡子一把抓。我們和企業(yè)品控團(tuán)隊反復(fù)確認(rèn)把檢測目標(biāo)收斂為四類核心缺陷霉變、腐爛、碰壓傷、果梗殘留。這幾類的優(yōu)先級也不一樣。霉變和腐爛屬于嚴(yán)重缺陷漏檢就是質(zhì)量事故優(yōu)先級最高判定標(biāo)準(zhǔn)從嚴(yán)碰壓傷是常規(guī)缺陷允許輕傷但不允許重度碰傷和滲汁果梗殘留屬于外觀等級問題判定標(biāo)準(zhǔn)松一些。這里有個經(jīng)驗檢測范圍和品控標(biāo)準(zhǔn)一定要在啟動項目前寫清楚。如果一開始不把缺陷分級、判定尺度確認(rèn)清楚后面模型訓(xùn)練、調(diào)試閾值時就會反復(fù)推翻重來浪費(fèi)至少一周時間。3. 數(shù)據(jù)準(zhǔn)備與模型訓(xùn)練項目最重的工程量3.1 樣本采集必須去產(chǎn)線真實環(huán)境下拍模型訓(xùn)練繞不開數(shù)據(jù)而農(nóng)產(chǎn)品檢測項目最容易翻車的地方恰恰是數(shù)據(jù)采集階段。很多人圖省事用手機(jī)在辦公室拍幾張壞果照片或者直接在網(wǎng)上找圖庫這種數(shù)據(jù)訓(xùn)練出的模型到了產(chǎn)線基本就是廢的。工業(yè)相機(jī)、暗場光、皮帶運(yùn)動狀態(tài)這些條件下的成像效果和手機(jī)完全不同。產(chǎn)線環(huán)境里果體在快速移動有運(yùn)動模糊有背景干擾有灰塵顆粒這些噪聲在真實環(huán)境下很常見但如果訓(xùn)練數(shù)據(jù)里沒有這些噪聲模型就學(xué)不會區(qū)分“瑕疵”和“環(huán)境噪聲”。所以我在項目里堅持要求樣本采集必須到產(chǎn)線上做直接架好相機(jī)和光源用和正式運(yùn)行一致的參數(shù)拍攝把所有真實環(huán)境中的干擾因素拍進(jìn)去。我們總共采集了2萬多個柑橘樣本連續(xù)拍了四天覆蓋不同批次的果實。采集回來的圖像再經(jīng)過篩選和清洗去除模糊、遮擋、異常光照的圖像最后剩下約18000張可用圖像。3.2 標(biāo)注規(guī)則的制定比標(biāo)注本身更關(guān)鍵標(biāo)注這個環(huán)節(jié)看著簡單其實特別容易被低估。我見過很多項目敗在標(biāo)注不規(guī)范上同樣一個缺陷這個人框了那個人沒框或者有的人把整果框進(jìn)去有的人只框局部模型訓(xùn)練出來之后表現(xiàn)飄忽不定。我們定了這么幾條標(biāo)注規(guī)則一是必須按缺陷類別單獨(dú)打標(biāo)簽不能標(biāo)注“壞果”這種大而全的類別二是單個果上有多個缺陷時每個缺陷單獨(dú)標(biāo)注不允許合并框三是只標(biāo)缺陷區(qū)域不標(biāo)整個果子四是爭議樣本由品控人員最終裁決標(biāo)注員不能自行決定。此外還補(bǔ)充了一個關(guān)鍵策略對嚴(yán)重缺陷樣本做了超額標(biāo)注比如霉變和腐爛類我們要求優(yōu)先保證全量標(biāo)注哪怕樣本再少也不能漏標(biāo)。后來模型的表現(xiàn)證明了這一步非常值因為漏標(biāo)一個嚴(yán)重缺陷樣本模型就可能在推理時把一個腐爛果當(dāng)成好果放過去。3.3 模型選型與訓(xùn)練參數(shù)輕量級YOLO足夠用模型選型上我們測試了多個分割和檢測網(wǎng)絡(luò)。農(nóng)產(chǎn)品缺陷識別有兩個技術(shù)路徑一是檢測框二是分割掩碼。分割掩碼的定位精度更高但部署速度慢檢測框的速度快對硬件要求低。經(jīng)過權(quán)衡我最終選了基于YOLO架構(gòu)的目標(biāo)檢測模型采用小體量版本在GPU上推理時延控制在20毫秒以內(nèi)。很多人非要上復(fù)雜的大模型覺得準(zhǔn)確率高。但工業(yè)產(chǎn)線的現(xiàn)實很殘酷推理速度不達(dá)標(biāo)準(zhǔn)確率再高也白搭。我們用YOLO小模型加合理的訓(xùn)練策略mAP50就能做到93%以上完全夠用。訓(xùn)練參數(shù)的關(guān)鍵項我直接列一下輸入分辨率640x640和工業(yè)相機(jī)原始ROI區(qū)域匹配訓(xùn)練輪次200輪早停在30輪無增益時觸發(fā)優(yōu)化器SGD配合余弦退火調(diào)度器批大小32數(shù)據(jù)增強(qiáng)Mosaic增強(qiáng)、HSV擾動、隨機(jī)翻轉(zhuǎn)、隨機(jī)旋轉(zhuǎn)少量角度。Mosaic增強(qiáng)對農(nóng)產(chǎn)品檢測特別有效因為單張圖像里果實數(shù)量有限Mosaic把多張圖拼接成一張相當(dāng)于在一張圖里同時提供多個果的上下文信息模型對密集場景和小目標(biāo)的適應(yīng)能力明顯提高。3.4 閾值調(diào)優(yōu)置信度、NMS、類別權(quán)重的配合訓(xùn)練完模型之后很多新手直接拿去部署結(jié)果漏檢率壓不下去誤檢率又高得離譜。問題多半出在推理閾值沒有結(jié)合實際產(chǎn)線場景調(diào)優(yōu)。我們做了一輪系統(tǒng)性的閾值掃描實驗。在驗證集上分別調(diào)整置信度閾值和NMS的IoU閾值畫出了漏檢率和誤檢率的權(quán)衡曲線。默認(rèn)置信度閾值是0.5但在這個項目里默認(rèn)值表現(xiàn)并不理想。把置信度閾值降到0.3之后漏檢率明顯下降而誤檢率上升幅度還在可控范圍內(nèi)進(jìn)一步降到0.2漏檢率改善不明顯誤檢率卻大幅上升果斷放棄。最終采用0.3作為主閾值。為了平衡不同缺陷類別的偏置我們給嚴(yán)重缺陷類霉變、腐爛設(shè)置了較低的類別置信度閾值比如0.25確保這類缺陷優(yōu)先檢出給果梗殘留設(shè)置了更高的0.4降低誤檢率。這個策略不用重新訓(xùn)練模型純推理側(cè)調(diào)整就能立竿見影。這里有一個訓(xùn)練細(xì)節(jié)要提醒嚴(yán)重缺陷樣本天然少類別不均衡會導(dǎo)致模型對少數(shù)類的學(xué)習(xí)和檢出能力偏弱。除了常規(guī)的類別權(quán)重設(shè)置我們還對嚴(yán)重缺陷的樣本做了過采樣和額外的旋轉(zhuǎn)縮放增強(qiáng)保證模型見過足夠多的變化。4. 部署到產(chǎn)線的實操過程與速度優(yōu)化4.1 部署環(huán)境的三大塊采集、推理、剔除聯(lián)動整個系統(tǒng)部署到產(chǎn)線后核心鏈路是相機(jī)采集圖像、GPU推理、剔除機(jī)構(gòu)動作三塊。采集端由工業(yè)相機(jī)和光電傳感器觸發(fā)果體經(jīng)過光電位置時觸發(fā)相機(jī)抓拍避免連續(xù)運(yùn)行時的無效幀浪費(fèi)算力。推理端運(yùn)行在工控機(jī)GPU上模型輸入640x640的圖像輸出缺陷類別和位置框。剔除端接到PLC信號當(dāng)推理結(jié)果命中缺陷類別時PLC延時控制氣嘴吹掉壞果。光電傳感器觸發(fā)這個細(xì)節(jié)特別值得說。一開始我們沒接光電觸發(fā)相機(jī)一直連續(xù)拍攝GPU算力被大量無果圖像占用推理隊列堆滿速度根本提不上來。后來改了觸發(fā)邏輯只有果體通過檢測區(qū)域時才抓拍一幀GPU負(fù)載立刻降下來一大截。4.2 速度卡在3倍關(guān)口時的三個優(yōu)化手段項目前期實測節(jié)拍在每秒3個果左右就是上不去了離每秒4個果的目標(biāo)還差一截。逐個排查后發(fā)現(xiàn)瓶頸不在模型推理本身而在整條數(shù)據(jù)鏈路。第一個瓶頸是圖像解碼。工業(yè)相機(jī)直接輸出高分辨率原始格式圖像傳出來后由CPU做解碼和預(yù)處理這一步耗掉了將近30毫秒比GPU推理本身還慢。我們把原始格式換成壓縮率適中的無損壓縮格式傳輸解碼時間降了一半。第二個瓶頸是預(yù)處理里的幾何變換。輸入圖像需要做縮放和填充到640x640默認(rèn)實現(xiàn)每次新建內(nèi)存反復(fù)分配釋放。改成預(yù)分配緩存多線程并行執(zhí)行縮放和歸一化預(yù)處理耗時從15毫秒壓到5毫秒以下。第三個瓶頸是推理沒有用TensorRT加速。我們起初用模型原生的推理接口跑速度雖然能接受但距離目標(biāo)節(jié)拍差一口氣。轉(zhuǎn)成TensorRT FP16精度后推理時延從22毫秒降到11毫秒整整快了一倍。對于中小企業(yè)不需要上昂貴的高端顯卡一張常規(guī)算力級別的GPU就能輕松應(yīng)對。4.3 整線節(jié)拍實測3倍不是吹出來的優(yōu)化完畢后我們做了連續(xù)三天的滿負(fù)荷實測。產(chǎn)線以1.0米/秒的皮帶速度運(yùn)行單相機(jī)檢測工位的實際處理能力達(dá)到每秒5個柑橘整線的分選吞吐量比原來的“人工半自動混線”狀態(tài)提升了3.2倍。漏檢率方面每天隨機(jī)抽檢1000個過檢果人工復(fù)核缺陷三天的漏檢率分別為1.6%、1.4%、1.2%平均值約1.4%。誤檢率穩(wěn)定在2.5%左右。對比數(shù)據(jù)我整理成了下表方便直觀參考指標(biāo)原人工半自動混線AI檢測系統(tǒng)檢測速度約1.2個果/秒/人約5個果/秒/工位漏檢率6%~8%1.2%~1.6%誤檢率約5%主觀判斷無量化約2.5%檢測標(biāo)準(zhǔn)一致性波動大統(tǒng)一閾值穩(wěn)定過程數(shù)據(jù)記錄無全量圖像結(jié)果可追溯5. 常見問題與排查技巧實錄5.1 漏檢率一直降不下來問題出在哪如果模型訓(xùn)練完漏檢率還是高先別急著加數(shù)據(jù)或換模型按優(yōu)先級排查下面幾個點光源是否均勻覆蓋整個視野。我調(diào)試時就遇到過曝光不均的問題果體走向定位在暗角缺陷特征直接丟失。解決辦法是調(diào)整光源角度并增加遮光罩減少環(huán)境光干擾。運(yùn)動模糊是否嚴(yán)重。皮帶速度過快時曝光時間太長會導(dǎo)致果體邊緣發(fā)虛細(xì)小缺陷被糊掉。把曝光時間從800微秒縮短到500微秒后圖像清晰度明顯改善。旋轉(zhuǎn)嚴(yán)重缺陷的樣本比例是否不足。腐爛和霉變的早期樣品很難識別如果訓(xùn)練數(shù)據(jù)里早中期樣本太少模型只能學(xué)會晚期嚴(yán)重腐爛漏檢率自然壓不下去。補(bǔ)拍一批早期霉變樣本重新訓(xùn)練后改善明顯。5.2 誤檢率過高別急著調(diào)高置信度閾值誤檢率高大部分人會直接調(diào)高閾值但很容易把漏檢率又帶上去。正確做法是先從數(shù)據(jù)側(cè)找原因。我遇到過誤檢集中在某幾個批次果上的情況原因出在數(shù)據(jù)增強(qiáng)做得不夠模型對特定背景圖案特別敏感。檢查后發(fā)現(xiàn)產(chǎn)線皮帶上有固定紋理和小水漬模型把這些當(dāng)成了缺陷。解決辦法是把干凈的皮帶圖像加入訓(xùn)練集并標(biāo)注為背景類別讓模型學(xué)會忽略背景誤檢率直接降了一個百分點。5.3 現(xiàn)場長期運(yùn)行的維護(hù)坑農(nóng)產(chǎn)品產(chǎn)線環(huán)境比較惡劣粉塵、水汽、震動都不可忽視。鏡頭表面隔三差五就會被塵土遮掩即便肉眼看不到成像質(zhì)量也在緩慢下降。我們配置了一個簡單的定期清潔流程每4小時用氣槍清潔一次鏡頭和光源并在軟件里寫了圖像清晰度監(jiān)測指標(biāo)一旦整體圖像銳度下降超過設(shè)定值就報警。這招救過一次大問題某次光源角度被維護(hù)工人碰到導(dǎo)致光源分布異常如果不是清晰度監(jiān)測報警可能整個白班都要抱著問題數(shù)據(jù)跑。5.4 經(jīng)驗速查表問題排查順序常用解法漏檢率高1. 光源 2. 曝光 3. 訓(xùn)練數(shù)據(jù) 4. 閾值光源調(diào)整、縮短曝光、補(bǔ)樣本、調(diào)類別閾值誤檢率高1. 背景干擾 2. 樣本均衡 3. 閾值后處理加背景樣本、過采樣、調(diào)置信度閾值速度不達(dá)標(biāo)1. 解碼 2. 預(yù)處理 3. 推理加速壓縮格式、緩存復(fù)用、TensorRT/OpenVINO識別時好時壞1. 環(huán)境光 2. 鏡頭清潔 3. 硬件穩(wěn)定性遮光罩、定期清潔、監(jiān)控圖像質(zhì)量寫在最后的實戰(zhàn)體會這套系統(tǒng)上線后跑了一個多月給我最大的感受是農(nóng)產(chǎn)品AI檢測并不是一個“模型訓(xùn)練完就能躺贏”的活真正決定成敗的是對產(chǎn)線場景的理解和數(shù)據(jù)閉環(huán)的建設(shè)。舉個實際的例子模型跑起來之后我們每天都會把當(dāng)天檢出結(jié)果和人工復(fù)檢結(jié)果做對比每周抽一天把模型漏檢的圖像找出來補(bǔ)進(jìn)訓(xùn)練集做增量訓(xùn)練。這個滾雪球式的數(shù)據(jù)閉環(huán)才是漏檢率能持續(xù)穩(wěn)定在1.5%以下的核心原因。另外一個建議給準(zhǔn)備上項目的同行一定要在項目早期就把“標(biāo)準(zhǔn)”這個東西想清楚。標(biāo)準(zhǔn)不只是技術(shù)團(tuán)隊內(nèi)部的指標(biāo)更要是品控團(tuán)隊、產(chǎn)線操作工、設(shè)備維護(hù)人員都能統(tǒng)一理解的判定口徑。這個對齊工作花的時間會在調(diào)試階段加倍還回來。如果你也正在做類似的分選產(chǎn)線改造希望這篇實戰(zhàn)記錄能幫你少踩幾個坑。農(nóng)產(chǎn)品質(zhì)檢的想象空間很大從柑橘到蘋果、土豆、番茄從分選線到采收、倉儲環(huán)節(jié)只要把底層方案吃透換產(chǎn)品只是數(shù)據(jù)層面的問題算法和工程鏈路是可以復(fù)用的。