簡(jiǎn)介在園區(qū)、社區(qū)、地鐵等安防場(chǎng)景中翻越欄桿的實(shí)時(shí)告警需求日益迫切其技術(shù)核心通常落在目標(biāo)檢測(cè)與行為識(shí)別上。傳統(tǒng)通用檢測(cè)模型難以應(yīng)對(duì)監(jiān)控視角下目標(biāo)小、遮擋多、動(dòng)作形態(tài)復(fù)雜的挑戰(zhàn)因此構(gòu)建專用數(shù)據(jù)集并訓(xùn)練定制模型成為落地的關(guān)鍵路徑。本文從數(shù)據(jù)定義出發(fā)厘清翻越行為的類別體系與標(biāo)注規(guī)范系統(tǒng)講解場(chǎng)景采集、難樣本挖掘及數(shù)據(jù)增強(qiáng)策略在此基礎(chǔ)上給出基于YOLOv8的完整訓(xùn)練流程與關(guān)鍵參數(shù)調(diào)優(yōu)方法并針對(duì)誤報(bào)、漏檢等常見問題進(jìn)行深度剖析。通過引入“欄桿”空間約束、軌跡跟蹤及時(shí)序建模等進(jìn)階手段可有效提升復(fù)雜場(chǎng)景下的檢測(cè)魯棒性。內(nèi)容兼顧算法原理與工程實(shí)踐適合安防算法工程師、行為識(shí)別研究者及希望自主構(gòu)建檢測(cè)數(shù)據(jù)集的開發(fā)者參考。 爬欄桿這個(gè)動(dòng)作做安防的兄弟應(yīng)該都不陌生。小區(qū)圍墻、地鐵站臺(tái)、園區(qū)周界、工地隔離帶每天不知道要發(fā)生多少次。傳統(tǒng)監(jiān)控只能事后查錄像真正要做的其實(shí)是“事發(fā)時(shí)報(bào)警”——有人翻越欄桿系統(tǒng)立刻彈窗提醒保安處置。而這件事落到技術(shù)層面核心就是目標(biāo)檢測(cè)在視頻幀里把“正在翻越欄桿的人”這個(gè)目標(biāo)穩(wěn)定地框出來。我之前在公司接過一個(gè)類似需求圍墻周界翻越檢測(cè)甲方點(diǎn)名要實(shí)時(shí)告警誤報(bào)還不能太多。一開始想直接拿公開的摔倒檢測(cè)、入侵檢測(cè)模型湊合用效果慘不忍睹——監(jiān)控視角下的人太小、欄桿形態(tài)千奇百怪、翻越動(dòng)作又往往被遮擋通用模型根本扛不住。后來老老實(shí)實(shí)自己整理數(shù)據(jù)、標(biāo)注、訓(xùn)練才真正把精度拉到可用的水平。這篇東西就圍繞“翻越欄桿行為識(shí)別數(shù)據(jù)集”這個(gè)主題展開聊一下數(shù)據(jù)怎么定義、怎么標(biāo)注、怎么訓(xùn)練、怎么避坑。適合正在做行為識(shí)別、安防算法落地、或者想自己攢數(shù)據(jù)集的同學(xué)參考。1. 項(xiàng)目核心思路與數(shù)據(jù)定義1.1 為什么選目標(biāo)檢測(cè)而不是姿態(tài)估計(jì)或行為分類很多第一次接觸翻越欄桿需求的人第一反應(yīng)是“這不是行為識(shí)別嗎是不是得上時(shí)序模型或者先做人體姿態(tài)估計(jì)再說”。我最初也這么想過但實(shí)際落地驗(yàn)證下來純目標(biāo)檢測(cè)反而是性價(jià)比最高的方案。原因有三層第一業(yè)務(wù)上真正關(guān)心的是“這個(gè)人正在翻越欄桿”這個(gè)瞬間而不是“他抬腿了還是伸手了”這種細(xì)粒度動(dòng)作。目標(biāo)檢測(cè)把問題簡(jiǎn)化成“找到畫面里正在翻越的人/物體”直接對(duì)接業(yè)務(wù)告警邏輯最簡(jiǎn)單。第二姿態(tài)估計(jì)的管線太重。先檢測(cè)人再估計(jì)關(guān)鍵點(diǎn)再判斷姿態(tài)是否構(gòu)成翻越中間任何一環(huán)出錯(cuò)都會(huì)導(dǎo)致整體失效。尤其在監(jiān)控視角下人往往只有幾十個(gè)像素高關(guān)鍵點(diǎn)根本標(biāo)不準(zhǔn)姿態(tài)估計(jì)基本是廢的。而目標(biāo)檢測(cè)在小目標(biāo)上雖然也難但相對(duì)扛得住。第三數(shù)據(jù)標(biāo)注成本差一個(gè)數(shù)量級(jí)。姿態(tài)估計(jì)要標(biāo)17個(gè)關(guān)鍵點(diǎn)目標(biāo)檢測(cè)只需要畫一個(gè)框。對(duì)于預(yù)算有限的團(tuán)隊(duì)少標(biāo)一點(diǎn)、標(biāo)好一點(diǎn)比追求復(fù)雜模型更實(shí)際。所以這個(gè)數(shù)據(jù)集的核心定義就是以目標(biāo)檢測(cè)框的形式標(biāo)注畫面中正在發(fā)生翻越欄桿行為的人、上半身、頭部等關(guān)鍵部位。后面模型訓(xùn)練、評(píng)估、部署都圍繞這個(gè)框來做。1.2 翻越行為的視覺特征與類別體系設(shè)計(jì)數(shù)據(jù)集的類別體系怎么定直接決定模型能學(xué)到什么。我見很多新手上來就標(biāo)一個(gè)類“crossing”把所有人都框成一個(gè)框結(jié)果模型把“站在欄桿旁邊的人”、“蹲下系鞋帶的人”全都誤報(bào)成翻越。問題不在于模型而在于你給模型的定義本身就模糊。我建議類別體系至少拆成三類甚至四類person_crossing正在翻越或已經(jīng)騎跨在欄桿上的人。這類是正樣本模型要輸出的核心目標(biāo)。person_near_fence在欄桿附近活動(dòng)但未發(fā)生翻越動(dòng)作的人。這類是難負(fù)樣本用來壓制誤報(bào)。fence欄桿本身。這一類的用處不是直接參與告警而是讓模型學(xué)習(xí)“人與欄桿的相對(duì)位置關(guān)系”。head_shoulder可選頭部和肩部區(qū)域。在密集遮擋場(chǎng)景下這個(gè)類別能提供額外的上下文信息。如果標(biāo)注預(yù)算有限至少保留前三類。只標(biāo)一類會(huì)讓模型的可判別性大打折扣。翻越行為在視覺上有一個(gè)關(guān)鍵特征人物與欄桿的空間關(guān)系發(fā)生劇烈變化。比如人從欄桿一側(cè)出現(xiàn)在另一側(cè)或者身體重心明顯越過欄桿頂部。這些特征是可以在單幀里捕捉到的所以單幀目標(biāo)檢測(cè)能做到。但如果你的場(chǎng)景里有大量遮擋、欄桿兩側(cè)都有人的情況單幀就不夠用了這時(shí)候才需要考慮加時(shí)序信息比如用相鄰幀的目標(biāo)軌跡做二次判斷。1.3 這個(gè)數(shù)據(jù)集適合誰用、能解決什么問題如果你正在做以下事情翻越欄桿行為識(shí)別數(shù)據(jù)集會(huì)非常對(duì)你的胃口園區(qū)、社區(qū)、工地周界安防要做“翻越告警”功能。地鐵站臺(tái)、公交樞紐的防穿越檢測(cè)。電力、能源站點(diǎn)的安全管控防止人員違規(guī)進(jìn)入危險(xiǎn)區(qū)域。做行為識(shí)別算法研究需要一個(gè)聚焦“翻越”這一具體動(dòng)作的專用數(shù)據(jù)集來驗(yàn)證模型。想學(xué)習(xí)如何構(gòu)建一個(gè)面向真實(shí)場(chǎng)景的檢測(cè)數(shù)據(jù)集了解從采集到訓(xùn)練的全部流程。這個(gè)數(shù)據(jù)集的定位不是通用目標(biāo)檢測(cè)的大而全而是聚焦“翻越欄桿”這一垂直場(chǎng)景。它的價(jià)值在于把“翻越”這個(gè)抽象的動(dòng)作變成模型能直接學(xué)習(xí)的視覺模式。2. 數(shù)據(jù)集構(gòu)建全流程細(xì)節(jié)2.1 場(chǎng)景覆蓋與采集策略數(shù)據(jù)集做得好不好一半取決于采集。我見過太多人隨便網(wǎng)上抓幾百張圖就開始標(biāo)注結(jié)果訓(xùn)練出來的模型在自己的測(cè)試集上看著挺準(zhǔn)一到真實(shí)場(chǎng)景直接崩。原因就是場(chǎng)景覆蓋度不夠。翻越欄桿的行為在真實(shí)環(huán)境里有幾個(gè)關(guān)鍵的變量必須覆蓋到位欄桿類型鐵藝柵欄、水泥矮墻、金屬護(hù)欄、PVC圍擋、石墩鐵鏈。不同形態(tài)的欄桿翻越動(dòng)作的視覺表現(xiàn)差異巨大。鐵藝柵欄鏤空多人物輪廓容易暴露水泥矮墻遮擋嚴(yán)重可能只能看到上半身鐵鏈圍擋輕量低矮翻越更像“跨”。每一種形態(tài)都要有足夠樣本。光照條件白天強(qiáng)光、逆光、陰天、夜晚紅外、路燈下的低照度每種光照都會(huì)顯著改變模型的判斷。尤其是夜間紅外成像人物和欄桿的紋理都會(huì)變化必須單獨(dú)采集。視角與距離監(jiān)控?cái)z像頭一般架在3到6米高度俯視角度在15到45度之間。數(shù)據(jù)集里要包含不同距離的樣本——近處的清晰大目標(biāo)遠(yuǎn)處的幾十像素小目標(biāo)。行為狀態(tài)翻越動(dòng)作本身是一個(gè)過程包括助跑、起跳、跨坐、翻越、落地。標(biāo)注時(shí)最好把所有中間狀態(tài)都覆蓋到而不是只標(biāo)“已經(jīng)騎在欄桿上”的那一幀。人群密度單人在空曠區(qū)域翻越和多人聚集時(shí)有人混在里面翻越難度完全不同。后者對(duì)模型的判別能力要求高得多。采集時(shí)我建議優(yōu)先用真實(shí)監(jiān)控視頻抽幀而不是網(wǎng)上隨便找圖。真實(shí)監(jiān)控的視角、噪點(diǎn)、壓縮偽影都是網(wǎng)上圖片模仿不來的。如果實(shí)在沒有視頻源可以用手機(jī)在擬真場(chǎng)景中模擬翻越行為然后用圖像處理模擬監(jiān)控的俯視效果。一個(gè)可量化的目標(biāo)至少覆蓋10個(gè)以上不同場(chǎng)地點(diǎn)位每個(gè)點(diǎn)位包含3種以上光照條件和2種以上欄桿形態(tài)。樣本總量達(dá)到5000到10000張圖時(shí)模型的魯棒性會(huì)有明顯提升。2.2 標(biāo)注規(guī)范細(xì)節(jié)與坐標(biāo)約定標(biāo)注這一步是整個(gè)數(shù)據(jù)集質(zhì)量的分水嶺。我早期做數(shù)據(jù)集吃過虧自認(rèn)為標(biāo)注得很認(rèn)真訓(xùn)練出來的模型卻總有一些“說不清哪里不對(duì)”的毛病。后來和一位做了多年數(shù)據(jù)標(biāo)注的老手聊了一次才發(fā)現(xiàn)問題全出在標(biāo)注規(guī)范不統(tǒng)一上。標(biāo)注框的約定必須非常明確框住什么對(duì)于“person_crossing”這個(gè)類別我建議框住人物的完整身體輪廓包括四肢伸展的部分。如果欄桿遮擋了部分身體框可以適度外擴(kuò)把可能的肢體活動(dòng)范圍包進(jìn)去但不要大得離譜。遮擋處理目標(biāo)被欄桿、樹木、其他行人遮擋超過50%時(shí)建議不標(biāo)或者單獨(dú)標(biāo)記為“ignore”。遮擋過多的目標(biāo)會(huì)讓模型學(xué)到錯(cuò)誤的特征尤其是把欄桿特征學(xué)進(jìn)人體特征里。邊界處理目標(biāo)在畫面邊緣只有一半身體露出來這種樣本在真實(shí)場(chǎng)景里非常常見必須要標(biāo)。我建議只要目標(biāo)可見部分超過30%就正常標(biāo)注。模糊處理運(yùn)動(dòng)模糊、失焦導(dǎo)致目標(biāo)輪廓不清晰這類樣本要么單獨(dú)歸為“ignore”要么刪除。模型在模糊樣本上強(qiáng)行學(xué)習(xí)通常只會(huì)增加噪聲。標(biāo)注格式建議直接用YOLO的txt格式存儲(chǔ)每行一個(gè)目標(biāo)格式為class_id x_center y_center width height坐標(biāo)都是歸一化到0到1之間的浮點(diǎn)數(shù)。這個(gè)格式兼容性最強(qiáng)YOLOv5/YOLOv8都直接支持。我畫一下YOLO格式坐標(biāo)的一個(gè)示例。假設(shè)一張1920x1080的圖某個(gè)人體檢測(cè)框的左上角坐標(biāo)是(960, 540)右下角是(1200, 810)那么中心點(diǎn)就是((9601200)/2/1920, (540810)/2/1080)寬高就是((1200-960)/1920, (810-540)/1080)。歸一化之后再喂給模型訓(xùn)練不會(huì)因?yàn)閳D像分辨率不同而影響框的尺度。2.3 數(shù)據(jù)清洗與難樣本挖掘采集回來的原始數(shù)據(jù)第一步不是標(biāo)注而是清洗。我常用的清洗手段有這么幾招去重視頻抽幀會(huì)產(chǎn)生大量重復(fù)幀。用感知哈希算法計(jì)算幀之間的相似度相似度超過95%的幀只保留一張。這一步能減少30%到40%的冗余樣本。去除無關(guān)幀很多幀里根本沒有欄桿或者沒有翻越行為直接用目標(biāo)檢測(cè)模型粗篩一遍把沒有人也沒有欄桿的幀扔掉。我一般用YOLOv8n做這步粗篩速度快跑幾千張圖也就幾分鐘。難樣本挖掘訓(xùn)練完第一版模型之后把模型在訓(xùn)練集和真實(shí)場(chǎng)景數(shù)據(jù)上預(yù)測(cè)出錯(cuò)的樣本挑出來人工篩查一遍把錯(cuò)檢、漏檢的樣本加入訓(xùn)練集重新訓(xùn)練。這算是一種“模型輔助的數(shù)據(jù)增強(qiáng)”。我做過一次把誤報(bào)率從12%壓到了5%以下效果立竿見影。2.4 數(shù)據(jù)增強(qiáng)策略翻越欄桿數(shù)據(jù)集的增強(qiáng)策略和通用目標(biāo)檢測(cè)有一些差異。常規(guī)的翻轉(zhuǎn)、縮放、亮度調(diào)整當(dāng)然要做。但翻越行為有一個(gè)特殊性欄桿在畫面中的空間位置往往是固定的而翻越方向可能是從左到右也可能是從右到左。所以水平翻轉(zhuǎn)這個(gè)增強(qiáng)在翻越場(chǎng)景里特別好用等于直接讓數(shù)據(jù)量翻倍。更有價(jià)值的是模擬欄桿遮擋的增強(qiáng)。我實(shí)測(cè)下來在訓(xùn)練時(shí)隨機(jī)在圖像上疊加豎條狀的遮擋塊模擬欄桿對(duì)人物的遮擋模型在真實(shí)欄桿遮擋場(chǎng)景下的表現(xiàn)會(huì)明顯提升。這個(gè)增強(qiáng)很容易實(shí)現(xiàn)——直接在圖像上隨機(jī)畫幾根豎線顏色用欄桿常見的黑色、灰色、綠色寬度和間距隨機(jī)。還有一個(gè)實(shí)用技巧是多尺度訓(xùn)練。翻越欄桿場(chǎng)景里人的尺度變化極大——近處的人可能占半個(gè)屏幕遠(yuǎn)處的人可能只有30個(gè)像素高。訓(xùn)練時(shí)把輸入分辨率隨機(jī)調(diào)整到640到1280之間讓模型適應(yīng)不同尺度下的目標(biāo)。不要迷信固定輸入尺寸多尺度訓(xùn)練的自由度對(duì)這類場(chǎng)景幫助很大。3. 基于YOLOv8的訓(xùn)練實(shí)操3.1 環(huán)境準(zhǔn)備與數(shù)據(jù)集格式整理訓(xùn)練環(huán)節(jié)我直接用YOLOv8框架選Ultralytics版本理由很實(shí)際API簡(jiǎn)潔、文檔全、社區(qū)活躍遇到坑基本都能搜到答案。而且它對(duì)自定義數(shù)據(jù)集的支持很友好只要數(shù)據(jù)集目錄組織正確訓(xùn)練命令就一行。目錄結(jié)構(gòu)建議這樣組織dataset/ ├── images/ │ ├── train/ │ ├── val/ │ └── test/ ├── labels/ │ ├── train/ │ ├── val/ │ └── test/ └── dataset.yamltrain、val、test三個(gè)子集的比例建議7:2:1。val集最好和train集來自不同的采集點(diǎn)位這樣能真實(shí)反映模型的泛化能力。如果偷懶隨機(jī)切分模型在val上的成績(jī)會(huì)虛高實(shí)際部署時(shí)才發(fā)現(xiàn)泛化不行。dataset.yaml的內(nèi)容path: /path/to/dataset train: images/train val: images/val test: images/test names: 0: person_crossing 1: person_near_fence 2: fence3.2 訓(xùn)練命令與關(guān)鍵參數(shù)調(diào)節(jié)數(shù)據(jù)準(zhǔn)備好了訓(xùn)練命令其實(shí)非常簡(jiǎn)單yolo detect train \ data/path/to/dataset/dataset.yaml \ modelyolov8m.pt \ epochs200 \ imgsz1280 \ batch16 \ lr00.01 \ cos_lrTrue \ patience30 \ project/path/to/output幾個(gè)關(guān)鍵參數(shù)我展開說說model我推薦用yolov8m做起點(diǎn)。n太小精度不夠l和x太大訓(xùn)練慢且容易過擬合。m是一個(gè)平衡點(diǎn)。如果真實(shí)場(chǎng)景中目標(biāo)普遍較小可以試試yolov8m-p2P2層對(duì)小目標(biāo)更友好。imgsz這個(gè)參數(shù)非常重要直接影響小目標(biāo)的檢測(cè)效果。我之前用640訓(xùn)練遠(yuǎn)處的翻越目標(biāo)幾乎全漏調(diào)到1280之后小目標(biāo)的召回率提升了將近20%。代價(jià)是訓(xùn)練速度變慢顯存占用變大。如果你的GPU是16G顯存batch要相應(yīng)降到8甚至4。epochs200輪起步配合早停參數(shù)patience30。如果val集上的mAP連續(xù)30輪沒有提升訓(xùn)練會(huì)自動(dòng)停止不會(huì)白耗算力。增強(qiáng)參數(shù)翻越場(chǎng)景建議把hsv_h、hsv_s適當(dāng)調(diào)低因?yàn)楸O(jiān)控視頻的色彩變化相對(duì)較小過強(qiáng)的色彩增強(qiáng)反而會(huì)引入噪聲。但translate和scale可以調(diào)高模擬人物在不同位置的分布。訓(xùn)練日志里主要關(guān)注幾個(gè)指標(biāo)mAP50IoU閾值0.5時(shí)的平均精度。這個(gè)指標(biāo)相對(duì)寬松一般要求做到90%以上。mAP50-95IoU閾值從0.5到0.95逐步提高時(shí)mAP的平均值。這個(gè)指標(biāo)更嚴(yán)格翻越場(chǎng)景能做到65%以上就算不錯(cuò)。precision和recall精召曲線。安防場(chǎng)景我更看重recall漏報(bào)翻越行為比誤報(bào)的后果嚴(yán)重得多。3.3 模型評(píng)估與閾值選擇訓(xùn)練完成后在test集上評(píng)估模型同時(shí)輸出PR曲線和混淆矩陣這一步千萬別跳過。有些人在訓(xùn)練集上看到mAP95%直接就往設(shè)備上部署結(jié)果現(xiàn)場(chǎng)誤報(bào)不斷。評(píng)估時(shí)我會(huì)額外關(guān)注一個(gè)東西模型在“person_near_fence”上的誤報(bào)率。如果模型頻繁把站在欄桿旁的人識(shí)別成翻越說明分類邊界學(xué)得不夠清晰需要想辦法壓制。壓制誤報(bào)有兩條路一是加更多的“person_near_fence”樣本尤其是那些動(dòng)作接近翻越但實(shí)際沒有翻越的樣本二是調(diào)高推理時(shí)的confidence閾值。前者是治本后者是應(yīng)急。正式部署時(shí)我一般把confidence閾值設(shè)在0.25到0.45之間具體數(shù)值要在真實(shí)場(chǎng)景視頻上反復(fù)測(cè)試找到一個(gè)漏報(bào)和誤報(bào)的平衡點(diǎn)。4. 常見問題與避坑實(shí)錄4.1 問題速查表這一節(jié)是踩坑經(jīng)驗(yàn)的精華放一個(gè)速查表方便大家直接對(duì)照排查。問題現(xiàn)象可能原因解決方案遠(yuǎn)處的翻越目標(biāo)漏檢嚴(yán)重訓(xùn)練分辨率太低小目標(biāo)特征丟失將imgsz提升到1280以上或改用P2模型把站在欄桿旁的人誤檢為翻越負(fù)樣本不足分類邊界模糊增加person_near_fence樣本數(shù)量覆蓋更多相似姿態(tài)夜間場(chǎng)景基本失靈訓(xùn)練集中缺少紅外/低光樣本單獨(dú)采集夜間數(shù)據(jù)用單獨(dú)模型或在訓(xùn)練集中按比例混入夜間樣本欄桿遮擋導(dǎo)致漏檢模型沒見過遮擋模式在訓(xùn)練中增加豎條遮擋增強(qiáng)標(biāo)注時(shí)注意遮擋超50%不標(biāo)換個(gè)攝像頭點(diǎn)位效果大幅下降場(chǎng)景過擬合泛化不足采集時(shí)覆蓋多點(diǎn)位val集與train集點(diǎn)位錯(cuò)開交叉驗(yàn)證模型泛化訓(xùn)練loss不下降標(biāo)注框質(zhì)量差存在大量錯(cuò)誤標(biāo)簽抽檢標(biāo)注數(shù)據(jù)修正邊界框清洗錯(cuò)誤樣本同一個(gè)翻越行為被反復(fù)告警視頻幀之間檢測(cè)結(jié)果抖動(dòng)部署時(shí)加入幀級(jí)去抖邏輯連續(xù)N幀命中才觸發(fā)告警4.2 一個(gè)典型案例的排查過程有一次我在一個(gè)工地上測(cè)試模型現(xiàn)場(chǎng)是那種鐵皮圍擋加門禁的布局。模型在辦公室測(cè)試集上mAP50有93%但到了現(xiàn)場(chǎng)不斷誤報(bào)——施工人員頻繁在圍擋附近走動(dòng)模型把人靠近圍擋就判定成翻越。我先是把現(xiàn)場(chǎng)誤報(bào)的視頻抽了200幀拉到標(biāo)注工具里逐一查看發(fā)現(xiàn)80%的誤報(bào)樣本里人物的位置其實(shí)離圍擋還有一段距離但動(dòng)作是彎腰、抬手的姿態(tài)從監(jiān)控的俯視視角看十分接近翻越的瞬間。解決思路不是加負(fù)樣本那么簡(jiǎn)單因?yàn)楝F(xiàn)場(chǎng)人的動(dòng)作太豐富了永遠(yuǎn)加不完。我后來做了一件關(guān)鍵的事把“欄桿”這個(gè)類別的檢測(cè)結(jié)果引入邏輯層。模型不再直接用“person_crossing”的置信度決定是否告警而是判斷邏輯變成只有當(dāng)“person_crossing”置信度大于閾值且該目標(biāo)的檢測(cè)框與“fence”檢測(cè)框存在明顯重疊時(shí)才觸發(fā)告警。兩者缺一不告警。這個(gè)改動(dòng)把誤報(bào)率壓低了70%以上。它本質(zhì)上是在利用欄桿的空間約束彌補(bǔ)純分類模型在語義理解上的不足。4.3 部署環(huán)節(jié)的三個(gè)容易忽視的細(xì)節(jié)訓(xùn)練完成只是第一步真正部署時(shí)還有三個(gè)容易被忽視的坑。第一個(gè)是視頻流抽幀策略。實(shí)時(shí)視頻流里的翻越動(dòng)作往往就發(fā)生在幾秒內(nèi)如果抽幀頻率太低可能直接錯(cuò)過關(guān)鍵幀。我建議在檢測(cè)端做實(shí)時(shí)的逐幀推理或者把抽幀頻率設(shè)在15幀/秒以上同時(shí)加入一個(gè)“持續(xù)檢測(cè)”的邏輯。第二個(gè)是告警觸發(fā)邏輯。前面提到過視頻幀之間檢測(cè)結(jié)果會(huì)有抖動(dòng)。如果不加去抖同一個(gè)動(dòng)作可能觸發(fā)三次告警。我用的方案是連續(xù)3幀都檢測(cè)到目標(biāo)才告警且兩次告警之間的最小間隔設(shè)為10秒。第三個(gè)是算力預(yù)算與模型壓縮。現(xiàn)場(chǎng)如果用的是Jetson系列或嵌入式設(shè)備yolov8m可能跑不動(dòng)。這時(shí)候先用yolov8s甚至yolov8n試試如果精度不夠可以試試TensorRT加速通常能帶來1.5到2倍的性能提升。4.4 從單幀檢測(cè)到行為判斷的進(jìn)階路線如果你不滿足于單幀檢測(cè)想讓模型對(duì)“翻越行為”的判斷更穩(wěn)、更可靠、更抗遮擋可以沿兩條路升級(jí)。第一條是引入跟蹤模塊。用ByteTrack或DeepSORT對(duì)檢測(cè)到的目標(biāo)做軌跡跟蹤當(dāng)一個(gè)目標(biāo)的軌跡跨越了欄桿位置就判定為翻越行為。這種方式對(duì)“站在欄桿旁但未跨過”的誤報(bào)有天然的壓制作用因?yàn)檐壽E沒有跨越欄桿這個(gè)強(qiáng)約束。第二條是引入時(shí)序建模。用一個(gè)輕量級(jí)的序列分類頭把連續(xù)N幀的檢測(cè)結(jié)果序列作為輸入判斷這段序列是否構(gòu)成一次完整的翻越動(dòng)作。本質(zhì)上就是把“單幀檢測(cè)”升級(jí)為“短時(shí)行為識(shí)別”?？尚行陨衔沂球?yàn)證過的但工程復(fù)雜度會(huì)上升不少一般場(chǎng)景用不上。我個(gè)人在實(shí)際操作中的體會(huì)是先把單幀檢測(cè)做到極致再考慮時(shí)序方案。很多團(tuán)隊(duì)的翻越檢測(cè)效果不佳根源是數(shù)據(jù)不足或標(biāo)注不統(tǒng)一模型還沒學(xué)好就急著上復(fù)雜架構(gòu)最后兜兜轉(zhuǎn)轉(zhuǎn)發(fā)現(xiàn)繞了一圈又回到原點(diǎn)。數(shù)據(jù)、標(biāo)注、模型三分天下前兩個(gè)占比至少七成。最后再分享一個(gè)小技巧把訓(xùn)練好的模型在真實(shí)監(jiān)控畫面里跑起來之后一定要留一個(gè)“負(fù)樣本采集”的持續(xù)流程。每天從真實(shí)場(chǎng)景里挑出誤報(bào)幀定期補(bǔ)充到訓(xùn)練集中經(jīng)過兩三輪迭代這個(gè)模型會(huì)越用越順手。翻越欄桿行為的數(shù)據(jù)不會(huì)一次采集到位只有持續(xù)迭代、持續(xù)積累才能在復(fù)雜的真實(shí)場(chǎng)景中立得住。本文還有配套的精品資源點(diǎn)擊獲取