CSR-DCF這個(gè)項(xiàng)目我在實(shí)驗(yàn)室里前前后后折騰了快兩周才把全套流程跑通。當(dāng)時(shí)剛接觸視頻目標(biāo)跟蹤論文看了好幾遍覺(jué)得原理好像懂了一上手源碼才發(fā)現(xiàn)全是細(xì)節(jié)坑。這篇文章就記錄我從零開(kāi)始編譯、配置、運(yùn)行CSR-DCF的完整過(guò)程包括環(huán)境搭建、數(shù)據(jù)集準(zhǔn)備、參數(shù)調(diào)整和各類報(bào)錯(cuò)排查希望能幫你少走點(diǎn)彎路。先說(shuō)清楚這個(gè)項(xiàng)目能做什么。CSR-DCF的全稱是Context-Aware Correlation Filter Tracking也就是“上下文感知相關(guān)濾波跟蹤”是2017年CVPR上提出的一種判別式相關(guān)濾波跟蹤算法。它解決的是視頻中“給定第一幀的目標(biāo)框后續(xù)每一幀如何持續(xù)框住這個(gè)目標(biāo)”的問(wèn)題。相比早期的KCF、DSST等濾波器方法CSR-DCF最大的改進(jìn)是把目標(biāo)周圍的上下文信息顯式地建模進(jìn)濾波器的學(xué)習(xí)過(guò)程同時(shí)引入通道置信度和空間可靠性在遮擋、形變、背景雜亂等場(chǎng)景下表現(xiàn)明顯更穩(wěn)。源碼是作者公開(kāi)的Matlab實(shí)現(xiàn)里面包含完整的訓(xùn)練、檢測(cè)、模型更新流程無(wú)論你是做研究復(fù)現(xiàn)、畢設(shè)參考還是想系統(tǒng)學(xué)習(xí)相關(guān)濾波跟蹤的實(shí)現(xiàn)細(xì)節(jié)都值得把它跑通吃透。1. 先搞明白CSR-DCF到底在跟蹤什么1.1 從相關(guān)濾波說(shuō)起——為什么跟蹤要用它視頻目標(biāo)跟蹤的概念很容易理解給一幀圖像中的目標(biāo)位置在后續(xù)幀中繼續(xù)找到它。難點(diǎn)在于目標(biāo)會(huì)移動(dòng)、會(huì)變形、會(huì)遮擋光線還會(huì)變化。傳統(tǒng)方法有光流法、均值漂移Mean Shift、粒子濾波等各有各的問(wèn)題——有的算得慢有的在遮擋時(shí)容易跟丟。2010年以后相關(guān)濾波Correlation Filter方法逐漸成為主流原因很簡(jiǎn)單它把空間域的卷積計(jì)算轉(zhuǎn)換到頻率域變成了逐元素的乘法計(jì)算速度一下提升了幾個(gè)量級(jí)。用生活類比來(lái)解釋相關(guān)濾波的思路想象你在人群中找一個(gè)穿紅衣服的朋友你腦中有一個(gè)“紅色衣服”的模板。每一幀圖像過(guò)來(lái)你就把模板和圖像的不同位置做“匹配度”計(jì)算匹配度最高的地方就是目標(biāo)最可能存在的位置。相關(guān)濾波就是把這個(gè)“匹配度”計(jì)算做得極其高效——通過(guò)傅里葉變換把原本逐位置滑動(dòng)計(jì)算的復(fù)雜度從 O(n^2) 降到 O(n log n)讓實(shí)時(shí)跟蹤成為可能。KCF2014就是這類方法的代表作它利用循環(huán)移位生成大量訓(xùn)練樣本通過(guò)嶺回歸在頻域中學(xué)習(xí)一個(gè)濾波器。但KCF有個(gè)硬傷它假設(shè)目標(biāo)區(qū)域附近的樣本都是“背景”把所有背景都當(dāng)成負(fù)樣本去懲罰一旦目標(biāo)周圍出現(xiàn)和它相似的干擾物濾波器就會(huì)被帶偏。而且它用固定大小的矩形框去擬合目標(biāo)遇到旋轉(zhuǎn)、非矩形目標(biāo)時(shí)框里會(huì)摻入大量背景漸漸地濾波器學(xué)到的就不是目標(biāo)本身而是“目標(biāo)加背景”的混合體。這也是我最初跑KCF時(shí)最直觀的感受——跟蹤框總是慢慢漂到背景上去尤其是目標(biāo)走過(guò)相似紋理區(qū)域時(shí)幾乎必丟。1.2 CSR-DCF的兩個(gè)關(guān)鍵改動(dòng)上下文感知與空間可靠性CSR-DCF針對(duì)上述問(wèn)題做了兩個(gè)核心改進(jìn)這也是你看源碼時(shí)首先要關(guān)注的邏輯主線。第一個(gè)改進(jìn)叫“上下文感知”Context-Aware。它的思路是與其把目標(biāo)周圍的區(qū)域全部當(dāng)作負(fù)樣本一刀切不如專門采樣一些“上下文塊”context patches把這些塊作為額外的負(fù)樣本約束加進(jìn)濾波器學(xué)習(xí)里。這樣做的好處是什么比如目標(biāo)旁邊有一堵紅墻KCF的做法是把“紅色”當(dāng)作負(fù)特征去抑制但目標(biāo)本身如果是紅色的這種抑制會(huì)誤傷目標(biāo)。CSR-DCF的做法更聰明——它把紅墻作為上下文負(fù)樣本但不是簡(jiǎn)單粗暴地抑制所有紅色而是在濾波器優(yōu)化中讓響應(yīng)圖在上下文區(qū)域盡可能低從而把目標(biāo)和背景區(qū)分得更加精細(xì)。第二個(gè)改進(jìn)是“空間可靠性”Spatial Reliability。傳統(tǒng)相關(guān)濾波假設(shè)目標(biāo)框內(nèi)所有像素都屬于目標(biāo)這在實(shí)際中幾乎不成立。CSR-DCF會(huì)先對(duì)目標(biāo)框內(nèi)的每個(gè)像素針對(duì)HOG特征通道計(jì)算一個(gè)可靠性權(quán)重圖顏色越接近目標(biāo)外觀的像素權(quán)重越高越像背景的權(quán)重越低。這樣一來(lái)雖然名義上候選框還是矩形但濾波器實(shí)際“關(guān)注”的區(qū)域可以是不規(guī)則的極大減少了矩形框內(nèi)背景像素的干擾。這兩個(gè)改動(dòng)合在一起就讓濾波器學(xué)習(xí)變成了一個(gè)帶約束的優(yōu)化問(wèn)題——優(yōu)化目標(biāo)是目標(biāo)區(qū)域響應(yīng)最大化、上下文區(qū)域響應(yīng)最小化同時(shí)還要滿足空間可靠性圖的加權(quán)約束。源碼里的核心函數(shù)基本都是在解這個(gè)優(yōu)化問(wèn)題。CSR-DCF在VOT2016評(píng)測(cè)上拿到了當(dāng)時(shí)最好的成績(jī)實(shí)測(cè)下來(lái)在快速運(yùn)動(dòng)、遮擋短時(shí)恢復(fù)這些場(chǎng)景下確實(shí)比KCF、DSST穩(wěn)得多。2. 環(huán)境準(zhǔn)備從零搭一個(gè)能跑跟蹤實(shí)驗(yàn)的環(huán)境2.1 選Matlab還是Python版這里有個(gè)優(yōu)先級(jí)問(wèn)題CSR-DCF作者官方發(fā)布的是Matlab源碼GitHub地址是alanlukezic/csr-dcf倉(cāng)庫(kù)名就叫csr-dcf。雖然社區(qū)也有Python復(fù)現(xiàn)版本但說(shuō)實(shí)話質(zhì)量和完整度參差不齊有的只實(shí)現(xiàn)了核心濾波部分沒(méi)把上下文采樣和可靠性圖做全跑出來(lái)的效果離論文數(shù)據(jù)差得很遠(yuǎn)。我的建議是如果你是第一次跑直接上官方Matlab源碼踩坑最少如果你不熟悉Matlab或者項(xiàng)目要求Python環(huán)境那就要做好額外排查復(fù)現(xiàn)版本bug的心理準(zhǔn)備。先說(shuō)一下我個(gè)人的環(huán)境配置這個(gè)組合實(shí)測(cè)下來(lái)可以跑通組件版本/說(shuō)明操作系統(tǒng)Windows 10 64位Linux/Ubuntu 18.04也驗(yàn)證過(guò)MatlabR2018b及以上R2020a實(shí)測(cè)無(wú)問(wèn)題編譯器如果Matlab版本較老需要配好MinGW-w64或Visual Studio依賴工具箱Image Processing Toolbox、Statistics Toolbox、Computer Vision Toolbox數(shù)據(jù)集OTB-50或OTB-100子集VOT2016序列這里特別提醒一個(gè)誤區(qū)很多人以為Matlab跑算法只要有基礎(chǔ)環(huán)境就行結(jié)果一運(yùn)行就報(bào)Undefined function imresize或Undefined function rgb2gray——這些其實(shí)是Image Processing Toolbox沒(méi)裝全。CSR-DCF的代碼里用了大量圖像處理函數(shù)包括imresize、rgb2gray、imfilter、edge等工具箱不全會(huì)直接中斷。統(tǒng)計(jì)工具箱主要服務(wù)于部分概率計(jì)算函數(shù)計(jì)算機(jī)視覺(jué)工具箱則是用于讀取視頻和標(biāo)注框的工具類函數(shù)。為了避免裝錯(cuò)建議在Matlab命令行直接執(zhí)行ver查看已安裝工具箱列表確認(rèn)上面三個(gè)都在。2.2 依賴庫(kù)安裝與Matlab工具箱配置如果你是Python方向后來(lái)我也嘗試過(guò)幾個(gè)復(fù)現(xiàn)版這里順便把環(huán)境裝法也寫(xiě)清楚。以使用pip安裝依賴為例pip install numpy scipy opencv-python但在Windows上我遇到過(guò)不少次pip : 無(wú)法將“pip”項(xiàng)識(shí)別為 cmdlet、函數(shù)、腳本文件或可運(yùn)行程序的名稱的報(bào)錯(cuò)。這個(gè)問(wèn)題的根源是Python的Scripts目錄沒(méi)有添加到系統(tǒng)PATH環(huán)境變量中。解決辦法有兩個(gè)一是安裝Python時(shí)勾選“Add Python to PATH”二是安裝完手動(dòng)把C:\Users\用戶名\AppData\Local\Programs\Python\Python3x\Scripts加到系統(tǒng)環(huán)境變量的Path里。注意加完要重新打開(kāi)終端才生效。Matlab這邊另外一個(gè)常見(jiàn)環(huán)境問(wèn)題是編譯mex文件。CSR-DCF源碼里因?yàn)橄Ｍ骖櫵俣炔糠株P(guān)鍵計(jì)算如上下文采樣中的矩陣運(yùn)算通過(guò)mex做了加速。作者在倉(cāng)庫(kù)里附帶了mex_compile.m腳本你需要在Matlab里運(yùn)行它來(lái)編譯這些C文件。運(yùn)行前確保Matlab能識(shí)別到編譯器mex -setup如果這里提示沒(méi)有找到編譯器在Windows上一般需要先安裝MinGW-w64。Matlab官方在Add-On Explorer里就有MinGW-w64編譯器支持包可以直接搜索安裝版本要和你的Matlab版本匹配。我最初用R2018b的時(shí)候裝的是MinGW-w64 6.3版本后面升級(jí)到R2020a后沒(méi)重新配置導(dǎo)致編譯報(bào)錯(cuò)卸載重裝后就好了。2.3 數(shù)據(jù)集準(zhǔn)備OTB與VOT怎么下載、怎么放跑跟蹤算法離不開(kāi)基準(zhǔn)數(shù)據(jù)集。CSR-DCF論文里主要在VOT2016和OTB-100上評(píng)估但你不需要一下載全部幾千個(gè)序列。實(shí)際調(diào)試階段建議只挑兩三個(gè)有代表性的序列就夠了——比如OTB里的Basketball有快速運(yùn)動(dòng)和遮擋、Deer快速運(yùn)動(dòng)運(yùn)動(dòng)模糊、Tiger部分遮擋。這些序列都不長(zhǎng)幾十秒能跑完足夠驗(yàn)證代碼有沒(méi)有跑通。OTB數(shù)據(jù)集的下載方式比較分散常見(jiàn)渠道是跑otb_benchmark項(xiàng)目的download_otb.py腳本或者去視覺(jué)跟蹤官網(wǎng)找打包好的數(shù)據(jù)。下載后每個(gè)序列的目錄結(jié)構(gòu)一般是img/存放逐幀圖像jpg或png按序號(hào)命名groundtruth_rect.txt每行兩個(gè)或四個(gè)數(shù)字表示第一幀目標(biāo)框的x、y、寬、高注意OTB用的是左上角坐標(biāo)加寬高VOT用的是四個(gè)頂點(diǎn)坐標(biāo)把數(shù)據(jù)集放到一個(gè)sequences根目錄下然后在你下載的CSR-DCF源碼的seq_dir參數(shù)里填這個(gè)根目錄即可。我第一次跑的時(shí)候把路徑一層層寫(xiě)錯(cuò)代碼報(bào)Unable to read file后來(lái)干脆寫(xiě)了個(gè)絕對(duì)路徑省去一堆麻煩。源碼里設(shè)置路徑的入口通常在run_tracker.m這個(gè)主腳本的配置段稍后我會(huì)在第三節(jié)詳細(xì)說(shuō)。3. 源碼獲取與運(yùn)行流程實(shí)錄3.1 源碼下載與目錄結(jié)構(gòu)解讀獲取官方源碼的方式很簡(jiǎn)單GitHub上直接clonegit clone https://github.com/alanlukezic/csr-dcf.git這里也可能踩到Windows用戶最常見(jiàn)的坑——git : 無(wú)法將“git”項(xiàng)識(shí)別為 cmdlet、函數(shù)、腳本文件或可運(yùn)行程序的名稱。這同樣是因?yàn)镚it安裝后沒(méi)有把Git\cmd路徑加入PATH。解決辦法還是去系統(tǒng)環(huán)境變量里把Git安裝目錄下的cmd文件夾加進(jìn)去。裝上Git后命令行里輸git --version能顯示版本號(hào)就說(shuō)明環(huán)境OK?？寺∠聛?lái)的目錄結(jié)構(gòu)值得花幾分鐘看一下理解每個(gè)文件的作用對(duì)后面調(diào)試非常有幫助。核心文件是文件/目錄作用run_tracker.m主入口設(shè)置數(shù)據(jù)集路徑、參數(shù)、循環(huán)跑序列tracker跟蹤器核心實(shí)現(xiàn)目錄tracker/csr_dcf.mCSR-DCF主函數(shù)訓(xùn)練、檢測(cè)、更新全在這tracker/feature_projection.m特征提取與降維HOG、顏色等tracker/sample_context.m上下文區(qū)域采樣tracker/learn_filter.m濾波器學(xué)習(xí)——核心優(yōu)化函數(shù)util工具函數(shù)如畫(huà)框、讀圖、GT對(duì)齊mex_compile.mmex編譯腳本download_datasets.m部分?jǐn)?shù)據(jù)集的下載腳本把結(jié)構(gòu)捋清楚后面遇到報(bào)錯(cuò)就能快速定位是哪個(gè)環(huán)節(jié)的問(wèn)題。我自己調(diào)試時(shí)百分之六十的bug都出在csr_dcf.m里的狀態(tài)管理上——比如第一幀初始化時(shí)某些變量還沒(méi)分配后續(xù)幀直接用就容易報(bào)維度不匹配或空矩陣錯(cuò)誤。3.2 修改配置路徑最容易翻車的一步CSR-DCF的run_tracker.m雖然不是特別長(zhǎng)但配置項(xiàng)比較集中全部擠在文件前60行左右。核心配置段大概長(zhǎng)這樣% ------------------------------------------------------------------- % 1. Set up paths % ------------------------------------------------------------------- seq_root D:/datasets/OTB; % 數(shù)據(jù)集的根目錄路徑 seq_name Basketball; % 要跑的序列名字 result_dir ./results; % 結(jié)果輸出目錄 % ------------------------------------------------------------------- % 2. Set global parameters % ------------------------------------------------------------------- params.visualization true; % 是否實(shí)時(shí)顯示跟蹤框 params.save_figure false; % 是否保存每一幀圖片 params.display_position true; % 是否在圖上顯示坐標(biāo) params.use_gpu false; % 是否啟用GPU版本有幾個(gè)關(guān)鍵點(diǎn)要重點(diǎn)檢查第一seq_root路徑務(wù)必改成你自己的絕對(duì)路徑。很多人用相對(duì)路徑但當(dāng)前工作目錄不對(duì)導(dǎo)致找不到圖片序列。我習(xí)慣在run_tracker.m開(kāi)頭寫(xiě)死絕對(duì)路徑雖然不夠優(yōu)雅但最保險(xiǎn)。第二確認(rèn)序列名seq_name和數(shù)據(jù)集文件夾名完全一致包括大小寫(xiě)。OTB數(shù)據(jù)集里的序列名通常是首字母大寫(xiě)比如Basketball、Deer、TigerVOT數(shù)據(jù)集則一般是字母加數(shù)字。名字不匹配就會(huì)報(bào)找不到文件夾排查半天發(fā)現(xiàn)是大小寫(xiě)問(wèn)題的情況我遇到過(guò)不止一次。第三params.use_gpu。CSR-DCF官方版本默認(rèn)CPU實(shí)現(xiàn)如果你機(jī)器有NVIDIA顯卡并且裝了GPU版Matlab可以嘗試設(shè)成true但我實(shí)測(cè)加速效果不明顯反而因?yàn)閿?shù)據(jù)傳輸開(kāi)銷在某些序列上更慢。建議先用CPU跑通再考慮GPU優(yōu)化。3.3 運(yùn)行demo的完整流程與預(yù)期輸出配置好路徑后在Matlab里把當(dāng)前目錄切到源碼根目錄命令行直接run_tracker如果沒(méi)有報(bào)錯(cuò)你會(huì)看到一個(gè)實(shí)時(shí)的可視化窗口第一幀會(huì)畫(huà)出給定的初始目標(biāo)框然后從第二幀開(kāi)始算法自動(dòng)預(yù)測(cè)目標(biāo)位置并畫(huà)框。這個(gè)可視化窗口默認(rèn)會(huì)顯示目標(biāo)的跟蹤框和當(dāng)前的幀號(hào)、響應(yīng)最高值等信息。如果params.visualization設(shè)成false則只會(huì)后臺(tái)計(jì)算最后結(jié)果寫(xiě)到result_dir目錄。跑完一個(gè)序列后輸出目錄下會(huì)生成一個(gè)文本文件通常叫Basketball_CSR-DCF.txt命名規(guī)則一般是“序列名_跟蹤器名.txt”里面每行兩個(gè)數(shù)字——預(yù)測(cè)框的左上角x、y坐標(biāo)有的版本輸出四個(gè)數(shù)字中心坐標(biāo)加寬高。你可能注意到官方輸出默認(rèn)只寫(xiě)中心點(diǎn)坐標(biāo)因?yàn)閂OT評(píng)估只關(guān)心中心位置誤差不關(guān)心框大小是否精確。但如果要做OTB評(píng)估需要的是四參數(shù)框那么在結(jié)果導(dǎo)出部分需要自己改改代碼把寬高也存下來(lái)。以下是我在Basketball序列上跑通的預(yù)期輸出概覽每幀大概耗時(shí)0.1~0.3秒CPU環(huán)境下幀率大約5~10 FPS這屬于正常水平——CSR-DCF因?yàn)樯舷挛牟蓸雍涂煽啃詧D計(jì)算比KCF要慢不少但換來(lái)的是精度提升。如果你跑出來(lái)每幀耗時(shí)超過(guò)1秒先檢查是否誤開(kāi)了可視化導(dǎo)致的渲染開(kāi)銷。4. 運(yùn)行結(jié)果解讀怎么判斷跟蹤好不好4.1 可視化結(jié)果怎么讀算法跑起來(lái)之后很多人第一反應(yīng)是“哇跑了”然后就不知道怎么判斷效果好壞。我認(rèn)為可視化階段至少要關(guān)注三個(gè)點(diǎn)。第一看跟蹤框有沒(méi)有漂移。漂移是相關(guān)濾波方法最常見(jiàn)的失敗模式——前期跟得挺好某一幀開(kāi)始框慢慢偏離目標(biāo)之后越偏越遠(yuǎn)。如果框始終穩(wěn)定壓在目標(biāo)上至少說(shuō)明這個(gè)序列上基本流程是對(duì)的。第二看響應(yīng)圖的峰值特性。CSR-DCF在檢測(cè)階段會(huì)在目標(biāo)位置附近計(jì)算一個(gè)響應(yīng)圖response map響應(yīng)值最高的位置就是目標(biāo)預(yù)測(cè)位置。一個(gè)理想的響應(yīng)圖應(yīng)該呈現(xiàn)清晰的單峰——只有一個(gè)尖銳的峰周圍區(qū)域都很低。如果響應(yīng)圖出現(xiàn)多峰、平坦無(wú)峰或者峰值忽高忽低那說(shuō)明濾波器學(xué)得有問(wèn)題很可能是參數(shù)沒(méi)配好。源碼里可以在可視化模式下把響應(yīng)圖以3D圖形式顯示出來(lái)代碼位置大約在csr_dcf.m的檢測(cè)函數(shù)附近把這行注釋取消掉就能看。第三看目標(biāo)丟失后的恢復(fù)能力。有些跟蹤器一旦丟目標(biāo)就徹底崩潰有些則能在幾幀后重新拉回來(lái)。CSR-DCF在短暫遮擋場(chǎng)景下通常有機(jī)會(huì)恢復(fù)但如果連續(xù)幾十幀目標(biāo)完全不可見(jiàn)恢復(fù)概率也很低。這也是相關(guān)濾波方法的通病——模型在持續(xù)更新遮擋期間會(huì)把遮擋物學(xué)進(jìn)濾波器導(dǎo)致越更新越“臟”。4.2 評(píng)估指標(biāo)精度、成功率、魯棒性跑單個(gè)序列看可視化還不夠要量化評(píng)估效果得用到標(biāo)準(zhǔn)指標(biāo)。跟蹤領(lǐng)域最常用的兩個(gè)指標(biāo)來(lái)自O(shè)TB基準(zhǔn)精度Precision和成功率AUCArea Under Curve。精度指標(biāo)的計(jì)算方式是每一幀預(yù)測(cè)框中心點(diǎn)與真值框中心點(diǎn)之間的歐氏距離如果小于某個(gè)閾值通常20像素就算這一幀跟對(duì)了然后統(tǒng)計(jì)跟對(duì)的幀數(shù)占比。這個(gè)指標(biāo)的缺點(diǎn)是它對(duì)目標(biāo)尺寸不敏感——一個(gè)大目標(biāo)和一個(gè)小目標(biāo)同樣的20像素誤差視覺(jué)上意義完全不同。所以O(shè)TB更推薦看成功率計(jì)算預(yù)測(cè)框和真值框的IoUIntersection over Union交并比統(tǒng)計(jì)IoU超過(guò)某個(gè)閾值通常0.5的幀數(shù)占比再對(duì)多個(gè)閾值計(jì)算曲線下面積就叫AUC。VOT系列用的則是魯棒性Robustness和平均重疊率EAO。魯棒性統(tǒng)計(jì)的是跟蹤過(guò)程中目標(biāo)“丟失”的次數(shù)——預(yù)測(cè)框和真值框的IoU為0就被視為一次丟失。EAO綜合考慮了準(zhǔn)確性和魯棒性是VOT排名的核心依據(jù)。CSR-DCF論文里EAO達(dá)到0.353在VOT2016上排名第一。對(duì)于只想快速驗(yàn)證代碼是否跑對(duì)的人來(lái)說(shuō)我的建議是先用精度指標(biāo)做“冒煙測(cè)試”——跑兩三個(gè)序列算一下精度跟論文或官方README里的參考值對(duì)比如果差異在幾個(gè)百分點(diǎn)以內(nèi)說(shuō)明代碼跑通了如果差出10個(gè)百分點(diǎn)以上八成是某個(gè)參數(shù)或者特征配置不對(duì)需要回頭檢查。具體算指標(biāo)的工具可以用OTB官方提供的evaluation.m腳本或者很多GitHub倉(cāng)庫(kù)里的OPE評(píng)估實(shí)現(xiàn)。5. 運(yùn)行問(wèn)題排查我踩過(guò)的坑和解決方案這一節(jié)是整個(gè)筆記里最實(shí)際的部分我把這段時(shí)間遇到的高頻問(wèn)題整理出來(lái)了按照出現(xiàn)頻率從高到低排序。5.1 環(huán)境與編譯問(wèn)題報(bào)錯(cuò)信息根因解決方式無(wú)法將“git”項(xiàng)識(shí)別為 cmdlet...Git未加入PATH把Git安裝目錄下cmd文件夾加入系統(tǒng)PATH重啟終端無(wú)法將“pip”項(xiàng)識(shí)別為 cmdlet...Python Scripts未加入PATH把Python3x\Scripts目錄加入PATHmex: No compiler foundMatlab找不到C編譯器在Add-On Explorer安裝MinGW-w64或提前裝好Visual StudioUndefined function imresize/imfilter圖像處理工具箱缺失運(yùn)行ver檢查工具箱重新安裝缺失項(xiàng)此擴(kuò)展在此工作區(qū)中被禁用...VS Code中Matlab相關(guān)擴(kuò)展與遠(yuǎn)程環(huán)境沖突在擴(kuò)展管理里允許該擴(kuò)展用于該工作區(qū)這里特別提一下Matlab編譯環(huán)境的坑。不同Matlab版本對(duì)MinGW-w64的官方支持版本是不同的R2018b支持6.3R2020a支持6.3以上R2021a以后開(kāi)始支持8.1。裝錯(cuò)編譯器版本會(huì)導(dǎo)致mex -setup能識(shí)別但一編譯就崩。解決方法是徹底卸載舊編譯器后重裝正確版本然后重啟Matlab注意不是重啟電腦——Matlab在安裝編譯器插件后必須會(huì)話級(jí)重啟才能識(shí)別新環(huán)境。某些深度學(xué)習(xí)熱詞里經(jīng)常提到的“muduo源碼”、“嵌入式內(nèi)核源碼”等和CSR-DCF的編譯環(huán)境本質(zhì)上是一個(gè)道理源碼編譯運(yùn)行的環(huán)境適配往往比代碼本身更耗時(shí)。特別是老代碼多數(shù)用較早期版本開(kāi)發(fā)環(huán)境的依賴關(guān)系越復(fù)雜越容易把時(shí)間花在搭環(huán)境上。建議每部署一個(gè)工具前先建好獨(dú)立的環(huán)境或虛擬環(huán)境避免不同項(xiàng)目互相污染。5.2 代碼邏輯相關(guān)報(bào)錯(cuò)報(bào)錯(cuò)或現(xiàn)象根因解決方式Subscript indices must either be real positive integers目標(biāo)框坐標(biāo)越界或尺寸變成0/負(fù)值檢查第一幀GT讀取是否正常增加坐標(biāo)裁剪保護(hù)Matrix dimensions must agree特征圖尺寸和濾波器尺寸不匹配確認(rèn)上一幀輸出的目標(biāo)尺寸是否傳導(dǎo)正確尤其在目標(biāo)尺寸突變時(shí)運(yùn)行完輸出全是NaN濾波器學(xué)習(xí)出現(xiàn)數(shù)值問(wèn)題減小params.reg正則項(xiàng)或params.fs濾波器尺度檢查特征歸一化是否正確跟蹤框直接消失檢測(cè)時(shí)搜索區(qū)域像素溢出把圖像區(qū)域裁剪限制在圖像邊界內(nèi)用min/max約束一個(gè)具體的場(chǎng)景我在跑Deer序列時(shí)目標(biāo)從畫(huà)面右側(cè)快速?zèng)_出導(dǎo)致某一幀的預(yù)測(cè)中心坐標(biāo)超出了圖像寬度。代碼在下一幀采樣區(qū)域計(jì)算時(shí)報(bào)了Subscript indices錯(cuò)誤。這個(gè)是跟蹤里非常典型的邊界問(wèn)題——目標(biāo)出畫(huà)再重新入畫(huà)。其實(shí)CSR-DCF本身支持目標(biāo)超出畫(huà)面一定范圍的魯棒處理但邊界裁剪部分的實(shí)現(xiàn)依賴你對(duì)參數(shù)padding的理解。params.padding的值決定檢測(cè)時(shí)在目標(biāo)周圍擴(kuò)展多大的搜索區(qū)域默認(rèn)一般是2~3倍目標(biāo)尺寸。如果搜索區(qū)域超出圖像太多又沒(méi)有加clamp操作索引就會(huì)越界?？梢栽赾sr_dcf.m的檢測(cè)區(qū)域計(jì)算部分手動(dòng)加一個(gè)圖像邊界的clamp代碼大約是這樣% 確保搜索區(qū)域不超出圖像邊界 r_min max(1, floor(cy - search_size_h/2)); r_max min(size(img, 1), floor(cy search_size_h/2)); c_min max(1, floor(cx - search_size_w/2)); c_max min(size(img, 2), floor(cx search_size_w/2));類似這種邊界保護(hù)在實(shí)際生產(chǎn)中非常重要在源碼原版里雖然也有但某些邊界條件觸發(fā)不完整。5.3 性能與內(nèi)存問(wèn)題CSR-DCF比KCF慢是正常現(xiàn)象但如果慢到每幀好幾秒那就有問(wèn)題了。最常見(jiàn)的原因是特征提取環(huán)節(jié)的尺寸過(guò)大——params.cell_size默認(rèn)為4意思是HOG特征每一個(gè)單元覆蓋4x4像素特征圖尺寸是原圖的四分之一。如果你把cell_size改成了2特征圖維度變成原來(lái)的4倍后續(xù)所有矩陣運(yùn)算都會(huì)暴漲速度急劇下降。cell_size是精度和速度的平衡開(kāi)關(guān)默認(rèn)4夠用不是特殊情況不建議調(diào)。內(nèi)存方面CSR-DCF在濾波器學(xué)習(xí)時(shí)構(gòu)建的約束矩陣大小和目標(biāo)框尺寸正相關(guān)。目標(biāo)框很大比如超過(guò)200x200像素時(shí)矩陣規(guī)?？捎^。我遇過(guò)好幾次Matlab直接“內(nèi)存不足”崩潰尤其當(dāng)同時(shí)運(yùn)行多個(gè)序列時(shí)。解決思路有兩個(gè)一是減小params.feature_type里的特征組合比如只用HOG不疊加顏色特征二是在run_tracker.m里加上clear all; close all; clc;開(kāi)頭把之前遺留的變量清干凈。還有一個(gè)很多新手忽略的問(wèn)題Matlab里路徑中含有中文或空格時(shí)工具箱函數(shù)可能找不到文件。CSR-DCF官方源碼沒(méi)做Unicode路徑適配如果你的數(shù)據(jù)集路徑或用戶名含中文建議全部改成英文路徑。這也是為什么我特意把數(shù)據(jù)集放在D:/datasets/OTB而不是帶中文的目錄下面。5.4 GitHub項(xiàng)目運(yùn)行的通用思路經(jīng)常會(huì)有人問(wèn)“github上的項(xiàng)目怎么運(yùn)行”其實(shí)大部分項(xiàng)目的運(yùn)行套路都是一樣的第一步把倉(cāng)庫(kù)clone下來(lái)第二步看README第三步安裝依賴第四步跑demo/測(cè)試第五步改配置接入自己的數(shù)據(jù)。CSR-DCF的README寫(xiě)得還算清楚但缺了數(shù)據(jù)集的明確下載說(shuō)明所以很多人卡在第三步和第四步之間。遇到這種情況最實(shí)用的辦法是去Issues區(qū)搜索其他人遇到的問(wèn)題再結(jié)合本文這類運(yùn)行筆記基本能解決百分之八十的疑難雜癥。另一個(gè)容易被忽略的通用坑是舊代碼在編譯器升級(jí)后會(huì)報(bào)unrecognized function或incompatible with C standard編譯錯(cuò)誤。比如CSR-DCF的mex文件在R2018b上能編譯換到R2021a上就可能因?yàn)镃標(biāo)準(zhǔn)庫(kù)變化報(bào)錯(cuò)。解決辦法要么降回老版本Matlab要么把mex原文件里的#include string.h之類頭文件按新標(biāo)準(zhǔn)補(bǔ)齊再不行就改用源碼里的純Matlab實(shí)現(xiàn)路徑跳過(guò)mex編譯。6. 參數(shù)調(diào)優(yōu)讓跟蹤器跑得更準(zhǔn)的一點(diǎn)心得源碼跑通后如果你想進(jìn)一步優(yōu)化在特定序列上的表現(xiàn)有四個(gè)參數(shù)值得研究。第一個(gè)是params.reg濾波器正則化系數(shù)。這個(gè)參數(shù)控制濾波器的平滑程度。值越大濾波器越平滑抗噪聲能力越強(qiáng)但對(duì)目標(biāo)細(xì)節(jié)的區(qū)分度會(huì)下降。默認(rèn)值是1e-3在背景雜亂的序列上可以試試調(diào)到1e-2在目標(biāo)本身紋理很復(fù)雜的序列上可以試試調(diào)低。第二個(gè)是params.padding搜索區(qū)域擴(kuò)展倍數(shù)。默認(rèn)通常設(shè)為3表示搜索區(qū)域是目標(biāo)尺寸的3倍。目標(biāo)運(yùn)動(dòng)速度很快時(shí)需要更大的搜索區(qū)域來(lái)保證目標(biāo)不出畫(huà)面但搜索區(qū)域增大也會(huì)帶來(lái)背景干擾增多的問(wèn)題。慢速目標(biāo)場(chǎng)景下調(diào)到2速度可以提升不少。第三個(gè)是params.n_bins顏色直方圖bin數(shù)量。CSR-DCF的顏色特征用到直方圖統(tǒng)計(jì)bin數(shù)越多顏色分辨率越高但統(tǒng)計(jì)穩(wěn)定性下降。默認(rèn)32個(gè)bin在大多數(shù)場(chǎng)景夠用光照變化大的序列建議降到16增強(qiáng)魯棒性。第四個(gè)是params.lr模型更新率。模型更新的作用是以當(dāng)前幀結(jié)果微調(diào)濾波器以適應(yīng)目標(biāo)外觀變化。更新率太高會(huì)導(dǎo)致目標(biāo)被暫時(shí)遮擋物污染太低則跟不上外觀變化。默認(rèn)0.01左右是經(jīng)驗(yàn)值在長(zhǎng)期遮擋場(chǎng)景下可以調(diào)低到0.005。需要強(qiáng)調(diào)的是這些參數(shù)之間是相互耦合的調(diào)的時(shí)候一次只改一個(gè)觀察結(jié)果再改下一個(gè)。建議固定一組序列作為評(píng)估集比如Basketball、Deer、Tiger三個(gè)各跑五遍取平均用精度和AUC作為反饋信號(hào)來(lái)指導(dǎo)調(diào)參而不是靠肉眼感覺(jué)判斷。我個(gè)人在實(shí)際操作中的體會(huì)是CSR-DCF這個(gè)項(xiàng)目的價(jià)值不僅在于它是一個(gè)能跑通的跟蹤器更在于它代碼結(jié)構(gòu)清晰核心算法模塊獨(dú)立非常適合作為學(xué)習(xí)相關(guān)濾波跟蹤的“活教材”。真正把它當(dāng)項(xiàng)目完整調(diào)試一遍比看十篇論文都管用。如果后續(xù)你有余力還可以試著把Matlab版改寫(xiě)成C或Python用OpenCV在真實(shí)視頻流里做一次實(shí)時(shí)跟蹤demo體驗(yàn)一下從離線實(shí)驗(yàn)到工程落地的完整鏈路。跑通源碼只是第一步能根據(jù)自己的需求改代碼、加功能才算真正入門了視頻目標(biāo)跟蹤。