1. 項(xiàng)目概述從“摳圖”到“分割”圖像處理的兩大基石在圖像處理與計(jì)算機(jī)視覺(jué)的日常工作中無(wú)論是做產(chǎn)品宣傳圖、影視后期還是開(kāi)發(fā)一個(gè)智能相冊(cè)應(yīng)用我們常常會(huì)遇到一個(gè)核心需求如何把圖片里的某個(gè)主體比如一個(gè)人、一輛車(chē)、一只貓精準(zhǔn)地“拿”出來(lái)。這個(gè)“拿”出來(lái)的過(guò)程背后主要依賴兩大技術(shù)Matting摳圖和Segmentation分割。乍一看它們的目標(biāo)似乎都是把主體從背景中分離但內(nèi)里的技術(shù)邏輯、應(yīng)用場(chǎng)景和實(shí)現(xiàn)難度卻天差地別。我從業(yè)十多年處理過(guò)無(wú)數(shù)相關(guān)的項(xiàng)目也踩過(guò)不少坑今天就來(lái)和大家深入聊聊這兩個(gè)概念以及如何為你的項(xiàng)目選擇合適的數(shù)據(jù)集。簡(jiǎn)單來(lái)說(shuō)分割更像是一個(gè)“硬切”的過(guò)程。它把圖像劃分成若干個(gè)互不重疊的區(qū)域每個(gè)像素都被明確地分配到一個(gè)類(lèi)別標(biāo)簽比如“人”、“天空”、“草地”。它的輸出通常是一個(gè)掩碼Mask像素值為0背景或1前景邊界分明。而摳圖則是一個(gè)“軟處理”的藝術(shù)。它專(zhuān)注于處理前景與背景交界處的半透明、毛發(fā)、玻璃、煙霧等復(fù)雜區(qū)域其核心輸出是一個(gè)透明度通道即Alpha Matte。這個(gè)Alpha值在0到1之間連續(xù)變化0代表完全透明背景1代表完全不透明前景而0.5則代表半透明。因此摳圖能實(shí)現(xiàn)極其自然、平滑的融合效果是高質(zhì)量合成不可或缺的一環(huán)。理解這兩者的區(qū)別是選擇正確工具和數(shù)據(jù)集的第一步。如果你只是需要大致區(qū)分物體比如在自動(dòng)駕駛中識(shí)別道路和車(chē)輛分割就足夠了。但如果你需要把人物的發(fā)絲、寵物的絨毛完美地?fù)赋鰜?lái)?yè)Q到一個(gè)新背景里且毫無(wú)違和感那就必須用到摳圖技術(shù)。接下來(lái)我將拆解這兩個(gè)領(lǐng)域并分享如何構(gòu)建和使用相關(guān)數(shù)據(jù)集的核心經(jīng)驗(yàn)。2. 核心概念深度解析Matting與Segmentation的本質(zhì)區(qū)別2.1 任務(wù)定義與輸出形式圖像分割的任務(wù)本質(zhì)是像素級(jí)分類(lèi)。給定一張圖像分割模型的目標(biāo)是為每一個(gè)像素分配一個(gè)離散的類(lèi)別標(biāo)簽。常見(jiàn)的任務(wù)類(lèi)型包括語(yǔ)義分割只區(qū)分類(lèi)別不區(qū)分個(gè)體。例如圖片中所有的“人”都屬于同一個(gè)標(biāo)簽不關(guān)心是張三還是李四。實(shí)例分割在語(yǔ)義分割的基礎(chǔ)上進(jìn)一步區(qū)分同一類(lèi)別的不同個(gè)體。例如能標(biāo)出圖片中“人A”、“人B”、“車(chē)1”、“車(chē)2”。全景分割語(yǔ)義分割和實(shí)例分割的結(jié)合旨在為圖像中的每個(gè)像素分配一個(gè)唯一的實(shí)例ID 類(lèi)別ID對(duì)是當(dāng)前最全面的分割任務(wù)。分割的輸出是一個(gè)與輸入圖像同尺寸的掩碼圖通常用不同的顏色或整數(shù)索引來(lái)表示不同類(lèi)別或?qū)嵗?。它的邊界是“硬”的?即1。圖像摳圖的任務(wù)本質(zhì)是像素級(jí)透明度估計(jì)。它的輸入通常是一張圖像和一個(gè)大致的前景區(qū)域提示如Trimap或涂鴉。Trimap是一張三值圖將圖像區(qū)域明確分為三部分確定前景白色 Alpha1、確定背景黑色 Alpha0和未知區(qū)域灰色 Alpha待估計(jì)。模型的核心工作就是精準(zhǔn)地估計(jì)未知區(qū)域內(nèi)每個(gè)像素的Alpha值。摳圖的輸出是一個(gè)與輸入圖像同尺寸的灰度圖Alpha Matte每個(gè)像素的灰度值0-255對(duì)應(yīng)其透明度0-1。正是這種連續(xù)的透明度信息使得前景物體尤其是邊緣能與新背景實(shí)現(xiàn)無(wú)縫、自然的融合。2.2 技術(shù)難點(diǎn)與應(yīng)用場(chǎng)景對(duì)比兩者的技術(shù)挑戰(zhàn)截然不同分割的難點(diǎn)在于類(lèi)間相似性和小目標(biāo)識(shí)別。例如區(qū)分遠(yuǎn)處的摩托車(chē)和自行車(chē)或者精確分割出圖像中細(xì)小的交通標(biāo)志。它追求的是類(lèi)別判斷的準(zhǔn)確性。摳圖的難點(diǎn)在于復(fù)雜邊緣的透明度估計(jì)。這是計(jì)算機(jī)視覺(jué)中最具挑戰(zhàn)性的問(wèn)題之一。難點(diǎn)集中在半透明物體如玻璃杯、薄紗、水花其本身就有透光性。高頻細(xì)節(jié)邊緣最典型的就是人的頭發(fā)絲、動(dòng)物的毛發(fā)、樹(shù)葉的邊緣。這些區(qū)域顏色和結(jié)構(gòu)極其復(fù)雜前景和背景信息高度交織。前景與背景顏色相似例如一個(gè)穿白衣服的人站在白墻前顏色線索幾乎失效必須依賴更高級(jí)的紋理和結(jié)構(gòu)理解。正因?yàn)殡y點(diǎn)不同它們的應(yīng)用場(chǎng)景也涇渭分明分割的典型場(chǎng)景自動(dòng)駕駛道路、車(chē)輛、行人感知、醫(yī)學(xué)影像分析腫瘤區(qū)域劃分、遙感圖像解譯土地利用分類(lèi)、手機(jī)人像模式粗略背景虛化。摳圖的典型場(chǎng)景影視特效與后期制作綠幕摳像、角色合成、專(zhuān)業(yè)攝影與平面設(shè)計(jì)商品精修、人像藝術(shù)照、視頻會(huì)議與直播虛擬背景替換、手機(jī)App中的高級(jí)人像摳圖發(fā)絲級(jí)精度。注意不要混淆“人像分割”和“人像摳圖”。手機(jī)自帶的人像模式大多用的是分割虛化邊緣生硬而專(zhuān)業(yè)攝影軟件或某些App的“發(fā)絲摳圖”功能使用的才是摳圖技術(shù)。3. 數(shù)據(jù)集構(gòu)建的核心要素與實(shí)戰(zhàn)要點(diǎn)無(wú)論是研究還是產(chǎn)品開(kāi)發(fā)數(shù)據(jù)集的質(zhì)量直接決定了模型性能的天花板。下面我結(jié)合實(shí)戰(zhàn)經(jīng)驗(yàn)分別闡述構(gòu)建和選擇Matting與Segmentation數(shù)據(jù)集時(shí)需要關(guān)注的核心要素。3.1 Matting數(shù)據(jù)集的構(gòu)建精度至上一個(gè)高質(zhì)量的摳圖數(shù)據(jù)集其價(jià)值在于提供了精確到像素級(jí)的Alpha真值。構(gòu)建過(guò)程極其耗時(shí)耗力通常有以下幾種方式專(zhuān)業(yè)軟件手工標(biāo)注這是黃金標(biāo)準(zhǔn)。使用如Adobe Photoshop等專(zhuān)業(yè)工具由經(jīng)驗(yàn)豐富的設(shè)計(jì)師利用通道、鋼筆工具、邊緣調(diào)整等花費(fèi)數(shù)小時(shí)甚至更長(zhǎng)時(shí)間為一張圖像制作完美的Alpha蒙版。這類(lèi)數(shù)據(jù)精度最高但成本也極高。代表數(shù)據(jù)集Adobe Image Matting數(shù)據(jù)集它包含了269張訓(xùn)練圖和10張測(cè)試圖如著名的“Troll”、“Net”等已成為學(xué)術(shù)界的基準(zhǔn)測(cè)試集。合成數(shù)據(jù)這是目前獲取大量訓(xùn)練數(shù)據(jù)的主流方法。流程是收集高質(zhì)量的前景圖帶純凈背景如綠幕拍攝的素材及其對(duì)應(yīng)的精準(zhǔn)Alpha圖。收集多樣化的背景圖庫(kù)。使用合成算法如泊松融合等將前景與背景結(jié)合同時(shí)可以模擬運(yùn)動(dòng)模糊、顏色偏移等真實(shí)噪聲。優(yōu)勢(shì)是數(shù)據(jù)量可以無(wú)限擴(kuò)充且擁有絕對(duì)準(zhǔn)確的Ground Truth。Distinction-646和AM-2k等大型數(shù)據(jù)集都采用了合成策略。真實(shí)世界采集與半自動(dòng)標(biāo)注綠幕拍攝在可控環(huán)境下拍攝通過(guò)色度鍵控初步得到Alpha圖再人工精修。這是影視行業(yè)的常規(guī)做法。多設(shè)備采集例如同時(shí)使用RGB相機(jī)和深度傳感器深度信息有助于區(qū)分前景背景邊界。交互式標(biāo)注工具設(shè)計(jì)智能標(biāo)注工具標(biāo)注員只需簡(jiǎn)單勾勒前景背景算法實(shí)時(shí)預(yù)覽摳圖結(jié)果并迭代修正能大幅提升標(biāo)注效率。構(gòu)建Matting數(shù)據(jù)集的關(guān)鍵注意事項(xiàng)Trimap的生成很多模型需要Trimap作為輸入。通常通過(guò)對(duì)Alpha真值進(jìn)行形態(tài)學(xué)膨脹和腐蝕操作來(lái)生成未知區(qū)域。未知區(qū)域的寬度是一個(gè)重要超參數(shù)太窄則挑戰(zhàn)性不足太寬則可能包含過(guò)多干擾信息。背景的多樣性對(duì)于合成數(shù)據(jù)背景庫(kù)必須足夠豐富涵蓋不同顏色、紋理、光照和復(fù)雜度的場(chǎng)景以避免模型過(guò)擬合到簡(jiǎn)單的背景模式上。邊緣樣本的覆蓋必須包含大量頭發(fā)、絨毛、透明物體等困難樣本這些才是檢驗(yàn)摳圖算法實(shí)力的關(guān)鍵。3.2 Segmentation數(shù)據(jù)集的構(gòu)建規(guī)模與多樣性并重分割數(shù)據(jù)集的構(gòu)建更側(cè)重于類(lèi)別體系的完整性和標(biāo)注的規(guī)模。標(biāo)注范式多邊形標(biāo)注標(biāo)注員用多邊形點(diǎn)序列勾勒出物體輪廓。這是最常用、最靈活的方式精度高適用于不規(guī)則物體。工具如LabelMe、CVAT。像素級(jí)涂鴉類(lèi)似“油漆桶”工具直接對(duì)同一語(yǔ)義區(qū)域進(jìn)行填充。適合大面積、紋理均勻的區(qū)域如天空、道路。交互式分割基于點(diǎn)擊正負(fù)點(diǎn)或涂鴉的智能標(biāo)注由算法如Segment Anything Model初步生成掩碼人工進(jìn)行微調(diào)。這是目前效率最高的前沿方式。類(lèi)別體系設(shè)計(jì)這是語(yǔ)義分割數(shù)據(jù)集的核心。需要根據(jù)應(yīng)用領(lǐng)域精心設(shè)計(jì)一個(gè)層次化、互斥且完備的類(lèi)別列表。例如Cityscapes數(shù)據(jù)集專(zhuān)注于城市場(chǎng)景定義了19個(gè)類(lèi)如道路、人行道、建筑、車(chē)輛等。設(shè)計(jì)時(shí)要考慮類(lèi)別的實(shí)用性和標(biāo)注的可區(qū)分性。數(shù)據(jù)平衡自然圖像中類(lèi)別分布通常是不平衡的如“天空”像素遠(yuǎn)多于“交通標(biāo)志”。在構(gòu)建數(shù)據(jù)集時(shí)需要有意識(shí)地對(duì)稀少類(lèi)別進(jìn)行過(guò)采樣或在損失函數(shù)設(shè)計(jì)時(shí)引入類(lèi)別權(quán)重防止模型忽略小目標(biāo)。構(gòu)建Segmentation數(shù)據(jù)集的關(guān)鍵注意事項(xiàng)標(biāo)注一致性管理當(dāng)有多人參與標(biāo)注時(shí)必須制定詳細(xì)的標(biāo)注規(guī)范并對(duì)邊界案例如“騎自行車(chē)的人”應(yīng)該標(biāo)為“人”還是“自行車(chē)人”進(jìn)行明確定義。定期進(jìn)行交叉審核和一致性檢查至關(guān)重要。邊緣處理物體邊緣像素的類(lèi)別歸屬往往是模糊的。規(guī)范中需明確邊緣像素的處理方式如統(tǒng)一歸為物體內(nèi)部以減少噪聲。利用預(yù)標(biāo)注模型在項(xiàng)目初期可以先用一個(gè)在通用數(shù)據(jù)集如COCO上預(yù)訓(xùn)練的模型對(duì)自有圖片進(jìn)行推理得到初步掩碼再由標(biāo)注員修正。這可以節(jié)省大量初始標(biāo)注時(shí)間。4. 主流數(shù)據(jù)集評(píng)析與選型指南了解核心要素后我們來(lái)看看市面上有哪些“明星”數(shù)據(jù)集以及如何根據(jù)你的項(xiàng)目進(jìn)行選擇。4.1 經(jīng)典與前沿Matting數(shù)據(jù)集數(shù)據(jù)集名稱數(shù)據(jù)量特點(diǎn)與內(nèi)容適用場(chǎng)景注意事項(xiàng)Adobe Composition-1k前景431類(lèi) 背景100源自Adobe官方包含高質(zhì)量前景和多樣背景用于合成訓(xùn)練數(shù)據(jù)。是學(xué)術(shù)研究的事實(shí)基準(zhǔn)。通用摳圖算法研究與評(píng)測(cè)測(cè)試集Adobe-1k的評(píng)估結(jié)果直接影響論文排名。需嚴(yán)格遵循其合成協(xié)議進(jìn)行比較。Distinction-646646張獨(dú)特前景前景物體類(lèi)別豐富人、動(dòng)物、物品等提供精細(xì)Alpha和Trimap。挑戰(zhàn)性高于Adobe-1k。評(píng)估算法在多樣物體上的泛化能力包含許多困難樣本細(xì)密毛發(fā)、透明物能更好檢驗(yàn)?zāi)Ｐ汪敯粜浴M-2k2000張動(dòng)物前景專(zhuān)注于動(dòng)物摳圖涵蓋多種毛發(fā)類(lèi)型長(zhǎng)毛、短毛、絨毛。動(dòng)物摳圖專(zhuān)項(xiàng)研究與應(yīng)用對(duì)于開(kāi)發(fā)寵物照片處理、野生動(dòng)物分析應(yīng)用極具價(jià)值。PhotoMatte8585張人像專(zhuān)業(yè)級(jí)高分辨率人像摳圖數(shù)據(jù)集包含極度復(fù)雜的發(fā)型、配飾面紗。高端人像摳圖與商業(yè)應(yīng)用數(shù)據(jù)量小但質(zhì)量極高可用于模型微調(diào)以提升人像摳圖的極致效果。背景虛化數(shù)據(jù)集大量雙攝圖片對(duì)由手機(jī)雙攝系統(tǒng)采集提供帶背景虛化效果圖與原圖。人像模式算法研究更貼近移動(dòng)端實(shí)際應(yīng)用場(chǎng)景但真值虛化圖本身是由算法生成的并非完美Ground Truth。選型建議學(xué)術(shù)研究與基準(zhǔn)測(cè)試首選Adobe Composition-1k。任何新算法都應(yīng)在此數(shù)據(jù)集上進(jìn)行量化對(duì)比常用指標(biāo)SAD, MSE, Gradient, Connectivity。追求強(qiáng)泛化性的產(chǎn)品建議使用Distinction-646或類(lèi)似大型合成數(shù)據(jù)集進(jìn)行訓(xùn)練并在多個(gè)專(zhuān)項(xiàng)數(shù)據(jù)集如AM-2k, PhotoMatte85上驗(yàn)證。垂直領(lǐng)域應(yīng)用直接尋找或構(gòu)建領(lǐng)域?qū)Ｓ脭?shù)據(jù)集。例如做影視摳像可以收集綠幕素材做商品摳圖可以搭建靜物攝影棚采集數(shù)據(jù)。4.2 經(jīng)典與前沿Segmentation數(shù)據(jù)集數(shù)據(jù)集名稱數(shù)據(jù)量類(lèi)別數(shù)特點(diǎn)與場(chǎng)景適用階段COCO33萬(wàn)圖像 200萬(wàn)實(shí)例80物體類(lèi)別通用物體識(shí)別與分割的標(biāo)桿。類(lèi)別日常標(biāo)注質(zhì)量高包含實(shí)例分割標(biāo)注。通用模型預(yù)訓(xùn)練、遷移學(xué)習(xí)的起點(diǎn)。Cityscapes5000張精細(xì)標(biāo)注 20000張粗標(biāo)注19城市場(chǎng)景語(yǔ)義專(zhuān)注于自動(dòng)駕駛城市場(chǎng)景街拍圖像標(biāo)注極其精細(xì)。自動(dòng)駕駛、街景理解相關(guān)研究與應(yīng)用。PASCAL VOC約1.1萬(wàn)張20歷史悠久是早期分割研究的基準(zhǔn)。規(guī)?，F(xiàn)已偏小。學(xué)習(xí)、教學(xué)或輕量級(jí)模型快速驗(yàn)證。ADE20K2.5萬(wàn)圖像150場(chǎng)景語(yǔ)義覆蓋室內(nèi)外多樣場(chǎng)景類(lèi)別非常豐富包含場(chǎng)景解析。場(chǎng)景理解、語(yǔ)義分割研究需要模型有較強(qiáng)的分類(lèi)能力。LVIS16.4萬(wàn)圖像1200長(zhǎng)尾分布大規(guī)模詞匯表實(shí)例分割類(lèi)別呈長(zhǎng)尾分布很多類(lèi)別樣本極少。研究長(zhǎng)尾識(shí)別、少樣本分割的絕佳數(shù)據(jù)集。選型建議通用模型預(yù)訓(xùn)練COCO是不二之選其豐富的類(lèi)別和大量的數(shù)據(jù)能為模型提供強(qiáng)大的視覺(jué)基礎(chǔ)能力。自動(dòng)駕駛Cityscapes是行業(yè)標(biāo)準(zhǔn)。其精細(xì)的像素級(jí)標(biāo)注和真實(shí)的駕駛場(chǎng)景數(shù)據(jù)至關(guān)重要。學(xué)術(shù)創(chuàng)新根據(jù)研究方向選擇。研究少樣本學(xué)習(xí)看LVIS研究場(chǎng)景解析用ADE20K。工業(yè)應(yīng)用COCO預(yù)訓(xùn)練 自有數(shù)據(jù)微調(diào) 是最常見(jiàn)的 pipeline。你需要花費(fèi)主要精力在構(gòu)建高質(zhì)量、貼合自身業(yè)務(wù)場(chǎng)景的私有數(shù)據(jù)集上。5. 數(shù)據(jù)處理與訓(xùn)練實(shí)戰(zhàn)中的核心技巧有了數(shù)據(jù)集如何高效地用它來(lái)訓(xùn)練模型這里分享一些教科書(shū)里不常寫(xiě)但實(shí)踐中至關(guān)重要的技巧。5.1 針對(duì)Matting數(shù)據(jù)的預(yù)處理與增強(qiáng)摳圖任務(wù)對(duì)邊緣信息極度敏感因此數(shù)據(jù)增強(qiáng)需要格外小心。聯(lián)合增強(qiáng)當(dāng)對(duì)輸入圖像進(jìn)行任何空間變換如旋轉(zhuǎn)、縮放、裁剪、翻轉(zhuǎn)時(shí)必須以完全相同的方式同步變換對(duì)應(yīng)的Alpha真值圖和Trimap圖。任何微小的錯(cuò)位都會(huì)在訓(xùn)練中引入災(zāi)難性的噪聲。在代碼中務(wù)必確保三者的變換參數(shù)完全一致。顏色增強(qiáng)的禁忌亮度、對(duì)比度、色彩抖動(dòng)等顏色空間增強(qiáng)可以安全地用于輸入圖像。但是絕對(duì)不要對(duì)Alpha真值圖進(jìn)行任何顏色或數(shù)值上的變換。Alpha圖是概率圖其值域必須嚴(yán)格保持在[0, 1]區(qū)間。Trimap的在線生成一種有效的策略是在訓(xùn)練時(shí)動(dòng)態(tài)地從Alpha真值生成不同“厚度”的Trimap。這可以增加模型的魯棒性使其不過(guò)度依賴特定寬度的未知區(qū)域。你可以隨機(jī)選擇腐蝕/膨脹的核大小。背景替換增強(qiáng)對(duì)于合成數(shù)據(jù)可以在訓(xùn)練時(shí)動(dòng)態(tài)地為前景匹配新的隨機(jī)背景這能極大地提升模型對(duì)未知背景的泛化能力防止模型“記住”了訓(xùn)練時(shí)的背景組合。5.2 針對(duì)Segmentation數(shù)據(jù)的預(yù)處理與增強(qiáng)分割任務(wù)的數(shù)據(jù)增強(qiáng)則更為通用和激進(jìn)。強(qiáng)空間增強(qiáng)大規(guī)模隨機(jī)裁剪、大角度隨機(jī)旋轉(zhuǎn)、水平翻轉(zhuǎn)、彈性形變等能有效提升模型對(duì)物體位置、姿態(tài)和尺度的不變性。對(duì)于Cityscapes這類(lèi)街道圖像隨機(jī)水平翻轉(zhuǎn)是非常安全且有效的。類(lèi)別平衡采樣在加載數(shù)據(jù)時(shí)不是隨機(jī)讀取圖片而是根據(jù)圖片中稀少類(lèi)別的像素比例給圖片賦予更高的采樣權(quán)重。確保每個(gè)訓(xùn)練周期Epoch中模型都能看到足夠多的稀少類(lèi)別樣本。標(biāo)簽平滑與邊緣模糊對(duì)于分割真值圖的邊緣像素可以嘗試進(jìn)行輕微的標(biāo)簽平滑如將硬標(biāo)簽0/1轉(zhuǎn)化為0.1/0.9或者有意識(shí)地將物體邊界區(qū)域在真值圖中進(jìn)行輕微的高斯模糊。這有助于緩解邊界像素標(biāo)注不一致帶來(lái)的訓(xùn)練噪聲讓模型學(xué)習(xí)到更平滑的邊界。多尺度訓(xùn)練在訓(xùn)練時(shí)將輸入圖像隨機(jī)縮放到多個(gè)尺度例如0.5x, 0.75x, 1.0x, 1.25x, 1.5x。這能讓模型學(xué)會(huì)處理不同大小的物體是提升模型性能的經(jīng)典技巧。5.3 模型訓(xùn)練與損失函數(shù)選擇Matting損失函數(shù)Alpha預(yù)測(cè)損失最直接的是在預(yù)測(cè)Alpha和真值A(chǔ)lpha之間計(jì)算L1或M2SE損失。L1損失對(duì)異常值更魯棒。組合損失許多SOTA模型采用L L_alpha w * L_composition。其中L_composition是在合成圖I_alpha alpha * F (1-alpha) * B與真實(shí)輸入圖之間計(jì)算的損失能利用顏色一致性提供額外監(jiān)督。梯度損失在Alpha預(yù)測(cè)的梯度圖上計(jì)算損失能強(qiáng)制模型學(xué)習(xí)到清晰的邊緣。過(guò)渡區(qū)域聚焦可以為T(mén)rimap中的未知區(qū)域像素分配更高的損失權(quán)重讓模型集中精力攻克最難的部分。Segmentation損失函數(shù)交叉熵?fù)p失最基礎(chǔ)、最常用的損失函數(shù)。對(duì)于類(lèi)別不平衡問(wèn)題需要使用帶權(quán)重的交叉熵?fù)p失根據(jù)類(lèi)別頻率為其分配不同的權(quán)重。Dice Loss / Focal Loss這是處理類(lèi)別不平衡的利器。Dice Loss直接優(yōu)化Dice系數(shù)即IoU對(duì)小目標(biāo)更友好。Focal Loss通過(guò)降低易分類(lèi)樣本的權(quán)重讓模型更關(guān)注難分的樣本。聯(lián)合損失實(shí)踐中常常將多種損失結(jié)合使用例如L L_CE lambda * L_Dice結(jié)合了交叉熵的穩(wěn)定性和Dice Loss對(duì)不平衡數(shù)據(jù)的優(yōu)勢(shì)。6. 常見(jiàn)問(wèn)題排查與效果調(diào)優(yōu)實(shí)錄在實(shí)際開(kāi)發(fā)和調(diào)試中你一定會(huì)遇到各種問(wèn)題。下面是我總結(jié)的一些典型問(wèn)題及其排查思路。6.1 Matting模型常見(jiàn)問(wèn)題問(wèn)題1摳圖結(jié)果邊緣有“白邊”或“黑邊”色偏。原因分析這是最常見(jiàn)的摳圖合成問(wèn)題俗稱“鑲邊”。根本原因在于模型預(yù)測(cè)的Alpha不準(zhǔn)確或者更常見(jiàn)的是前景顏色估計(jì)Color Estimation出現(xiàn)了偏差。在合成新圖像時(shí)公式是I_new alpha * F_est (1-alpha) * B_new。如果從原圖中估計(jì)出的前景色F_est仍然殘留了少量原背景的顏色那么在與新背景B_new合成時(shí)在邊緣半透明區(qū)域就會(huì)產(chǎn)生顏色不匹配形成白邊或黑邊。排查與解決檢查Alpha預(yù)測(cè)首先可視化Alpha預(yù)測(cè)圖看邊緣是否清晰、過(guò)渡是否平滑。如果Alpha圖本身在邊緣處就有鋸齒或噪聲那問(wèn)題根源在此。需要優(yōu)化模型對(duì)邊緣的學(xué)習(xí)。檢查前景估計(jì)很多摳圖算法會(huì)同時(shí)輸出Alpha和前景色F。將估計(jì)的前景色F和原圖在未知區(qū)域進(jìn)行比較。如果F在邊緣處明顯偏離了物體本身的顏色說(shuō)明前景估計(jì)模塊需要加強(qiáng)。可以嘗試使用更精細(xì)的網(wǎng)絡(luò)來(lái)估計(jì)前景或者在損失函數(shù)中加入前景重建損失。后處理-邊緣腐蝕一個(gè)實(shí)用的后處理技巧是對(duì)預(yù)測(cè)的Alpha圖進(jìn)行輕微的形態(tài)學(xué)腐蝕1-2個(gè)像素讓前景邊界向內(nèi)收縮一點(diǎn)點(diǎn)然后再進(jìn)行合成。這樣可以“藏”住有顏色偏差的最外緣像素雖然損失了一絲發(fā)絲細(xì)節(jié)但能有效消除肉眼可見(jiàn)的鑲邊在多數(shù)應(yīng)用中是可接受的權(quán)衡。問(wèn)題2對(duì)于復(fù)雜發(fā)絲摳圖結(jié)果模糊或成團(tuán)塊狀。原因分析模型未能學(xué)習(xí)到高頻的細(xì)節(jié)信息?？赡茉蚓W(wǎng)絡(luò)感受野過(guò)大丟失了局部細(xì)節(jié)訓(xùn)練數(shù)據(jù)中缺乏足夠多、足夠高質(zhì)量的發(fā)絲樣本下采樣操作導(dǎo)致高頻信息丟失。排查與解決引入細(xì)節(jié)分支參考像MODNet這樣的模型設(shè)計(jì)使用一個(gè)高分辨率、淺層的分支專(zhuān)門(mén)用于預(yù)測(cè)細(xì)節(jié)豐富的Alpha邊緣再與主體分支融合。使用高頻損失在損失函數(shù)中增加對(duì)圖像高頻分量的約束例如在梯度域計(jì)算損失強(qiáng)迫模型恢復(fù)出銳利的邊緣。數(shù)據(jù)增強(qiáng)在訓(xùn)練數(shù)據(jù)中專(zhuān)門(mén)針對(duì)發(fā)絲區(qū)域進(jìn)行隨機(jī)裁剪放大讓模型“看清”頭發(fā)的結(jié)構(gòu)。6.2 Segmentation模型常見(jiàn)問(wèn)題問(wèn)題1模型對(duì)小目標(biāo)物體分割效果很差甚至完全檢測(cè)不到。原因分析這是類(lèi)別不平衡和感受野問(wèn)題的綜合體現(xiàn)。小目標(biāo)在圖像中像素占比少在標(biāo)準(zhǔn)交叉熵?fù)p失中貢獻(xiàn)的梯度也小容易被模型忽略。同時(shí)深層網(wǎng)絡(luò)的大感受野更適合捕捉大物體的上下文可能會(huì)“平滑掉”小目標(biāo)。排查與解決損失函數(shù)立即換用Focal Loss或Dice Loss。Focal Loss能自動(dòng)降低大目標(biāo)易分類(lèi)樣本的權(quán)重聚焦于難分的小目標(biāo)。多尺度訓(xùn)練/測(cè)試如前所述使用多尺度訓(xùn)練。在推理時(shí)也可以采用多尺度測(cè)試并融合結(jié)果Test-Time Augmentation這對(duì)提升小目標(biāo)精度尤為有效。調(diào)整輸入分辨率嘗試提高網(wǎng)絡(luò)的輸入圖像分辨率。雖然這會(huì)增加計(jì)算量但能為小目標(biāo)保留更多像素信息。網(wǎng)絡(luò)結(jié)構(gòu)使用特征金字塔網(wǎng)絡(luò)FPN或U-Net等結(jié)構(gòu)它們能更好地融合淺層的高分辨率細(xì)節(jié)特征和深層的語(yǔ)義特征有利于小目標(biāo)分割。問(wèn)題2物體邊界分割鋸齒感嚴(yán)重不夠平滑。原因分析網(wǎng)絡(luò)輸出的特征圖經(jīng)過(guò)多次下采樣和上采樣后邊界信息丟失或模糊最終預(yù)測(cè)時(shí)直接使用Argmax進(jìn)行硬決策導(dǎo)致邊界像素非0即1。排查與解決使用條件隨機(jī)場(chǎng)在模型后處理中加入全連接條件隨機(jī)場(chǎng)DenseCRF。CRF能夠結(jié)合原始圖像的顏色和紋理信息對(duì)初始分割圖的邊界進(jìn)行平滑和細(xì)化是提升邊界質(zhì)量的經(jīng)典后處理手段。很多早期模型如DeepLabv2都采用了這一策略。改進(jìn)上采樣將簡(jiǎn)單的雙線性插值上采樣替換為可學(xué)習(xí)的轉(zhuǎn)置卷積或亞像素卷積讓網(wǎng)絡(luò)自己學(xué)習(xí)如何更好地重建邊界。邊界感知損失在訓(xùn)練時(shí)額外增加一個(gè)邊界預(yù)測(cè)任務(wù)或者直接在損失函數(shù)中為邊界區(qū)域的像素分配更高的權(quán)重引導(dǎo)模型更關(guān)注邊界的準(zhǔn)確性。問(wèn)題3模型在訓(xùn)練集上表現(xiàn)很好但在驗(yàn)證集或新數(shù)據(jù)上表現(xiàn)下降過(guò)擬合。原因分析模型過(guò)于復(fù)雜記住了訓(xùn)練數(shù)據(jù)的噪聲而非一般規(guī)律或訓(xùn)練數(shù)據(jù)多樣性不足與真實(shí)數(shù)據(jù)分布有差距。排查與解決數(shù)據(jù)增強(qiáng)這是對(duì)抗過(guò)擬合的第一道防線。檢查并加強(qiáng)你的數(shù)據(jù)增強(qiáng)策略確保其足夠多樣化和隨機(jī)化。正則化增加Dropout層、權(quán)重衰減L2正則化。早停持續(xù)監(jiān)控驗(yàn)證集指標(biāo)當(dāng)指標(biāo)不再提升時(shí)果斷停止訓(xùn)練。簡(jiǎn)化模型如果數(shù)據(jù)量有限考慮使用更小、參數(shù)更少的網(wǎng)絡(luò)架構(gòu)。檢查數(shù)據(jù)分布確保驗(yàn)證集/測(cè)試集與訓(xùn)練集來(lái)自同一分布。如果收集了新數(shù)據(jù)可能需要重新審視數(shù)據(jù)清洗和標(biāo)注流程。無(wú)論是摳圖還是分割從數(shù)據(jù)集構(gòu)建到模型調(diào)優(yōu)每一個(gè)環(huán)節(jié)都充滿了細(xì)節(jié)和挑戰(zhàn)。我的經(jīng)驗(yàn)是永遠(yuǎn)不要忽視數(shù)據(jù)質(zhì)量本身它比任何精巧的模型結(jié)構(gòu)都重要。在開(kāi)始設(shè)計(jì)復(fù)雜的網(wǎng)絡(luò)之前花時(shí)間分析你的數(shù)據(jù)理解其中的難點(diǎn)和分布構(gòu)建一個(gè)干凈、有代表性的數(shù)據(jù)集往往能事半功倍。當(dāng)模型效果不如預(yù)期時(shí)也請(qǐng)首先回到數(shù)據(jù)層面進(jìn)行檢查可視化一些失敗的案例看看問(wèn)題究竟出在數(shù)據(jù)標(biāo)注不清、樣本太難還是模型本身的能力瓶頸。這種數(shù)據(jù)驅(qū)動(dòng)的調(diào)試思路能幫助你更高效地定位和解決問(wèn)題。