簡介這份資源面向計(jì)算機(jī)視覺入門與進(jìn)階學(xué)習(xí)者以及需要開展目標(biāo)檢測實(shí)戰(zhàn)的開發(fā)者提供了一套可直接用于YOLOv3訓(xùn)練的蘋果數(shù)據(jù)集及配套Python處理代碼。包內(nèi)包含414張?zhí)O果原始圖片、經(jīng)數(shù)據(jù)增強(qiáng)與resize填充后擴(kuò)充至828張的預(yù)處理圖片以及對(duì)應(yīng)的XML標(biāo)注文件標(biāo)注采用labelimg預(yù)選框形式完成可直接對(duì)接YOLOv3的數(shù)據(jù)讀取流程。資源共2000個(gè)文件以1648個(gè)jpg圖像、820個(gè)xml標(biāo)注為主另含少量txt說明與3個(gè)py腳本壓縮包約90.81MB目錄結(jié)構(gòu)清晰便于按原始數(shù)據(jù)、增強(qiáng)數(shù)據(jù)與代碼模塊分別檢索。借助這套素材讀者能夠省去自行采集與標(biāo)注的成本快速跑通數(shù)據(jù)增強(qiáng)、格式轉(zhuǎn)換與模型訓(xùn)練鏈路并對(duì)照腳本理解圖像填充、標(biāo)注解析等關(guān)鍵環(huán)節(jié)適合作為目標(biāo)識(shí)別課程的實(shí)驗(yàn)素材或檢測項(xiàng)目的起步數(shù)據(jù)。目前已有1073人學(xué)習(xí)下載。1. 蘋果照片數(shù)據(jù)集配 Python從 VOC2007 標(biāo)注到可訓(xùn)練樣本的完整鏈路手里有一份VOC2007.zip里面裝的是蘋果照片和對(duì)應(yīng)的 XML 標(biāo)注想拿它訓(xùn)練一個(gè)能識(shí)別蘋果的檢測模型卻卡在「解壓之后不知道從哪下手」——這是很多做農(nóng)業(yè)視覺、果蔬分揀、零售稱重項(xiàng)目的朋友都會(huì)遇到的場景。蘋果照片數(shù)據(jù)集本身不復(fù)雜難的是把 VOC2007 這套老而穩(wěn)的標(biāo)注格式變成 YOLO、SSD、Faster R-CNN 都能直接吃的輸入。Python 在這里扮演的角色不是「跑個(gè)腳本」這么簡單它要完成解壓校驗(yàn)、XML 解析、坐標(biāo)換算、數(shù)據(jù)集劃分、可視化抽檢這一整條流水線。這篇內(nèi)容面向三類人剛配好 Python 環(huán)境想找個(gè)真實(shí)數(shù)據(jù)集練手的新手、做果蔬檢測需要快速驗(yàn)證 baseline 的算法工程師、以及要把標(biāo)注數(shù)據(jù)接進(jìn)自己訓(xùn)練框架的工程同學(xué)。下面按「先看懂 VOC2007 結(jié)構(gòu)再寫解析代碼最后避坑」的順序講透。2. VOC2007 標(biāo)注結(jié)構(gòu)拆解蘋果照片數(shù)據(jù)集里到底存了什么2.1 目錄樹與三個(gè)核心文件夾拿到VOC2007.zip解壓后標(biāo)準(zhǔn)結(jié)構(gòu)長這樣VOC2007/ ├── Annotations/ # 每張圖對(duì)應(yīng)一個(gè) XML存目標(biāo)框和類別 ├── ImageSets/ │ └── Main/ # train.txt / val.txt / trainval.txt / test.txt ├── JPEGImages/ # 原始照片文件名與 XML 一一對(duì)應(yīng) └── SegmentationClass/ # 分割掩碼檢測任務(wù)用不到蘋果照片數(shù)據(jù)集通常只用到前三個(gè)。Annotations里的 XML 是核心它記錄了圖片尺寸、每個(gè)蘋果的邊界框bndboxxmin/ymin/xmax/ymax和類別名name。ImageSets/Main下的 txt 文件只是文件名列表不帶路徑和后綴很多人第一次讀會(huì)在這里翻車。JPEGImages里圖片格式可能混著.jpg和.JPGLinux 下大小寫敏感寫代碼時(shí)要么統(tǒng)一轉(zhuǎn)小寫要么用glob忽略大小寫匹配。2.2 一個(gè) XML 的字段含義與坐標(biāo)系打開任意一個(gè)蘋果的 XML關(guān)鍵片段如下annotation folderVOC2007/folder filenameapple_0001.jpg/filename size width500/width height375/height depth3/depth /size object nameapple/name poseUnspecified/pose truncated0/truncated difficult0/difficult bndbox xmin112/xminymin96/ymin xmax308/xmaxymax290/ymax /bndbox /object /annotationsize里的寬高是原圖尺寸bndbox用的是左上角原點(diǎn)、x 向右、y 向下的像素坐標(biāo)且是 1-based從 1 開始計(jì)數(shù)。這一點(diǎn)極其關(guān)鍵VOC 的坐標(biāo)是 1-based 閉區(qū)間而 YOLO 要求的是 0-based 歸一化中心點(diǎn)加寬高。差一個(gè)像素在訓(xùn)練時(shí)不會(huì)報(bào)錯(cuò)但會(huì)讓框整體偏移mAP 掉幾個(gè)點(diǎn)你都找不到原因。difficult字段表示該目標(biāo)是否難以識(shí)別VOC 官方評(píng)測時(shí)會(huì)忽略 difficult1 的樣本但訓(xùn)練時(shí)是否保留要看你的策略——蘋果數(shù)據(jù)里如果存在大量遮擋果建議保留訓(xùn)練、評(píng)測時(shí)再過濾。2.3 為什么選 VOC2007 而不是直接上 COCO蘋果這類單一品類數(shù)據(jù)集目標(biāo)數(shù)量少、類別只有一到兩個(gè)用 COCO 那套 JSON 標(biāo)注屬于殺雞用牛刀。VOC2007 的優(yōu)勢在于XML 可讀性強(qiáng)Python 標(biāo)準(zhǔn)庫xml.etree.ElementTree就能解析不依賴 pycocotools社區(qū)里幾乎所有檢測框架都保留了對(duì) VOC 格式的導(dǎo)入接口文件體積小蘋果照片數(shù)據(jù)集通常幾百張到幾千張解壓和遍歷都是秒級(jí)。常見做法是先用 VOC 格式把 pipeline 跑通確認(rèn)模型能收斂再考慮要不要轉(zhuǎn)成 COCO 做多類別擴(kuò)展。3. 用 Python 解析蘋果照片數(shù)據(jù)集從 XML 到訓(xùn)練列表3.1 環(huán)境準(zhǔn)備與依賴確認(rèn)先確認(rèn) Python 版本和必要庫。VOC 解析本身只需要標(biāo)準(zhǔn)庫但可視化抽檢會(huì)用到 OpenCV 和 matplotlibpython --version # 建議 3.8 及以上 pip install opencv-python matplotlib numpy如果你用的是 PyCharm 或 VSCode把解釋器指到同一個(gè)環(huán)境即可。xml.etree.ElementTree是內(nèi)置的不需要額外裝。這里不涉及任何需要聯(lián)網(wǎng)下載的模型權(quán)重純本地處理。3.2 解析單個(gè) XML 并提取目標(biāo)框下面這段代碼把一張圖的 XML 讀成結(jié)構(gòu)化數(shù)據(jù)是整條流水線的基礎(chǔ)import xml.etree.ElementTree as ET from pathlib import Path def parse_voc_xml(xml_path): 解析單個(gè) VOC XML返回圖片尺寸和目標(biāo)列表 tree ET.parse(xml_path) root tree.getroot() size root.find(size) width int(size.find(width).text) height int(size.find(height).text) objects [] for obj in root.findall(object): name obj.find(name).text.strip() difficult int(obj.find(difficult).text) box obj.find(bndbox) # VOC 坐標(biāo)是 1-based轉(zhuǎn)成 0-based xmin int(box.find(xmin).text) - 1 ymin int(box.find(ymin).text) - 1 xmax int(box.find(xmax).text) - 1 ymax int(box.find(ymax).text) - 1 objects.append({ name: name, difficult: difficult, bbox: [xmin, ymin, xmax, ymax] }) return {width: width, height: height, objects: objects} if __name__ __main__: info parse_voc_xml(VOC2007/Annotations/apple_0001.xml) print(info[width], info[height]) for o in info[objects]: print(o[name], o[bbox])邏輯說明ET.parse把 XML 加載成樹find取單個(gè)子節(jié)點(diǎn)findall取所有同名節(jié)點(diǎn)。坐標(biāo)減 1 是必須的因?yàn)?VOC 從 1 開始計(jì)數(shù)而后續(xù)所有計(jì)算都基于 0-based。difficult單獨(dú)取出來方便后面按需過濾。參數(shù)上唯一要注意的是name字段可能有前后空格.strip()不能省否則類別名對(duì)不上。3.3 批量遍歷并生成訓(xùn)練清單單張解析只是驗(yàn)證真正要的是把整個(gè)Annotations目錄掃一遍生成帶路徑的清單文件import xml.etree.ElementTree as ET from pathlib import Path import random def build_dataset(root_dir, val_ratio0.2, seed42): root Path(root_dir) ann_dir root / Annotations img_dir root / JPEGImages records [] for xml_file in sorted(ann_dir.glob(*.xml)): stem xml_file.stem # 兼容 .jpg 和 .JPG img_path None for ext in (.jpg, .JPG, .jpeg, .png): candidate img_dir / (stem ext) if candidate.exists(): img_path candidate break if img_path is None: print(f[跳過] 找不到圖片: {stem}) continue info parse_voc_xml(str(xml_file)) if not info[objects]: continue # 無目標(biāo)的負(fù)樣本按需保留 records.append({ image: str(img_path), width: info[width], height: info[height], objects: info[objects] }) random.seed(seed) random.shuffle(records) n_val int(len(records) * val_ratio) val_set records[:n_val] train_set records[n_val:] return train_set, val_set if __name__ __main__: train, val build_dataset(VOC2007) print(f訓(xùn)練集 {len(train)} 張驗(yàn)證集 {len(val)} 張)邏輯說明glob(*.xml)遍歷所有標(biāo)注stem拿到不帶后綴的文件名再用多個(gè)擴(kuò)展名去JPEGImages里找對(duì)應(yīng)圖片這一步解決了大小寫和后綴不一致的問題。random.seed(42)固定隨機(jī)種子保證每次劃分結(jié)果一致方便復(fù)現(xiàn)實(shí)驗(yàn)。val_ratio默認(rèn) 0.2蘋果數(shù)據(jù)量小的時(shí)候可以調(diào)到 0.15把更多樣本留給訓(xùn)練。無目標(biāo)的負(fù)樣本默認(rèn)跳過如果你的場景需要降低誤檢可以把它們保留進(jìn)訓(xùn)練集但標(biāo)注為空。3.4 轉(zhuǎn)成 YOLO 格式的歸一化坐標(biāo)如果你打算用 YOLO 系列訓(xùn)練需要把 VOC 的絕對(duì)坐標(biāo)轉(zhuǎn)成歸一化的中心點(diǎn)加寬高def voc_to_yolo(bbox, img_w, img_h): VOC [xmin,ymin,xmax,ymax] - YOLO [cx,cy,w,h] 歸一化 xmin, ymin, xmax, ymax bbox cx (xmin xmax) / 2.0 / img_w cy (ymin ymax) / 2.0 / img_h w (xmax - xmin) / img_w h (ymax - ymin) / img_h # 裁剪到 [0,1]防止標(biāo)注越界 cx min(max(cx, 0.0), 1.0) cy min(max(cy, 0.0), 1.0) w min(max(w, 0.0), 1.0) h min(max(h, 0.0), 1.0) return [cx, cy, w, h]邏輯說明中心點(diǎn)用(xminxmax)/2再除以寬高寬高直接除以對(duì)應(yīng)尺寸。最后的裁剪是后悔藥——蘋果數(shù)據(jù)集里偶爾會(huì)有標(biāo)注框超出圖片邊界的臟數(shù)據(jù)不裁剪會(huì)導(dǎo)致 YOLO 訓(xùn)練時(shí) loss 異常。類別索引需要你自己維護(hù)一個(gè){apple: 0}的映射表寫 label 文件時(shí)用索引而不是類別名。4. 數(shù)據(jù)校驗(yàn)與可視化抽檢別讓臟標(biāo)注混進(jìn)訓(xùn)練集4.1 三類必須攔截的臟數(shù)據(jù)蘋果照片數(shù)據(jù)集在人工標(biāo)注階段容易留下三類問題框的xmin xmax或ymin ymax坐標(biāo)超出圖片尺寸以及類別名拼寫不一致比如apple和Apple混用。這三類問題不會(huì)讓代碼報(bào)錯(cuò)但會(huì)讓模型學(xué)到錯(cuò)誤的分布。校驗(yàn)邏輯應(yīng)該放在解析之后、寫清單之前def validate_record(rec): 返回 (是否合法, 原因) w, h rec[width], rec[height] for obj in rec[objects]: xmin, ymin, xmax, ymax obj[bbox] if xmin xmax or ymin ymax: return False, f框退化: {obj[bbox]} if xmin 0 or ymin 0 or xmax w or ymax h: return False, f框越界: {obj[bbox]} 圖片 {w}x{h} if obj[name] ! obj[name].strip(): return False, f類別名有空格: {obj[name]} return True, ok邏輯說明退化框和越界框直接判非法類別名帶空格判非法。實(shí)際用的時(shí)候可以把非法記錄寫進(jìn)一個(gè)bad_cases.txt人工復(fù)核后再?zèng)Q定是修正還是丟棄不要靜默跳過。4.2 用 OpenCV 畫框抽檢數(shù)字校驗(yàn)只能查格式框畫得對(duì)不對(duì)還得靠眼睛。隨機(jī)抽 20 張畫框保存是投入訓(xùn)練前最劃算的一步import cv2 import random def visualize_samples(records, out_dir, num20): Path(out_dir).mkdir(parentsTrue, exist_okTrue) samples random.sample(records, min(num, len(records))) for i, rec in enumerate(samples): img cv2.imread(rec[image]) if img is None: continue for obj in rec[objects]: xmin, ymin, xmax, ymax obj[bbox] cv2.rectangle(img, (xmin, ymin), (xmax, ymax), (0, 255, 0), 2) cv2.putText(img, obj[name], (xmin, ymin - 5), cv2.FONT_HERSHEY_SIMPLEX, 0.6, (0, 255, 0), 2) cv2.imwrite(f{out_dir}/check_{i:03d}.jpg, img)邏輯說明cv2.rectangle用 0-based 坐標(biāo)直接畫和解析結(jié)果一致。putText的 y 坐標(biāo)減 5 是為了讓文字不壓住框線。抽檢時(shí)重點(diǎn)看三種情況框是否緊貼蘋果邊緣、有沒有漏標(biāo)、多個(gè)蘋果時(shí)框有沒有重疊錯(cuò)位。這一步花十分鐘能省下后面幾小時(shí)的調(diào)參玄學(xué)。4.3 統(tǒng)計(jì)類別分布與框尺寸訓(xùn)練前還應(yīng)該看一眼類別數(shù)量和框的尺寸分布蘋果數(shù)據(jù)集如果只有一類那分類頭可以設(shè)得很小如果框普遍偏小anchor 尺寸要相應(yīng)調(diào)整import numpy as np def dataset_stats(records): all_w, all_h, count [], [], 0 for rec in records: for obj in rec[objects]: xmin, ymin, xmax, ymax obj[bbox] all_w.append(xmax - xmin) all_h.append(ymax - ymin) count 1 all_w, all_h np.array(all_w), np.array(all_h) print(f總目標(biāo)數(shù): {count}) print(f框?qū)?中位數(shù) {np.median(all_w):.1f} 均值 {all_w.mean():.1f}) print(f框高 中位數(shù) {np.median(all_h):.1f} 均值 {all_h.mean():.1f}) print(f框面積占比中位數(shù): {np.median(all_w * all_h) / (500 * 375):.3f})邏輯說明中位數(shù)比均值更能反映典型框尺寸因?yàn)閭€(gè)別超大框會(huì)把均值拉偏。面積占比用了一個(gè)假設(shè)的圖片尺寸實(shí)際應(yīng)該用每張圖自己的寬高算完再取中位數(shù)。這些統(tǒng)計(jì)值直接決定你選 YOLOv5n 還是 YOLOv5s以及 anchor 要不要重新聚類。5. 避坑與排查蘋果照片數(shù)據(jù)集處理中最容易翻車的五件事5.1 現(xiàn)象訓(xùn)練 loss 正常下降但 mAP 極低原因VOC 坐標(biāo) 1-based 沒有轉(zhuǎn) 0-based或者轉(zhuǎn) YOLO 時(shí)忘了歸一化?？蛘w偏移一兩個(gè)像素在 loss 上看不出來但 IoU 匹配會(huì)大面積失敗。解決在解析函數(shù)里強(qiáng)制減 1轉(zhuǎn) YOLO 時(shí)強(qiáng)制除以寬高并在可視化抽檢時(shí)確認(rèn)框貼合。5.2 現(xiàn)象部分圖片讀進(jìn)來是 None原因cv2.imread遇到中文路徑或損壞文件會(huì)返回 None而JPEGImages里可能混有非圖片文件。解決讀圖后判空跳過同時(shí)用Path.suffix.lower()過濾擴(kuò)展名只保留.jpg/.jpeg/.png。5.3 現(xiàn)象類別名對(duì)不上訓(xùn)練時(shí)提示 unknown class原因XML 里apple和Apple混用或者帶前后空格。解決解析時(shí)統(tǒng)一.strip().lower()并在生成 label 前用集合打印所有出現(xiàn)過的類別名人工確認(rèn)一遍。5.4 現(xiàn)象驗(yàn)證集和訓(xùn)練集有重復(fù)圖片原因ImageSets/Main里原本的劃分和隨機(jī)劃分疊加或者同一張圖有多個(gè) XML。解決以文件名 stem 為唯一鍵去重劃分前先set一遍不要依賴目錄里沒有重復(fù)。5.5 現(xiàn)象小目標(biāo)蘋果檢測效果差原因蘋果在圖中占比小默認(rèn) anchor 偏大。解決用dataset_stats看框尺寸中位數(shù)如果普遍小于 32 像素在 YOLO 配置里增加小尺寸 anchor或者把輸入分辨率從 416 提到 640。6. 把蘋果數(shù)據(jù)集接進(jìn)訓(xùn)練框架一個(gè)可復(fù)用的轉(zhuǎn)換腳本骨架前面幾章把解析、校驗(yàn)、可視化都拆開了實(shí)際項(xiàng)目里我會(huì)把它們串成一個(gè)命令行腳本一次跑完從解壓到生成 YOLO 目錄的全流程。骨架如下import argparse from pathlib import Path def main(): parser argparse.ArgumentParser() parser.add_argument(--voc_root, defaultVOC2007) parser.add_argument(--out_root, defaultdatasets/apple) parser.add_argument(--val_ratio, typefloat, default0.2) args parser.parse_args() train, val build_dataset(args.voc_root, args.val_ratio) out Path(args.out_root) for split, records in ((train, train), (val, val)): img_out out / images / split lbl_out out / labels / split img_out.mkdir(parentsTrue, exist_okTrue) lbl_out.mkdir(parentsTrue, exist_okTrue) for rec in records: stem Path(rec[image]).stem # 復(fù)制圖片 import shutil shutil.copy(rec[image], img_out / f{stem}.jpg) # 寫 YOLO label lines [] for obj in rec[objects]: cls_id 0 # 單類 apple cx, cy, w, h voc_to_yolo(obj[bbox], rec[width], rec[height]) lines.append(f{cls_id} {cx:.6f} {cy:.6f} {w:.6f} {h:.6f}) (lbl_out / f{stem}.txt).write_text(\n.join(lines)) # 生成 data.yaml yaml_text fpath: {out.resolve()} train: images/train val: images/val nc: 1 names: [apple] (out / data.yaml).write_text(yaml_text) print(轉(zhuǎn)換完成data.yaml 已生成) if __name__ __main__: main()邏輯說明腳本把圖片復(fù)制到images/train和images/vallabel 寫到對(duì)應(yīng)labels目錄最后生成 YOLO 訓(xùn)練需要的data.yaml。cls_id寫死為 0 是因?yàn)樘O果數(shù)據(jù)集通常單類多類的話維護(hù)一個(gè)name_to_id字典即可。坐標(biāo)保留 6 位小數(shù)足夠再多是浪費(fèi)。shutil.copy會(huì)實(shí)際占用磁盤數(shù)據(jù)量大時(shí)可以改成軟鏈接。參數(shù)上--val_ratio控制驗(yàn)證集比例--out_root決定輸出位置。跑完之后用yolo detect train datadatasets/apple/data.yaml modelyolov8n.pt epochs100 imgsz640就能起訓(xùn)。第一次跑建議epochs10先驗(yàn)證 pipeline 通不通確認(rèn) loss 在降、驗(yàn)證集能出框再拉長訓(xùn)練。一個(gè)我踩過的坑data.yaml里的path必須用絕對(duì)路徑相對(duì)路徑在不同工作目錄下啟動(dòng)訓(xùn)練會(huì)找不到圖片報(bào)錯(cuò)信息還很隱晦。另外names列表的順序必須和 label 里的cls_id嚴(yán)格對(duì)應(yīng)單類時(shí)無所謂多類時(shí)錯(cuò)一位整個(gè)模型就廢了。這套流程我在幾個(gè)果蔬檢測項(xiàng)目里反復(fù)用過從 VOC2007 到 YOLO 格式核心代碼不到 200 行但每一步的邊界條件都得摳清楚。蘋果照片數(shù)據(jù)集本身不復(fù)雜復(fù)雜的是標(biāo)注里的臟數(shù)據(jù)和格式轉(zhuǎn)換時(shí)的坐標(biāo)陷阱。把可視化抽檢當(dāng)成習(xí)慣每次換數(shù)據(jù)集都先畫 20 張看看比事后調(diào)參省心得多。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取