簡(jiǎn)介這份資源是面向高校學(xué)生與深度學(xué)習(xí)初學(xué)者的車牌識(shí)別系統(tǒng)完整項(xiàng)目包適用于畢業(yè)設(shè)計(jì)、課程設(shè)計(jì)及期末大作業(yè)等場(chǎng)景幫助讀者將卷積神經(jīng)網(wǎng)絡(luò)與OCR技術(shù)落地到真實(shí)圖像識(shí)別任務(wù)中。包內(nèi)共1177個(gè)文件以Python腳本、Markdown文檔、JPG示例圖、TXT說明、YAML配置為主另含少量C、Rust、Jupyter筆記本及模型權(quán)重文件壓縮包約39.43MB覆蓋數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練、驗(yàn)證評(píng)估與預(yù)測(cè)推理全流程。系統(tǒng)以yolov11n完成車牌區(qū)域定位再借助paddleocr實(shí)現(xiàn)文字識(shí)別訓(xùn)練、驗(yàn)證與預(yù)測(cè)腳本分工明確示例圖片可輔助理解運(yùn)行流程。目前已有85人學(xué)習(xí)下載讀者可據(jù)此掌握從數(shù)據(jù)預(yù)處理到模型部署的完整開發(fā)鏈路積累目標(biāo)檢測(cè)與OCR結(jié)合的工程經(jīng)驗(yàn)并作為進(jìn)一步優(yōu)化識(shí)別精度與響應(yīng)速度的實(shí)驗(yàn)平臺(tái)。1. 車牌識(shí)別系統(tǒng)選型為什么是 yolov11n 加 paddleocr 這套組合車牌識(shí)別這件事單靠一個(gè)模型很難端到端搞定。真實(shí)場(chǎng)景里一張卡口圖里車牌可能只占幾十個(gè)像素還伴隨逆光、雨霧、傾斜、遮擋直接上 OCR 大模型去讀整圖準(zhǔn)確率和速度都撐不住。所以工程上更穩(wěn)的做法是拆成兩段先用目標(biāo)檢測(cè)把車牌框出來再對(duì)裁剪出來的小圖做文字識(shí)別。這套「檢測(cè) 識(shí)別」的流水線就是 yolov11n_paddleocr 車牌識(shí)別系統(tǒng)的核心思路。yolov11n 是 YOLO 系列里偏輕量的 n 版本參數(shù)量小、推理快適合部署在邊緣設(shè)備或者單卡服務(wù)器上跑實(shí)時(shí)視頻流paddleocr 負(fù)責(zé)把檢測(cè)框里的車牌字符讀出來它對(duì)中文車牌、雙層黃牌、新能源綠牌的字符集支持比較完整而且自帶方向分類器能處理 180 度倒置的車牌。兩者拼起來一個(gè)管「在哪」一個(gè)管「是什么」職責(zé)清晰替換和調(diào)優(yōu)都方便。這套方案適合誰做智慧停車、園區(qū)卡口、交通違章抓拍、車輛出入管理的團(tuán)隊(duì)尤其是預(yù)算有限、要在 Jetson 或普通 GPU 上跑實(shí)時(shí)推理的場(chǎng)景。如果你手上只有幾百到幾千張標(biāo)注圖又不想從零訓(xùn)一個(gè)端到端大模型這條路線落地周期短、可控性強(qiáng)。下面按數(shù)據(jù)準(zhǔn)備、檢測(cè)訓(xùn)練、識(shí)別對(duì)接、避坑、進(jìn)階的順序把每一步的參數(shù)和坑講清楚。2. 數(shù)據(jù)準(zhǔn)備與標(biāo)注讓 yolov11n 學(xué)得動(dòng)的車牌數(shù)據(jù)集怎么造2.1 車牌檢測(cè)數(shù)據(jù)集的組織格式y(tǒng)olov11n 用的是 YOLO 格式標(biāo)注每張圖對(duì)應(yīng)一個(gè)同名 txt每行是class x_center y_center width height坐標(biāo)都?xì)w一化到 0 到 1。車牌檢測(cè)通常只有一個(gè)類別class 寫 0 就行。目錄結(jié)構(gòu)按 ultralytics 的約定來dataset/ ├── images/ │ ├── train/ │ └── val/ ├── labels/ │ ├── train/ │ └── val/ └── data.yamldata.yaml里寫清楚路徑和類別名path: /home/user/dataset train: images/train val: images/val nc: 1 names: [plate]這里nc是類別數(shù)車牌檢測(cè)只檢「車牌」這一類所以是 1。names的順序必須和標(biāo)注里的 class 編號(hào)一致寫反了模型會(huì)把車牌當(dāng)背景學(xué)。路徑建議用絕對(duì)路徑相對(duì)路徑在不同工作目錄下跑訓(xùn)練容易翻車。2.2 標(biāo)注的四個(gè)實(shí)操要點(diǎn)標(biāo)注工具用 labelImg 或 X-AnyLabeling 都行導(dǎo)出 YOLO 格式。標(biāo)注時(shí)注意幾點(diǎn)框要貼緊車牌四角不要留太多背景否則 OCR 階段裁出來的圖會(huì)帶干擾雙層車牌黃牌大車要把上下兩層整體框住不要只框一層傾斜車牌按最小外接矩形框別硬拉成水平框YOLO 的框是軸對(duì)齊的傾斜太厲害時(shí)框會(huì)包含大量背景這種情況要么增加傾斜樣本要么在預(yù)處理階段做矯正。數(shù)據(jù)量上單類別車牌檢測(cè)train 集 2000 到 5000 張基本能出一個(gè)可用的模型val 集留 10% 到 15%。如果場(chǎng)景固定比如就一個(gè)停車場(chǎng)出口500 張左右也能收斂但泛化會(huì)差。樣本要覆蓋白天、夜間、逆光、雨霧、不同角度尤其是夜間和逆光這兩類不專門補(bǔ)樣本模型上線后大概率在這些場(chǎng)景集體翻車。2.3 用腳本檢查標(biāo)注是否合法標(biāo)注完別急著訓(xùn)先跑個(gè)校驗(yàn)?zāi)_本把越界坐標(biāo)、空標(biāo)注、圖片和標(biāo)簽不匹配的問題揪出來import os from pathlib import Path img_dir Path(dataset/images/train) lbl_dir Path(dataset/labels/train) for lbl in lbl_dir.glob(*.txt): img img_dir / (lbl.stem .jpg) if not img.exists(): print(f缺圖: {lbl.name}) continue with open(lbl) as f: for i, line in enumerate(f): parts line.strip().split() if len(parts) ! 5: print(f{lbl.name} 第{i}行字段數(shù)不對(duì): {line}) continue cls, x, y, w, h parts vals list(map(float, [x, y, w, h])) if any(v 0 or v 1 for v in vals): print(f{lbl.name} 第{i}行坐標(biāo)越界: {line}) if float(w) 0 or float(h) 0: print(f{lbl.name} 第{i}行寬高非正: {line})這段腳本做三件事檢查每張標(biāo)簽有沒有對(duì)應(yīng)圖片、每行是不是 5 個(gè)字段、歸一化坐標(biāo)是否在 0 到 1 之間且寬高為正。越界坐標(biāo)在訓(xùn)練時(shí)會(huì)被 ultralytics 靜默裁剪導(dǎo)致框變形模型學(xué)到的位置就偏了所以必須在訓(xùn)練前清掉。寬高為 0 的框會(huì)讓 loss 計(jì)算出 NaN訓(xùn)練直接崩。3. 訓(xùn)練 yolov11n 檢測(cè)模型參數(shù)怎么設(shè)、指標(biāo)怎么看3.1 從預(yù)訓(xùn)練權(quán)重起步的最小訓(xùn)練命令不要從隨機(jī)初始化訓(xùn)用 COCO 預(yù)訓(xùn)練的 yolov11n 權(quán)重做遷移學(xué)習(xí)收斂快很多。ultralytics 的命令行方式最省事yolo detect train \ modelyolo11n.pt \ datadataset/data.yaml \ epochs100 \ imgsz640 \ batch16 \ lr00.01 \ patience20 \ device0 \ projectruns/plate \ nameyolo11n_plate逐項(xiàng)說下參數(shù)。modelyolo11n.pt是加載預(yù)訓(xùn)練權(quán)重第一次跑會(huì)自動(dòng)下載。imgsz640是輸入分辨率車牌在整圖里偏小的話可以提到 960 或 1280但顯存和速度會(huì)漲。batch16按顯存調(diào)8G 顯存跑 640 大概能到 16跑 1280 就得降到 4 或 8。lr00.01是初始學(xué)習(xí)率遷移學(xué)習(xí)常用 0.01如果 loss 震蕩厲害降到 0.001。patience20是早停20 輪指標(biāo)不漲就停省時(shí)間。device0指定第一塊 GPUCPU 訓(xùn)練把 device 設(shè)成 cpu但速度會(huì)慢到?jīng)]法接受。3.2 訓(xùn)練過程要盯的三個(gè)指標(biāo)訓(xùn)練日志里重點(diǎn)看box_loss、cls_loss和驗(yàn)證集的mAP50。box_loss 管框的位置回歸cls_loss 管分類車牌單類別時(shí) cls_loss 會(huì)降得很快。mAP50 是 IoU 閾值 0.5 下的平均精度車牌檢測(cè)一般能到 0.95 以上算不錯(cuò)。如果 mAP50 卡在 0.7 左右上不去先查標(biāo)注質(zhì)量再看是不是小目標(biāo)太多——車牌在 640 分辨率下小于 16 像素的話模型很難學(xué)好這時(shí)候要么提高 imgsz要么在數(shù)據(jù)增強(qiáng)里加 mosaic 和 copy_paste。驗(yàn)證時(shí)用命令行跑一批圖看效果yolo detect predict \ modelruns/plate/yolo11n_plate/weights/best.pt \ sourcetest_images/ \ conf0.25 \ saveTrueconf0.25是置信度閾值低于這個(gè)值的框不輸出。車牌檢測(cè)可以適當(dāng)調(diào)低到 0.2寧可多檢幾個(gè)框讓 OCR 去過濾也別漏檢。saveTrue把畫了框的結(jié)果存下來肉眼過一遍重點(diǎn)看夜間和逆光樣本有沒有漏。3.3 導(dǎo)出推理格式訓(xùn)練完的 best.pt 是 PyTorch 權(quán)重部署時(shí)按目標(biāo)平臺(tái)導(dǎo)出。GPU 服務(wù)器上跑 TensorRT 最快邊緣設(shè)備用 ONNX 或 OpenVINOyolo export modelbest.pt formatonnx opset12 simplifyTrue yolo export modelbest.pt formatengine halfTrue device0opset12是 ONNX 算子集版本兼容性比較好。simplifyTrue會(huì)做圖優(yōu)化去掉冗余算子。TensorRT 導(dǎo)出加halfTrue用 FP16速度能再提一截精度掉得很少。注意導(dǎo)出 engine 時(shí)的 GPU 型號(hào)要和部署機(jī)器一致?lián)Q卡要重新導(dǎo)出這個(gè)坑很多人踩過。4. 對(duì)接 paddleocr從檢測(cè)框到車牌字符串的完整鏈路4.1 裁剪、矯正、識(shí)別的三步流程yolov11n 輸出的是車牌框坐標(biāo)paddleocr 吃的是裁剪后的小圖。中間要做裁剪和可選的透視矯正。先裝依賴pip install paddlepaddle-gpu paddleocr opencv-python如果只用 CPU 推理裝paddlepaddle就行。然后寫識(shí)別主流程import cv2 from paddleocr import PaddleOCR from ultralytics import YOLO det_model YOLO(best.pt) ocr PaddleOCR(use_angle_clsTrue, langch, show_logFalse) def recognize_plate(img_path): img cv2.imread(img_path) results det_model(img, conf0.25, verboseFalse) plates [] for box in results[0].boxes.xyxy.cpu().numpy(): x1, y1, x2, y2 map(int, box) crop img[y1:y2, x1:x2] if crop.size 0: continue ocr_res ocr.ocr(crop, clsTrue) if not ocr_res or not ocr_res[0]: continue text .join([line[1][0] for line in ocr_res[0]]) score min([line[1][1] for line in ocr_res[0]]) plates.append({text: text, score: score, box: [x1, y1, x2, y2]}) return plates邏輯上分三步Y(jié)OLO 出框、按框裁圖、裁圖送 OCR。use_angle_clsTrue開啟方向分類處理倒置車牌。langch用中文模型能識(shí)別漢字省份簡(jiǎn)稱。ocr.ocr返回的結(jié)構(gòu)是「行」的列表每行含文本和置信度車牌一般只有一行多行的情況雙層牌用 join 拼起來。score取所有行里最低的置信度作為整塊車牌的可信度低于閾值就丟棄。4.2 透視矯正傾斜車牌的后悔藥YOLO 的框是軸對(duì)齊的車牌傾斜時(shí)框里會(huì)混入大量背景OCR 容易讀錯(cuò)。如果檢測(cè)階段能拿到四個(gè)角點(diǎn)可以做透視變換把車牌拉正。ultralytics 默認(rèn)不輸出角點(diǎn)需要自己加一個(gè)關(guān)鍵點(diǎn)分支或者用傳統(tǒng)方法找輪廓。簡(jiǎn)單場(chǎng)景下用最小外接矩形旋轉(zhuǎn)矯正也能救一部分import numpy as np def deskew(crop): gray cv2.cvtColor(crop, cv2.COLOR_BGR2GRAY) _, thresh cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY cv2.THRESH_OTSU) coords np.column_stack(np.where(thresh 0)) if len(coords) 10: return crop angle cv2.minAreaRect(coords)[-1] if angle -45: angle 90 angle h, w crop.shape[:2] M cv2.getRotationMatrix2D((w // 2, h // 2), angle, 1.0) return cv2.warpAffine(crop, M, (w, h), flagscv2.INTER_CUBIC, borderModecv2.BORDER_REPLICATE)這段用 Otsu 二值化后找前景點(diǎn)算最小外接矩形的角度再旋轉(zhuǎn)回正。borderModecv2.BORDER_REPLICATE用邊緣像素填充旋轉(zhuǎn)后的空白避免出現(xiàn)黑邊干擾 OCR。注意這個(gè)方法對(duì)背景復(fù)雜的圖會(huì)失效前景點(diǎn)里混入背景時(shí)角度算不準(zhǔn)所以只適合車牌區(qū)域比較干凈的裁剪圖。4.3 識(shí)別結(jié)果的清洗規(guī)則OCR 出來的字符串不能直接用車牌有固定格式得做規(guī)則校驗(yàn)。普通藍(lán)牌是「省份簡(jiǎn)稱 字母 5 位字母數(shù)字」新能源綠牌是 8 位。寫個(gè)簡(jiǎn)單的校驗(yàn)import re PROVINCES 京津冀晉蒙遼吉黑滬蘇浙皖閩贛魯豫鄂湘粵桂瓊渝川貴云藏陜甘青寧新 def clean_plate(text): text re.sub(r[^A-Z0-9\u4e00-\u9fa5], , text.upper()) if len(text) 7: return None if text[0] not in PROVINCES: return None if not re.match(r^[A-Z][A-Z0-9]{5,6}$, text[1:]): return None return text先去掉非字母數(shù)字漢字的字符再檢查首位是不是合法省份簡(jiǎn)稱后面是不是字母開頭加 5 到 6 位。\u4e00-\u9fa5是漢字 Unicode 范圍。這個(gè)規(guī)則能過濾掉大部分 OCR 誤讀比如把「京」讀成「涼」的情況。規(guī)則不是萬能的新能源牌和使館牌格式特殊按實(shí)際業(yè)務(wù)調(diào)整。5. 避坑與排查車牌識(shí)別上線后最常見的五個(gè)問題5.1 夜間車牌漏檢嚴(yán)重現(xiàn)象是白天檢測(cè)正常夜間 mAP 掉到 0.5 以下大量車牌框不出來。原因是訓(xùn)練集里夜間樣本太少模型沒見過低照度下的車牌紋理。解決分兩步一是補(bǔ)夜間樣本至少占訓(xùn)練集 20%二是在預(yù)處理階段做自適應(yīng)直方圖均衡提升暗部對(duì)比度。用 OpenCV 的 CLAHEclahe cv2.createCLAHE(clipLimit2.0, tileGridSize(8, 8)) lab cv2.cvtColor(img, cv2.COLOR_BGR2LAB) lab[:, :, 0] clahe.apply(lab[:, :, 0]) img cv2.cvtColor(lab, cv2.COLOR_LAB2BGR)在 LAB 空間的 L 通道做均衡不影響顏色。clipLimit2.0控制對(duì)比度增強(qiáng)幅度太大噪聲會(huì)被放大車牌邊緣反而糊。5.2 OCR 把相似字符讀混現(xiàn)象是「0」和「O」、「1」和「I」、「8」和「B」經(jīng)常讀錯(cuò)。原因是車牌字體和 OCR 訓(xùn)練用的通用字體有差異加上裁剪圖分辨率低。解決辦法一是把裁剪圖放大到 OCR 推薦的輸入尺寸一般高度 32 或 48 像素二是用規(guī)則后處理強(qiáng)制替換。車牌里字母 I 和 O 基本不出現(xiàn)避免和 1、0 混淆可以在清洗時(shí)把 I 換成 1、O 換成 0text text.replace(I, 1).replace(O, 0)這個(gè)替換要在省份簡(jiǎn)稱校驗(yàn)之后做避免把漢字誤傷。5.3 檢測(cè)框偏大導(dǎo)致 OCR 讀入背景現(xiàn)象是車牌能檢出但 OCR 結(jié)果里混入廣告字、車身貼紙。原因是標(biāo)注時(shí)框留了太多背景或者模型回歸不準(zhǔn)。解決訓(xùn)練時(shí)把框貼緊車牌推理后對(duì)框做內(nèi)縮按框?qū)捀叩?5% 到 10% 往里收pad_x int((x2 - x1) * 0.05) pad_y int((y2 - y1) * 0.05) crop img[y1 pad_y:y2 - pad_y, x1 pad_x:x2 - pad_x]內(nèi)縮能去掉框邊緣的背景但縮太多會(huì)切掉車牌字符5% 到 10% 是經(jīng)驗(yàn)值按實(shí)際效果調(diào)。5.4 推理速度達(dá)不到實(shí)時(shí)現(xiàn)象是單幀處理超過 100ms視頻流卡頓。排查順序先看 YOLO 推理耗時(shí)再看 OCR 耗時(shí)。YOLO 用 TensorRT FP16 一般能到 5ms 以內(nèi)OCR 是瓶頸paddleocr 的檢測(cè)加識(shí)別在 GPU 上大概 20 到 40ms。優(yōu)化手段OCR 只跑識(shí)別不跑檢測(cè)因?yàn)檐嚺埔呀?jīng)裁好了關(guān)掉不需要的模塊把 OCR 的det設(shè)為 False直接用識(shí)別模型ocr PaddleOCR(use_angle_clsTrue, langch, detFalse, recTrue)detFalse跳過 OCR 自帶的文本檢測(cè)省一大半時(shí)間。另外批處理也能提吞吐把多塊車牌拼成一個(gè) batch 送 OCR。5.5 換部署機(jī)器后精度暴跌現(xiàn)象是開發(fā)機(jī)上 mAP 0.95換到另一臺(tái)機(jī)器掉到 0.6。原因是導(dǎo)出的 TensorRT engine 綁定了特定 GPU 架構(gòu)和 TensorRT 版本換卡后不兼容或者 FP16 在舊卡上精度損失大。解決部署機(jī)器上重新導(dǎo)出 engine別跨機(jī)器拷貝舊卡算力低于 7.0用 FP32 導(dǎo)出別開 half。ONNX 格式跨平臺(tái)兼容性好實(shí)在搞不定就用 ONNX Runtime 跑。6. 進(jìn)階技巧用關(guān)鍵點(diǎn)回歸把車牌矯正做到端到端前面用最小外接矩形矯正傾斜車牌背景復(fù)雜時(shí)會(huì)失效。更穩(wěn)的做法是讓 yolov11n 在檢測(cè)的同時(shí)回歸車牌的四個(gè)角點(diǎn)拿到角點(diǎn)后直接做透視變換一步到位。ultralytics 支持關(guān)鍵點(diǎn)任務(wù)把數(shù)據(jù)集標(biāo)注從框擴(kuò)展成框加四個(gè)角點(diǎn)格式是class x y w h px1 py1 px2 py2 px3 py3 px4 py4角點(diǎn)也歸一化。訓(xùn)練時(shí)把任務(wù)設(shè)成 poseyolo pose train modelyolo11n-pose.pt dataplate_pose.yaml epochs100 imgsz640推理時(shí)拿到角點(diǎn)用cv2.getPerspectiveTransform把車牌拉成標(biāo)準(zhǔn)矩形def perspective_crop(img, pts): pts np.array(pts, dtypenp.float32).reshape(4, 2) rect np.zeros((4, 2), dtypenp.float32) s pts.sum(axis1) rect[0] pts[np.argmin(s)] rect[2] pts[np.argmax(s)] d np.diff(pts, axis1) rect[1] pts[np.argmin(d)] rect[3] pts[np.argmax(d)] w int(max(np.linalg.norm(rect[0] - rect[1]), np.linalg.norm(rect[2] - rect[3]))) h int(max(np.linalg.norm(rect[0] - rect[3]), np.linalg.norm(rect[1] - rect[2]))) dst np.array([[0, 0], [w - 1, 0], [w - 1, h - 1], [0, h - 1]], dtypenp.float32) M cv2.getPerspectiveTransform(rect, dst) return cv2.warpPerspective(img, M, (w, h))角點(diǎn)排序的邏輯是左上角坐標(biāo)和最小右下角和最大右上角坐標(biāo)差最小左下角差最大。透視變換后車牌變成水平矩形OCR 準(zhǔn)確率能明顯提升尤其是大角度傾斜的場(chǎng)景。代價(jià)是標(biāo)注成本高每張圖要標(biāo)四個(gè)角點(diǎn)數(shù)據(jù)量需求也更大幾千張起步。如果業(yè)務(wù)場(chǎng)景里車牌基本都是正對(duì)攝像頭用前面的旋轉(zhuǎn)矯正就夠了不必上關(guān)鍵點(diǎn)。驗(yàn)證整套系統(tǒng)時(shí)我習(xí)慣準(zhǔn)備一個(gè)包含 200 張圖的回歸測(cè)試集覆蓋白天、夜間、逆光、傾斜、雙層牌每次改完模型或參數(shù)都跑一遍記錄端到端準(zhǔn)確率檢測(cè)框 IoU 大于 0.5 且 OCR 字符串完全正確。這個(gè)數(shù)字比單看 mAP 更能反映上線效果。踩過的坑里最虧的一次是沒做回歸測(cè)試就換了 OCR 版本結(jié)果新能源牌識(shí)別率掉了 15%上線后第二天才發(fā)現(xiàn)。現(xiàn)在我改任何一環(huán)都先跑回歸集寧可多花十分鐘也不賭線上不出事。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取