簡(jiǎn)介這套基于Python與OpenCV開發(fā)的車牌識(shí)別系統(tǒng)是一份可直接運(yùn)行的畢業(yè)設(shè)計(jì)項(xiàng)目適合計(jì)算機(jī)視覺(jué)方向的學(xué)生以及卷積神經(jīng)網(wǎng)絡(luò)入門者參考。系統(tǒng)內(nèi)部分為車牌定位過(guò)濾與字符識(shí)別兩個(gè)部分每個(gè)部分均使用相同結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)完整覆蓋圖像預(yù)處理、車牌輪廓提取、字符分割與識(shí)別輸出等核心步驟。網(wǎng)絡(luò)輸入層尺寸、卷積核大小與數(shù)量、池化窗口等參數(shù)配置都在代碼中清晰呈現(xiàn)方便學(xué)習(xí)者對(duì)照理解。壓縮包共計(jì)兩千個(gè)文件內(nèi)含大量車牌圖片樣本、訓(xùn)練好的模型權(quán)重、Python源碼腳本以及模型配置文件總大小約459MB下載后加載模型即可直接測(cè)試無(wú)需重新訓(xùn)練。目前已有八千四百零一人學(xué)習(xí)下載可用于課程設(shè)計(jì)或?qū)嶋H車牌識(shí)別場(chǎng)景。代碼同時(shí)保留了訓(xùn)練與推理完整流程便于根據(jù)需求靈活調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)或擴(kuò)充數(shù)據(jù)集是一份實(shí)用且易上手的車牌識(shí)別參考資料。1. 車牌識(shí)別沒(méi)有想象中那么玄一套OpenCVCNN的落地組合車牌識(shí)別License Plate Recognition在停車場(chǎng)、園區(qū)門禁、高速收費(fèi)里已經(jīng)是成熟技術(shù)但真到自己動(dòng)手用Python做一套很多人的第一反應(yīng)是直接上YOLO、SSD這類目標(biāo)檢測(cè)模型結(jié)果光是打標(biāo)、訓(xùn)練、調(diào)參就把進(jìn)度拖垮了。我在這條路上來(lái)回折騰過(guò)幾次之后回到最扎實(shí)的方案OpenCV做車牌定位、字符分割輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)做字符識(shí)別。這條鏈路不依賴GPU不需要海量標(biāo)注數(shù)據(jù)一臺(tái)普通筆記本就能把demo跑通識(shí)別率在標(biāo)準(zhǔn)藍(lán)底白字車牌上能做到90%以上。適合剛接觸視覺(jué)項(xiàng)目的開發(fā)者也適合要把車牌識(shí)別快速嵌入現(xiàn)有Python業(yè)務(wù)系統(tǒng)的工程人員。2. 識(shí)別流程拆解為什么先做定位再做字符識(shí)別車牌識(shí)別最忌諱一上來(lái)就試圖用一個(gè)大模型解決所有問(wèn)題。把任務(wù)拆成定位、分割、識(shí)別三段每一步都能獨(dú)立驗(yàn)證出了錯(cuò)也能精準(zhǔn)定位到具體環(huán)節(jié)。2.1 為什么不用端到端目標(biāo)檢測(cè)而是分三步走目標(biāo)檢測(cè)模型YOLO、SSD 這類不是不能用在車牌識(shí)別這個(gè)任務(wù)上用檢測(cè)模型框出車牌區(qū)域的效果確實(shí)不差但你需要準(zhǔn)備上千張標(biāo)注了車牌位置的圖片訓(xùn)練或遷移微調(diào)一輪才可能在具體場(chǎng)景里穩(wěn)定工作。而且端到端方案把問(wèn)題封裝成了一個(gè)黑匣子輸入圖片、輸出字符串中間哪一步出了問(wèn)題你能做的只有換數(shù)據(jù)、換參數(shù)重訓(xùn)很難有針對(duì)性地干預(yù)。分三步的方案在面對(duì)固定攝像頭場(chǎng)景時(shí)有先天優(yōu)勢(shì)。監(jiān)控桿、停車閘機(jī)這些位置車牌在畫面里的尺度和角度基本穩(wěn)定OpenCV定位的失敗模式是可以預(yù)判的每一步都有中間結(jié)果可以可視化。比如定位環(huán)節(jié)畫個(gè)綠框看看框準(zhǔn)沒(méi)有分割環(huán)節(jié)把字符圖拼成條帶看看有沒(méi)有切碎這種可解釋性對(duì)工程排障非常有價(jià)值也是很多商業(yè)車牌識(shí)別系統(tǒng)至今保留傳統(tǒng)定位加分類器結(jié)構(gòu)的原因。這套方案不僅算得更快調(diào)試成本也低得多。在CPU上OpenCV定位加分割一幀大約20到40毫秒CNN單字符識(shí)別不到5毫秒整條流水線能跑到實(shí)時(shí)。如果你未來(lái)有嵌入式部署的需求比如樹莓派這類低功耗設(shè)備這套方案也比模型檢測(cè)更容易移植。2.2 第一步定位HSV顏色過(guò)濾加輪廓篩選這里放一段核心定位代碼用HSV色域過(guò)濾比RGB閾值穩(wěn)定得多。RGB對(duì)光照太敏感同樣的藍(lán)色車牌正午和傍晚拍出來(lái)完全是兩個(gè)數(shù)值范圍HSV把色相和明度分離色相范圍可以跨光照使用。import cv2 import numpy as np def locate_plate(img): height, width img.shape[:2] scale 640 / width img_resized cv2.resize(img, (640, int(height * scale))) hsv cv2.cvtColor(img_resized, cv2.COLOR_BGR2HSV) # 藍(lán)牌的H范圍大約在100~130之間要根據(jù)實(shí)際攝像頭微調(diào) lower_blue np.array([100, 50, 50]) upper_blue np.array([130, 255, 255]) mask cv2.inRange(hsv, lower_blue, upper_blue) # 閉運(yùn)算填充斷裂區(qū)域 kernel cv2.getStructuringElement(cv2.MORPH_RECT, (17, 5)) closed cv2.morphologyEx(mask, cv2.MORPH_CLOSE, kernel) # 找輪廓并篩選 contours, _ cv2.findContours(closed, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) candidates [] for cnt in contours: x, y, w, h cv2.boundingRect(cnt) area w * h if area 800: continue aspect w / h if 2.0 aspect 5.0: candidates.append((x, y, w, h)) if not candidates: return None, img_resized x, y, w, h max(candidates, keylambda r: r[2] * r[3]) return (x, y, w, h), img_resized代碼邏輯分四段縮放、顏色過(guò)濾、閉運(yùn)算、輪廓篩選。縮放這一步很關(guān)鍵不同來(lái)源的圖片分辨率差異很大統(tǒng)一到640寬后后續(xù)的形態(tài)學(xué)核大小和面積閾值才有意義。HSV的H值100~130覆蓋標(biāo)準(zhǔn)藍(lán)牌色相但各品牌攝像頭的自動(dòng)白平衡會(huì)讓H值漂移這塊參數(shù)后面避坑章會(huì)展開講。閉運(yùn)算的核取17×5橫向比縱向?qū)捠菫榱税炎址g的縫隙填上——車牌字符密集不處理好容易把整個(gè)車牌區(qū)域斷成幾塊。輪廓篩選用兩個(gè)硬條件面積不小于800像素寬高比在2.0到5.0之間。標(biāo)準(zhǔn)藍(lán)牌寬高比約3.14放寬區(qū)間是為了容忍攝像頭視角傾斜。最后取面積最大的候選框因?yàn)榻^大多數(shù)場(chǎng)景里畫面中最顯眼的藍(lán)色矩形就是車牌。2.3 第二步分割垂直投影法切出單個(gè)字符定位到車牌后把車牌區(qū)域裁出來(lái)接下來(lái)要按字符邊界切成七個(gè)單字符圖。垂直投影法是最常用的做法把車牌圖二值化統(tǒng)計(jì)每一列白色像素?cái)?shù)量字符列的投影明顯高于背景列按這個(gè)差異就能切分。def segment_chars(plate_img): gray cv2.cvtColor(plate_img, cv2.COLOR_BGR2GRAY) gray cv2.GaussianBlur(gray, (3, 3), 0) _, binary cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY_INV | cv2.THRESH_OTSU) h, w binary.shape col_sum np.sum(binary, axis0) // 255 threshold h * 0.05 in_char False char_cols [] for i in range(w): if col_sum[i] threshold: if not in_char: start i in_char True else: if in_char: end i if end - start 8: char_cols.append((start, end)) in_char False if in_char: if w - 1 - start 8: char_cols.append((start, w - 1)) # 過(guò)寬的區(qū)間按中點(diǎn)切開處理漢字和粘連字符 refined [] for start, end in char_cols: char_w end - start if char_w w * 0.2: mid (start end) // 2 refined.append((start, mid)) refined.append((mid, end)) else: refined.append((start, end)) return refined, binary分割邏輯中大津法OTSU二值化是自適應(yīng)閾值的經(jīng)典選擇能根據(jù)圖像本身的灰度分布自動(dòng)找到背景和前景的分界比固定閾值抗光照能力強(qiáng)很多。閾值取圖像高度的5%低于這個(gè)值的列視為字符間隙這個(gè)比例在標(biāo)準(zhǔn)車牌上表現(xiàn)穩(wěn)定。寬度小于8像素的區(qū)間直接忽略過(guò)濾掉邊緣噪點(diǎn)和鉚釘。最后一步“過(guò)寬切開”處理的是漢字分割。漢字筆畫復(fù)雜、內(nèi)部有零散空白投影后寬度常常比數(shù)字字母大超過(guò)車牌寬度20%后按中點(diǎn)切兩半讓后續(xù)識(shí)別階段自行判斷合法字符。真實(shí)代碼里這一步還不夠完整車牌左右邊框和鉚釘也會(huì)混進(jìn)候選區(qū)需要一個(gè)后處理過(guò)濾留到避坑章講。2.4 字符歸一化與顏色適配識(shí)別前的一致性處理分割出的字符寬高各不相同直接送進(jìn)神經(jīng)網(wǎng)絡(luò)沒(méi)法固定輸入維度。常見做法是把每個(gè)字符圖等比縮放到32×32然后做一次中心化。這里要注意不要直接拉伸變形。漢字如果被縱向拉扁省份簡(jiǎn)稱比如“冀”“贛”這類密集字很容易被認(rèn)錯(cuò)。等比縮放后如果尺寸不足32像素用黑色填充空白區(qū)域不改變字符比例。這一步的細(xì)節(jié)直接決定識(shí)別率上限。訓(xùn)練時(shí)的字符來(lái)自字體渲染測(cè)試時(shí)的字符是真實(shí)拍攝的扛噪圖兩者如果歸一化方式不一致模型很容易在邊緣分布上栽跟頭。我在項(xiàng)目里固定只用一種預(yù)處理順序灰度到二值化、投影分割、等比縮放、中心化、轉(zhuǎn)Tensor訓(xùn)練和推理完全一致避免出現(xiàn)“訓(xùn)練97%、推理70%”這種玄學(xué)級(jí)效果差異。顏色適配方面如果你的場(chǎng)景里出現(xiàn)新能源綠牌把HSV閾值改成lower_green np.array([35, 43, 46])、upper_green np.array([77, 255, 255])就能覆蓋。黃牌和黑牌同理黃牌的H值在15到35之間白牌的S值很低需要額外加灰度閾值判斷。我在代碼里把顏色參數(shù)抽象成一個(gè)字典按車牌顏色切換比硬編碼藍(lán)牌靈活得多。3. CNN字符識(shí)別模型網(wǎng)絡(luò)結(jié)構(gòu)、訓(xùn)練數(shù)據(jù)與參數(shù)設(shè)定定位和分割處理的是圖像層面的問(wèn)題從這一步開始進(jìn)入卷積神經(jīng)網(wǎng)絡(luò)的范疇。車牌字符識(shí)別的本質(zhì)是一個(gè)多分類問(wèn)題網(wǎng)絡(luò)不必太深重點(diǎn)在于數(shù)據(jù)組織和訓(xùn)練口徑要嚴(yán)。3.1 字符集構(gòu)成與分類任務(wù)定義先明確分類目標(biāo)。標(biāo)準(zhǔn)藍(lán)牌第一位是省份漢字總共31個(gè)漢字京津冀晉蒙遼吉黑滬蘇浙皖閩贛魯豫鄂湘粵桂瓊渝川貴云藏陜甘青寧新第二位是發(fā)牌機(jī)關(guān)字母共24個(gè)字母去掉I和O因?yàn)镮像1、O像0第三到第七位是字母和數(shù)字混合共34個(gè)類。所以整個(gè)任務(wù)是65分類。這里有個(gè)工程細(xì)節(jié)把訓(xùn)練類別定死為“省份漢字”和“字母數(shù)字”兩個(gè)獨(dú)立模型還是一個(gè)統(tǒng)一的65類模型兩種方案都有人用。統(tǒng)一模型的好處是流程簡(jiǎn)潔缺點(diǎn)是個(gè)別省份漢字的訓(xùn)練樣本天然少比如“藏”“瓊”網(wǎng)絡(luò)容易欠擬合。分開兩個(gè)模型后漢字模型只處理第一位字母數(shù)字模型處理后六位兩類數(shù)據(jù)都能訓(xùn)練得比較充分。我在實(shí)際項(xiàng)目里用的是分離式多維護(hù)一個(gè)模型文件換來(lái)的穩(wěn)定性是值得的。3.2 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)兩個(gè)卷積層就夠用參考LeNet-5的結(jié)構(gòu)做一個(gè)輕量CNN第一層卷積提取筆畫邊緣第二層卷積組合出字符的局部結(jié)構(gòu)兩層池化降低分辨率最后接兩個(gè)全連接層輸出分類分?jǐn)?shù)。import torch import torch.nn as nn class PlateCNN(nn.Module): def __init__(self, num_classes65): super(PlateCNN, self).__init__() self.features nn.Sequential( nn.Conv2d(1, 16, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(16, 32, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), ) self.classifier nn.Sequential( nn.Linear(32 * 8 * 8, 128), nn.ReLU(inplaceTrue), nn.Dropout(0.5), nn.Linear(128, num_classes), ) def forward(self, x): x self.features(x) x x.view(x.size(0), -1) x self.classifier(x) return x參數(shù)量大約22萬(wàn)運(yùn)算量非常小。輸入是32×32單通道灰度圖兩次MaxPool后特征圖降到8×8全連接層輸入是32×8×82048維。Dropout放在全連接層前是專門防小數(shù)據(jù)量訓(xùn)練過(guò)擬合的。如果你有GPU可以加大通道數(shù)到32和64識(shí)別率會(huì)小幅提升但CPU推理時(shí)間會(huì)翻倍。3.3 訓(xùn)練數(shù)據(jù)合成數(shù)據(jù)加真實(shí)數(shù)據(jù)混合訓(xùn)練數(shù)據(jù)這塊最容易翻車。純合成數(shù)據(jù)訓(xùn)練出來(lái)的模型在真實(shí)攝像頭照片上識(shí)別率會(huì)掉十幾個(gè)點(diǎn)主要原因是真實(shí)環(huán)境里的模糊、透視、光照不均、二值化噪聲合成數(shù)據(jù)很難完全模擬。我的做法是以字體渲染合成數(shù)據(jù)為主體保證每個(gè)類別數(shù)量充足再用一兩百?gòu)堈鎸?shí)車牌切割出的字符做增量微調(diào)。from PIL import Image, ImageDraw, ImageFont import numpy as np import cv2 import os import random PROVINCES 京津滬渝冀豫云遼黑湘皖魯新蘇浙贛鄂桂甘晉蒙陜吉閩貴粵青藏川寧瓊 CHARS ABCDEFGHJKLMNPQRSTUVWXYZ0123456789 def generate_char_image(char, font_path, size32): img Image.new(L, (size, size), 0) draw ImageDraw.Draw(img) font ImageFont.truetype(font_path, 24) bbox draw.textbbox((0, 0), char, fontfont) w bbox[2] - bbox[0] h bbox[3] - bbox[1] x (size - w) // 2 - bbox[0] y (size - h) // 2 - bbox[1] draw.text((x, y), char, fill255, fontfont) return np.array(img) def generate_dataset(dst_dir, font_path, samples_per_class3000): os.makedirs(dst_dir, exist_okTrue) all_chars list(PROVINCES) list(CHARS) for c in all_chars: cls_dir os.path.join(dst_dir, c) os.makedirs(cls_dir, exist_okTrue) for i in range(samples_per_class): img generate_char_image(c, font_path) # 隨機(jī)輕微模糊模擬真實(shí)拍攝 img cv2.GaussianBlur(img, (3, 3), 0.8) # 隨機(jī)平移制造擾動(dòng) m np.float32([[1, 0, random.randint(-1, 1)], [0, 1, random.randint(-1, 1)]]) img cv2.warpAffine(img, m, (32, 32)) cv2.imwrite(os.path.join(cls_dir, f{i:04d}.jpg), img)生成邏輯不復(fù)雜用PIL在純黑背景上繪制白色字符居中然后加高斯模糊和隨機(jī)平移模擬真實(shí)拍攝的抖動(dòng)和失焦。省份漢字生成時(shí)建議選一款筆畫規(guī)整的字體比如思源黑體或文泉驛正黑避免帶強(qiáng)烈裝飾襯線的字體那會(huì)和車牌字體差太遠(yuǎn)。3.4 訓(xùn)練配置與參數(shù)口徑訓(xùn)練腳本和參數(shù)是可直接抄作業(yè)的部分。數(shù)據(jù)加載用torchvision的ImageFolder它會(huì)按子目錄名自動(dòng)生成類別索引注意這個(gè)類別順序決定了推理時(shí)類別索引的映射建議訓(xùn)練完把類別列表單獨(dú)保存一份。from torch.utils.data import DataLoader from torchvision import transforms, datasets transform transforms.Compose([ transforms.Resize((32, 32)), transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,)) ]) train_data datasets.ImageFolder(rootdataset/train, transformtransform) train_loader DataLoader(train_data, batch_size64, shuffleTrue) model PlateCNN(num_classeslen(train_data.classes)) criterion nn.CrossEntropyLoss() optimizer torch.optim.Adam(model.parameters(), lr0.001) for epoch in range(20): model.train() running_loss 0.0 for imgs, labels in train_loader: optimizer.zero_grad() out model(imgs) loss criterion(out, labels) loss.backward() optimizer.step() running_loss loss.item() avg_loss running_loss / len(train_loader) print(fepoch {epoch1:02d} loss {avg_loss:.4f}) torch.save(model.state_dict(), fplate_cnn_epoch{epoch1:02d}.pth) # 保存類別順序推理時(shí)按同樣順序加載 with open(classes.txt, w, encodingutf-8) as f: f.write(\n.join(train_data.classes))幾個(gè)值得說(shuō)透的參數(shù)。學(xué)習(xí)率0.001配Adam是這類小分類模型穩(wěn)妥的起點(diǎn)如果訓(xùn)練loss在后期震蕩不降降到0.0003再跑10輪。batch size取64CPU也能扛也不用擔(dān)心顯存。epoch設(shè)20是參考值合成數(shù)據(jù)量大時(shí)模型在5到8輪就收斂后面基本是慣性下降。能觀察到驗(yàn)證準(zhǔn)確率不升反降就是過(guò)擬合了回調(diào)Dropout比例到0.6或增加數(shù)據(jù)擾動(dòng)更有效。提示不要一上來(lái)用0.01的學(xué)習(xí)率。車牌字符分類任務(wù)雖然簡(jiǎn)單但不同漢字在32×32分辨率下視覺(jué)差異很小學(xué)習(xí)率太大會(huì)導(dǎo)致loss先降后升白白浪費(fèi)大量訓(xùn)練時(shí)間。判斷模型有沒(méi)有訓(xùn)好不要只看總數(shù)準(zhǔn)確率要看每個(gè)類別的recall。省份漢字里“皖”“贛”“鄂”這些筆畫密集的字經(jīng)常出現(xiàn)個(gè)別類別識(shí)別率只有70%的情況。解決辦法是計(jì)算混淆矩陣把錯(cuò)得最多的類別挑出來(lái)單獨(dú)補(bǔ)充該字體的合成樣本。如何打印和分析混淆矩陣就是第6章的內(nèi)容。4. 完整可運(yùn)行代碼從照片輸入到車牌字符串輸出前幾章把三個(gè)模塊分別講清楚了這一章把它們統(tǒng)一成一條可直接運(yùn)行的流水線。實(shí)踐順序是先把依賴裝好再逐個(gè)文件跑通最后把單張照片或攝像頭畫面喂進(jìn)去看輸出。4.1 環(huán)境依賴最小化安裝清單與兩個(gè)經(jīng)典報(bào)錯(cuò)先說(shuō)依賴。用到的庫(kù)只有四個(gè)opencv-python、numpy、torch、torchvision。PIL其實(shí)也會(huì)用到但它會(huì)跟著torchvision一起裝好不用單獨(dú)管。pip install opencv-python numpy torch torchvision安裝時(shí)最容易遇到兩個(gè)坑。一是pip默認(rèn)源在國(guó)外下載torch這種大包經(jīng)常超時(shí)建議指定國(guó)內(nèi)鏡像源pip install opencv-python numpy torch torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple二是conda環(huán)境裝OpenCV后導(dǎo)入報(bào)錯(cuò)常見的是ModuleNotFoundError: No module named cv2。這種問(wèn)題九成是裝到了別的Python環(huán)境先在當(dāng)前終端里跑python -c import cv2; print(cv2.__version__)確認(rèn)解釋器環(huán)境里有沒(méi)有cv2再換到對(duì)應(yīng)環(huán)境的終端重新pip install一次通常就能解決。4.2 主控腳本串聯(lián)定位、分割、識(shí)別把locate_plate、segment_chars、PlateCNN三個(gè)模塊串起來(lái)的主控腳本是這套系統(tǒng)的門面。字符識(shí)別的類別順序必須和訓(xùn)練時(shí)完全一致前一步保存的classes.txt在這里派上用場(chǎng)。網(wǎng)絡(luò)定義建議單獨(dú)放到model.py讓主控腳本保持干凈。import cv2 import numpy as np import torch from model import PlateCNN # 把第3章的網(wǎng)絡(luò)類存為model.py # 讀取訓(xùn)練時(shí)保存的類別順序 with open(classes.txt, r, encodingutf-8) as f: class_list [line.strip() for line in f] model PlateCNN(num_classeslen(class_list)) model.load_state_dict(torch.load(plate_cnn.pth, map_locationcpu)) model.eval() def preprocess_char(char_img): char_img cv2.resize(char_img, (32, 32)) # 和訓(xùn)練時(shí)完全一致的歸一化方式 char_img (char_img.astype(np.float32) / 255.0 - 0.5) / 0.5 return torch.from_numpy(char_img).unsqueeze(0).unsqueeze(0) def predict_plate(img_path): img cv2.imread(img_path) if img is None: print(f無(wú)法讀取圖片: {img_path}) return None box, img_resized locate_plate(img) if box is None: print(未定位到車牌區(qū)域) return None x, y, w, h box # 向外擴(kuò)幾個(gè)像素避免車牌邊緣字符被切掉 plate_img img_resized[max(0, y-5):yh5, max(0, x-5):xw5] cv2.imwrite(debug_plate.jpg, plate_img) chars, binary segment_chars(plate_img) if len(chars) 7: print(f分割出{len(chars)}個(gè)字符小于7疑似定位框不準(zhǔn)) return None result with torch.no_grad(): for start, end in chars: char_img binary[:, start:end] tensor preprocess_char(char_img) out model(tensor) pred out.argmax(dim1).item() result class_list[pred] return result if __name__ __main__: plate predict_plate(test.jpg) print(識(shí)別結(jié)果:, plate)主控腳本的核心是preprocess_char里的歸一化訓(xùn)練時(shí)用(x/255-0.5)/0.5推理必須一模一樣少一步結(jié)果都會(huì)飄。預(yù)測(cè)整個(gè)流程跑在torch.no_grad()下不保存梯度速度能差好幾倍。map_locationcpu保證沒(méi)有GPU的機(jī)器也能加載權(quán)重。4.3 實(shí)時(shí)攝像頭識(shí)別守衛(wèi)循環(huán)寫法如果你要跑實(shí)時(shí)視頻流把單張圖片改成循環(huán)讀取攝像頭幀就行。按q鍵退出按s鍵保存當(dāng)前幀方便排查。cap cv2.VideoCapture(0) if not cap.isOpened(): print(攝像頭打開失敗) exit() # 限制輸入分辨率避免每幀處理過(guò)慢 cap.set(cv2.CAP_PROP_FRAME_WIDTH, 960) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 540) while True: ret, frame cap.read() if not ret: break box, frame_resized locate_plate(frame) if box is not None: x, y, w, h box cv2.rectangle(frame_resized, (x, y), (x w, y h), (0, 255, 0), 2) cv2.imshow(plate, frame_resized) key cv2.waitKey(1) 0xFF if key ord(q): break elif key ord(s): cv2.imwrite(capture_frame.jpg, frame_resized) print(幀已保存) cap.release() cv2.destroyAllWindows()這條循環(huán)里有兩個(gè)工程細(xì)節(jié)。一是攝像頭分辨率默認(rèn)可能很高每幀都跑全分辨率定位會(huì)明顯卡頓開頭限制到960寬細(xì)膩度對(duì)車牌識(shí)別足夠。二是定位函數(shù)內(nèi)部已經(jīng)縮放到640寬但如果源頭分辨率太高OpenCV的resize本身也會(huì)消耗時(shí)間在攝像頭端限制分辨率更合理。5. 避坑指南車牌識(shí)別最常見的5個(gè)翻車點(diǎn)做車牌識(shí)別項(xiàng)目真正讓人崩潰的往往不是模型訓(xùn)練而是那些看似簡(jiǎn)單卻反復(fù)出現(xiàn)的細(xì)節(jié)。下面五條都是我自己踩過(guò)的坑按現(xiàn)象到原因到解決的順序?qū)憽?.1 藍(lán)色物體誤報(bào)把車身廣告、藍(lán)色貨柜當(dāng)車牌現(xiàn)象定位框畫在藍(lán)色卡車車頭上或者畫在藍(lán)色廣告牌上識(shí)別結(jié)果輸出一串亂碼。原因HSV顏色過(guò)濾只認(rèn)顏色和寬高比藍(lán)色卡車頭、藍(lán)色雨棚布完全符合條件。特征沒(méi)約束住幾何和顏色之外沒(méi)有做內(nèi)容驗(yàn)證。解決加一道內(nèi)容驗(yàn)證。車牌區(qū)域內(nèi)部應(yīng)該有大量字符邊緣二值化后白色像素密度通常在15%到40%之間低于這個(gè)范圍直接排除。再用邊緣密度做二次確認(rèn)車牌區(qū)域在Sobel邊緣圖上響應(yīng)很強(qiáng)這是純色車漆沒(méi)有的。def is_plate_region(plate_img): gray cv2.cvtColor(plate_img, cv2.COLOR_BGR2GRAY) sobel cv2.Sobel(gray, cv2.CV_64F, 1, 0, ksize3) edge_density np.mean(np.abs(sobel) 80) return edge_density 0.05白像素密度和邊緣密度兩項(xiàng)組合后誤報(bào)會(huì)大幅下降。但閾值別卡太死晚上車牌反光弱時(shí)邊緣密度本身會(huì)掉閾值記得跟著放寬。5.2 光照不均導(dǎo)致整塊定位失敗現(xiàn)象上午十點(diǎn)的停車場(chǎng)隔著車玻璃拍出來(lái)的車牌定位框偏到一邊黃昏逆光時(shí)干脆什么都找不到。原因HSV里的V分量在強(qiáng)光下爆掉H分量也跟著偏移逆光時(shí)車牌反光集中在幾個(gè)字符上色相嚴(yán)重失真。解決做一次自適應(yīng)直方圖均衡化再進(jìn)HSV。createCLAHE能限制對(duì)比度增強(qiáng)的幅度對(duì)車牌這種小目標(biāo)比全局直方圖均衡更溫和不會(huì)把噪聲一起放大。clahe cv2.createCLAHE(clipLimit2.0, tileGridSize(8, 8)) gray cv2.cvtColor(img_resized, cv2.COLOR_BGR2GRAY) equalized clahe.apply(gray) img_equalized cv2.cvtColor(equalized, cv2.COLOR_GRAY2BGR) hsv cv2.cvtColor(img_equalized, cv2.COLOR_BGR2HSV)把這一步放在定位之前很多光照惡劣的場(chǎng)景就能頂過(guò)去。如果還不行就按時(shí)間段切換HSV范圍正午的H值偏小、黃昏偏大建立兩套參數(shù)實(shí)測(cè)取折中。5.3 漢字分割失敗要么切碎要么黏住現(xiàn)象分割結(jié)果里“川”字被切成兩半“冀”字黏在一起或者把車牌左右邊框當(dāng)成字符。原因漢字筆畫復(fù)雜內(nèi)部筆畫導(dǎo)致垂直投影在一個(gè)字中間出現(xiàn)低谷直接把字符切斷了密集漢字筆畫間空隙太小投影段又連到一起鉚釘和邊框的特征和字符相似。解決組合三個(gè)手段。第一分割前做一次開運(yùn)算3×1的核去掉單像素噪點(diǎn)。第二按車牌寬度約束字符數(shù)量和位置標(biāo)準(zhǔn)藍(lán)牌是7個(gè)字符第1位漢字寬、第2位字母窄、第3到7位均勻分布用這個(gè)先驗(yàn)過(guò)濾投影段。第三寬度下限設(shè)為車牌寬度的5%把窄的邊框和鉚釘排除。def filter_chars(char_cols, plate_width): filtered [] for start, end in char_cols: w end - start if w plate_width * 0.05: continue # 太窄多半是鉚釘或邊框 if w plate_width * 0.25: continue # 太寬大概率不是單字符交給后續(xù)邏輯 filtered.append((start, end)) if len(filtered) 7: # 數(shù)量超出時(shí)按“字符寬度越接近均值越可信”保留7段 filtered.sort(keylambda seg: abs((seg[1]-seg[0]) - plate_width/7)) filtered filtered[:7] filtered.sort(keylambda seg: seg[0]) return filtered寬度過(guò)濾加數(shù)量約束后分割穩(wěn)定性提升明顯。但要注意新能源綠牌是8位字符比藍(lán)牌多一位按7位硬編碼會(huì)翻車。正確做法是先判斷車牌顏色再?zèng)Q定期望字符數(shù)藍(lán)牌7位、綠牌8位黃牌和黑牌按白字還是黑字區(qū)分。5.4 省份漢字識(shí)別率明顯低于數(shù)字字母現(xiàn)象整體識(shí)別率92%但“皖”“贛”“鄂”“瓊”這類字單獨(dú)看只有70%出頭錯(cuò)的基本都是混到形狀相近的字上。原因各省份車牌漢字使用頻率不均真實(shí)場(chǎng)景里“京”“粵”“蘇”出現(xiàn)次數(shù)遠(yuǎn)高于“藏”“瓊”如果沒(méi)有主動(dòng)做數(shù)據(jù)均衡模型對(duì)低頻漢字的特征學(xué)習(xí)不充分。另外這些字筆畫密集32×32分辨率下筆畫邊緣粘連嚴(yán)重。解決訓(xùn)練數(shù)據(jù)里對(duì)每個(gè)漢字類別單獨(dú)保證數(shù)量不能按真實(shí)分布采樣。合成階段每個(gè)漢字各生成3000張微調(diào)階段也要手動(dòng)確保低頻漢字有足夠樣本。識(shí)別時(shí)如果連續(xù)多位結(jié)果可疑結(jié)合車牌結(jié)構(gòu)先驗(yàn)做糾錯(cuò)第一位必須是31個(gè)漢字之一第二位必須是24個(gè)字母之一非法組合直接標(biāo)注為低置信度不要讓錯(cuò)誤結(jié)果混進(jìn)輸出。5.5 模型文件加載報(bào)錯(cuò)key不匹配現(xiàn)象訓(xùn)練時(shí)一切正常一跑推理就報(bào)Missing key(s) in state_dict或者size mismatch for classifier.4.weight。原因有兩種可能。一是網(wǎng)絡(luò)定義改動(dòng)過(guò)比如num_classes從65改成31但加載的權(quán)重還是舊結(jié)構(gòu)二是訓(xùn)練時(shí)用了DataParallel保存的權(quán)重帶module.前綴推理時(shí)單卡加載不上。解決加載時(shí)做一次狀態(tài)字典清洗把module.前綴剝掉再加載。state torch.load(plate_cnn.pth, map_locationcpu) new_state {} for k, v in state.items(): if k.startswith(module.): new_state[k[len(module.):]] v model.load_state_dict(new_state)這個(gè)坑幾乎每個(gè)PyTorch項(xiàng)目都會(huì)遇到一次提前把清洗邏輯寫成函數(shù)能省不少時(shí)間。改動(dòng)網(wǎng)絡(luò)結(jié)構(gòu)后最穩(wěn)妥的辦法是重新全量訓(xùn)練別賭舊權(quán)重能遷移。6. 識(shí)別率怎么驗(yàn)證自制測(cè)試集與混淆矩陣分析把模型和流水線跑通只是開始真正要說(shuō)服自己這套方案能用必須有客觀的評(píng)估數(shù)據(jù)。我的習(xí)慣是單獨(dú)留出兩百?gòu)埐辉谟?xùn)練集里的真實(shí)照片涵蓋白天、傍晚、逆光、不同拍攝距離組成一個(gè)固定測(cè)試集。每次改完參數(shù)用同一套測(cè)試集跑一遍記錄準(zhǔn)確率變化。不要拿訓(xùn)練集里的圖反復(fù)驗(yàn)證那只是自我感動(dòng)。評(píng)估工具只看兩個(gè)分類準(zhǔn)確率和混淆矩陣。準(zhǔn)確率是總分混淆矩陣負(fù)責(zé)定位問(wèn)題。代碼不復(fù)雜但能從矩陣?yán)镒x出哪個(gè)字被認(rèn)成了哪個(gè)字from sklearn.metrics import confusion_matrix import matplotlib.pyplot as plt import torch def evaluate(model, loader, class_list): model.eval() all_preds [] all_labels [] with torch.no_grad(): for imgs, labels in loader: out model(imgs) preds out.argmax(dim1) all_preds.extend(preds.tolist()) all_labels.extend(labels.tolist()) cm confusion_matrix(all_labels, all_preds) # 打印每一類的recall找出拖后腿的類別 for i, cls in enumerate(class_list): recall cm[i, i] / (cm[i].sum() 1e-6) if recall 0.85: print(f{cls}: recall {recall:.3f}) plt.figure(figsize(16, 12)) plt.imshow(cm, cmapBlues) plt.xticks(range(len(class_list)), class_list, rotation90) plt.yticks(range(len(class_list)), class_list) plt.tight_layout() plt.savefig(confusion_matrix.png)看到熱力圖后處理思路就很清晰哪一類混淆嚴(yán)重就回去補(bǔ)哪一類的訓(xùn)練樣本或者是這個(gè)字符本身在32×32下確實(shí)難分比如“0”和“O”如果同時(shí)出現(xiàn)在字符集里幾乎必然混。這也是我在第3章堅(jiān)持去掉字母I和O的原因在字符集定義階段就把這種區(qū)分度極低的組合先排除掉。另一個(gè)很實(shí)用的習(xí)慣是保存所有識(shí)別失敗的樣例圖按預(yù)測(cè)類別分類歸檔。每周翻一次“錯(cuò)題本”你會(huì)發(fā)現(xiàn)很多失敗集中在某個(gè)特定的拍攝角度或某個(gè)字體的再現(xiàn)。針對(duì)性地增加那類真實(shí)樣本進(jìn)微調(diào)集比盲目增大整體數(shù)據(jù)量更劃算。最后說(shuō)個(gè)血淚經(jīng)驗(yàn)每輪改動(dòng)只動(dòng)一個(gè)變量。改HSV閾值就只改HSV閾值測(cè)完再改分割參數(shù)同時(shí)動(dòng)多個(gè)變量出了問(wèn)題根本說(shuō)不清是哪個(gè)環(huán)節(jié)的鍋。這套OpenCV加CNN的方案優(yōu)點(diǎn)是每個(gè)環(huán)節(jié)都可觀測(cè)缺點(diǎn)是環(huán)節(jié)多、參數(shù)組合爆炸養(yǎng)成單變量實(shí)驗(yàn)的習(xí)慣能少掉一半頭發(fā)。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取