簡介面向課程設(shè)計與圖像識別入門學(xué)習(xí)者的 Python 手寫數(shù)字識別課程資源覆蓋從數(shù)字圖像輸入、數(shù)據(jù)預(yù)處理到多元線性回歸多分類建模、模型測試的完整流程。壓縮包共 16 個文件、約 251KB包括可直接運(yùn)行的訓(xùn)練與識別 Python 腳本、設(shè)計報告 Word 文檔、訓(xùn)練權(quán)重及標(biāo)簽 CSV 數(shù)據(jù)、9 張 28×28 測試位圖以及 README 與 LICENSE 說明按“源碼-數(shù)據(jù)-報告”組織便于對照學(xué)習(xí)。實(shí)現(xiàn)思路是先用 Windows 畫圖繪制黑底白字的 28×28 數(shù)字圖像作為輸入再借助多元線性回歸模型對 09 十個類別完成識別訓(xùn)練與識別環(huán)節(jié)分離腳本可直接練習(xí)或二次修改。已有 4327 人瀏覽學(xué)習(xí)適合計算機(jī)相關(guān)專業(yè)課程設(shè)計、期末項(xiàng)目及手寫識別入門實(shí)踐參考。1. 手寫數(shù)字識別系統(tǒng)從MNIST跑分到能落地的Python工程基于Python實(shí)現(xiàn)的手寫數(shù)字識別系統(tǒng)這個壓縮包標(biāo)題拆開看其實(shí)是一條機(jī)器學(xué)習(xí)入門最完整的鏈路用MNIST手寫數(shù)字?jǐn)?shù)據(jù)集訓(xùn)練一個分類器再把它包成能交互使用的程序。很多人練手止步于訓(xùn)練完看一眼準(zhǔn)確率而這類項(xiàng)目真正考驗(yàn)的是后半段——怎么把模型從notebook里搬出來變成一個對著手寫圖片能穩(wěn)定出結(jié)果的東西。這套東西能解決的實(shí)際問題很具體表單上的數(shù)字自動錄入、試卷分?jǐn)?shù)識別、票據(jù)編號提取。OCR對這些場景往往過重規(guī)則匹配又太脆訓(xùn)練一個輕量分類器反而是性價比最高的方案。項(xiàng)目本身不大但對數(shù)據(jù)預(yù)處理、模型選型、序列化和GUI交互的完整度要求很高任何一個環(huán)節(jié)斷了整個系統(tǒng)就卡殼。適合三類人正在找課程設(shè)計或畢業(yè)設(shè)計題目的學(xué)生剛學(xué)完P(guān)ython語法想碰第一個機(jī)器學(xué)習(xí)項(xiàng)目的人以及被識別一批手寫數(shù)字圖片這種需求找上門的工程師。后面所有內(nèi)容都圍繞一個目標(biāo)讓系統(tǒng)從測試集99%走到隨便拿一張真實(shí)手寫圖都穩(wěn)定出結(jié)果。這就是手寫數(shù)字識別系統(tǒng)項(xiàng)目真正值錢的地方。2. 從數(shù)據(jù)到模型MNIST數(shù)據(jù)管線、SVM基線與小型CNN兩條建模路線2.1 MNIST數(shù)據(jù)加載與預(yù)處理28×28灰度圖到張量的一步之遙MNIST是手寫數(shù)字識別繞不開的數(shù)據(jù)集6萬張訓(xùn)練圖、1萬張測試圖每張都是28×28的灰度圖像素值0到255。任務(wù)固定為十分類看起來很簡單但坑恰恰藏在看起來簡單里——訓(xùn)練和預(yù)測兩條路的預(yù)處理一旦不一致模型精度再高也白搭。我見過太多人訓(xùn)練時用torchvision的transform預(yù)測時用OpenCV裸讀的圖片直接resize最后喂進(jìn)去的分布完全對不上結(jié)果就是訓(xùn)練99%、預(yù)測全錯。加載MNIST最省事的通道是torchvision.datasets它會自動下載并緩存配合DataLoader按batch迭代代碼量很小。import torch from torchvision import datasets, transforms # Compose 按順序執(zhí)行:先轉(zhuǎn) Tensor,再做標(biāo)準(zhǔn)化 transform transforms.Compose([ transforms.ToTensor(), # PIL圖片 - Tensor(C,H,W),像素縮到[0,1] transforms.Normalize((0.1307,), (0.3081,)) # MNIST全量均值/標(biāo)準(zhǔn)差, 直接沿用 ]) train_data datasets.MNIST( root./data, # 首次運(yùn)行會自動下載, 之后讀本地緩存 trainTrue, # True取訓(xùn)練集, False取測試集 downloadTrue, transformtransform ) test_data datasets.MNIST(root./data, trainFalse, downloadTrue, transformtransform) train_loader torch.utils.data.DataLoader( train_data, batch_size64, shuffleTrue, num_workers2 ) test_loader torch.utils.data.DataLoader( test_data, batch_size256, shuffleFalse, num_workers2 )代碼邏輯分成兩段transform定義單張圖怎么變成模型輸入DataLoader定義一批數(shù)據(jù)怎么迭代。這里幾個參數(shù)值得記一下。ToTensor()把PIL圖像轉(zhuǎn)成(C, H, W)形狀的Tensor并把像素從0~255縮放到0.0~1.0通道被放到最前面這是后面所有維度操作的基礎(chǔ)。Normalize的兩個數(shù)0.1307和0.3081是MNIST數(shù)據(jù)集的固有統(tǒng)計量直接拿現(xiàn)成的就行不用自己算。如果不做標(biāo)準(zhǔn)化CNN照樣能收斂但收斂速度和穩(wěn)定性會差一些尤其是網(wǎng)絡(luò)加深以后。batch_size64是訓(xùn)練集常用的起步值shuffleTrue保證每個epoch數(shù)據(jù)順序不同避免模型學(xué)到無用的批次順序num_workers2讓數(shù)據(jù)加載走子進(jìn)程不至于卡住GPU主線程。如果你不想引入torchvision還有一條更輕的路tensorflow.keras.datasets.mnist.load_data()直接返回兩個numpy元組適合快速驗(yàn)證SVM和隨機(jī)森林這類傳統(tǒng)模型。兩條路的數(shù)據(jù)內(nèi)容完全一致差別只在返回的數(shù)據(jù)結(jié)構(gòu)和預(yù)處理職責(zé)。我一般建議后面要上CNN就用torchvision只跑傳統(tǒng)機(jī)器學(xué)習(xí)就用keras的load_data省掉transform的配置成本。2.2 用sklearn SVM快速出基線先跑通鏈路再談精度跑基線不是為了炫技而是驗(yàn)證數(shù)據(jù)鏈路通不通、評估腳本對不對。SVM在MNIST上表現(xiàn)夠用且訓(xùn)練量遠(yuǎn)小于CNN是完美第一棒線性核大約92%準(zhǔn)確率RBF核能做到98%以上。先用傳統(tǒng)模型把數(shù)據(jù)加載、評估、可視化這條鏈路跑通后面換CNN時只需要替換模型主體排查范圍會小很多。import numpy as np from sklearn import svm from sklearn.metrics import classification_report from tensorflow.keras.datasets import mnist # 借用keras下載通道, 返回numpy數(shù)組 (x_train, y_train), (x_test, y_test) mnist.load_data() # 28x28拉平成784維, 像素從[0,255]縮放到[0,1] X_train x_train.reshape(-1, 784) / 255.0 X_test x_test.reshape(-1, 784) / 255.0 # RBF核SVM; C控誤分類懲罰, gammascale由sklearn按特征數(shù)自動推算 model svm.SVC(C5.0, kernelrbf, gammascale, verboseFalse) model.fit(X_train[:10000], y_train[:10000]) # 先拿1萬條確認(rèn)鏈路, 再全量訓(xùn)練 y_pred model.predict(X_test) print(classification_report(y_test, y_pred, digits4))參數(shù)層面有三個關(guān)鍵點(diǎn)。C是誤分類懲罰系數(shù)C大模型越傾向把所有樣本分對容易過擬合C小容錯高容易欠擬合MNIST上C5是穩(wěn)妥的中間值。gammascale表示讓sklearn根據(jù)特征數(shù)量自動推算約等于1/(n_features * X.var())這個默認(rèn)在MNIST上表現(xiàn)很好手動把gamma調(diào)大SVM會退化成逐樣本記憶相似度測試準(zhǔn)確率突然跳水。最后一個細(xì)節(jié)是我故意只fit前10000條——RBF核的SVM訓(xùn)練復(fù)雜度接近O(n2)到O(n3)全量六萬條在普通筆記本上要跑十幾分鐘先用子集確認(rèn)沒錯再全量訓(xùn)練是省時間的血淚經(jīng)驗(yàn)。跑完看classification_report里的每類precision、recall、f1。如果某個數(shù)字的recall特別低比如1總被認(rèn)成7常見原因是手寫風(fēng)格分布不均或預(yù)處理把細(xì)筆畫磨掉了。這時先別急著上復(fù)雜模型回去檢查預(yù)處理管線通常比換模型更有效。2.3 用PyTorch搭小型CNN卷積、池化、全連接的結(jié)構(gòu)與訓(xùn)練循環(huán)傳統(tǒng)模型給了98%的基線再往上走就要靠CNN了。CNN在MNIST上的優(yōu)勢在于卷積核天然適合捕捉筆畫這種局部特征而且參數(shù)量遠(yuǎn)小于全連接網(wǎng)絡(luò)直接作用于784像素的情況。我用的是一個精簡的LeNet風(fēng)格網(wǎng)絡(luò)結(jié)構(gòu)干凈新手能看懂每個模塊的作用。import torch.nn as nn class DigitCNN(nn.Module): def __init__(self): super().__init__() # 輸入1通道(灰度), 輸出32個特征圖; padding1保證28x28尺寸不變 self.conv1 nn.Conv2d(1, 32, kernel_size3, padding1) self.conv2 nn.Conv2d(32, 64, kernel_size3, padding1) self.pool nn.MaxPool2d(2, 2) # 兩次2x2池化后, 28x28變成7x7, 特征圖64個 self.fc1 nn.Linear(64 * 7 * 7, 128) self.fc2 nn.Linear(128, 10) self.dropout nn.Dropout(0.25) def forward(self, x): x self.pool(torch.relu(self.conv1(x))) # 28x28 - 14x14 x self.pool(torch.relu(self.conv2(x))) # 14x14 - 7x7 x x.view(x.size(0), -1) # 拉平成 [batch, 64*7*7] x torch.relu(self.fc1(x)) x self.dropout(x) return self.fc2(x) # 最后一層不加激活, 交給CrossEntropyLossforward里的維度變化是理解CNN的鑰匙輸入(batch, 1, 28, 28)經(jīng)過conv1relupool變成(batch, 32, 14, 14)經(jīng)過conv2relupool變成(batch, 64, 7, 7)view拉平成(batch, 3136)后進(jìn)入全連接。全連接層輸出10維向量對應(yīng)0~9每個類別的得分CrossEntropyLoss內(nèi)部會先做softmax再算交叉熵所以最后一層不加激活。Dropout加在全連接層前訓(xùn)練時隨機(jī)屏蔽25%的神經(jīng)元防止過擬合。訓(xùn)練循環(huán)也需要單獨(dú)寫清楚因?yàn)樗婕澳Ｐ湍Ｊ角袚Q這是新手最容易忽略的點(diǎn)。def train_one_epoch(model, loader, optimizer, criterion, device): model.train() # 開啟訓(xùn)練模式, 啟用Dropout total_loss 0.0 for images, labels in loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() total_loss loss.item() return total_loss / len(loader) def evaluate(model, loader, device): model.eval() # 關(guān)閉Dropout, BatchNorm用累計統(tǒng)計量 correct 0 with torch.no_grad(): # 推理階段不建計算圖, 省顯存 for images, labels in loader: images, labels images.to(device), labels.to(device) pred model(images).argmax(dim1) correct (pred labels).sum().item() return correct / len(loader.dataset) criterion nn.CrossEntropyLoss() optimizer torch.optim.Adam(model.parameters(), lr1e-3)model.train()和model.eval()的區(qū)別常被忽略train模式啟用Dropout和BatchNorm的批次統(tǒng)計eval模式關(guān)閉Dropout并使用累計統(tǒng)計量。忘了切換就會出現(xiàn)訓(xùn)練時好好的一評估就翻車的怪現(xiàn)象。with torch.no_grad()讓推理不保存梯度計算圖顯存占用和速度都有明顯改善。這個訓(xùn)練循環(huán)是通用模板換數(shù)據(jù)集、換網(wǎng)絡(luò)結(jié)構(gòu)基本都能復(fù)用只改輸入維度和類別數(shù)就行。3. 把模型裝進(jìn)系統(tǒng)訓(xùn)練腳本固化、模型持久化與Tkinter手寫畫板3.1 把訓(xùn)練流程寫成可復(fù)跑腳本損失曲線與驗(yàn)證精度怎么看notebook里調(diào)通的代碼要變成能交付的系統(tǒng)第一步是把訓(xùn)練流程固化成腳本。這樣做的意義在于固定隨機(jī)種子讓結(jié)果可復(fù)現(xiàn)訓(xùn)練曲線落盤讓之后能復(fù)盤全流程參數(shù)集中配置讓換數(shù)據(jù)集時不用改代碼邏輯。# train.py 核心結(jié)構(gòu) import random import numpy as np import torch import matplotlib.pyplot as plt def set_seed(seed42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) if torch.cuda.is_available(): torch.cuda.manual_seed_all(seed) set_seed(42) # 固定種子, 保證多次訓(xùn)練結(jié)果一致 model DigitCNN().to(device) optimizer torch.optim.Adam(model.parameters(), lr1e-3) train_losses, val_accs [], [] for epoch in range(12): loss train_one_epoch(model, train_loader, optimizer, criterion, device) acc evaluate(model, test_loader, device) train_losses.append(loss) val_accs.append(acc) print(fepoch {epoch1:02d}: loss{loss:.4f}, acc{acc:.4f}) # 曲線落盤, 訓(xùn)練完隨時回看 plt.figure(figsize(8, 4)) plt.subplot(1, 2, 1) plt.plot(train_losses, markero) plt.title(train loss) plt.subplot(1, 2, 2) plt.plot(val_accs, markero, colorgreen) plt.title(val acc) plt.tight_layout() plt.savefig(training_curve.png, dpi150)曲線的看法就三句話。loss平穩(wěn)下降說明學(xué)習(xí)率合適loss震蕩說明學(xué)習(xí)率偏大或批次太小數(shù)值來回跳但整體不降八成是這兩個參數(shù)的事train loss持續(xù)降但驗(yàn)證準(zhǔn)確率不再漲就是過擬合信號優(yōu)先加Dropout或數(shù)據(jù)增強(qiáng)而不是繼續(xù)加epoch。固定隨機(jī)種子這事看著玄學(xué)但你沒法復(fù)現(xiàn)前一版結(jié)果的時候它就是唯一的后悔藥。3.2 模型保存與加載joblib與state_dict的使用邊界模型訓(xùn)練好后序列化是系統(tǒng)能否獨(dú)立運(yùn)行的分水嶺。不同框架有各自的推薦做法混著用會踩坑。# sklearn模型用joblib, 能完整保存整個estimator import joblib joblib.dump(model, mnist_svm.pkl) loaded_svm joblib.load(mnist_svm.pkl) pred loaded_svm.predict(X_test[:5]) # PyTorch模型推薦只存state_dict(參數(shù)), 不存整個對象 torch.save(model.state_dict(), mnist_cnn.pth) # 加載時先建同結(jié)構(gòu)網(wǎng)絡(luò), 再把參數(shù)灌進(jìn)去 loaded_cnn DigitCNN() loaded_cnn.load_state_dict(torch.load(mnist_cnn.pth, map_locationcpu)) loaded_cnn.eval()兩條路的使用邊界要分清。joblib保存的是整個sklearn估計器包括參數(shù)、類和版本信息加載時要求Python和sklearn版本盡量一致跨大版本經(jīng)常報錯。PyTorch的torch.save(model.state_dict())只保存參數(shù)字典加載時必須先手動構(gòu)建同結(jié)構(gòu)的網(wǎng)絡(luò)好處是跨版本兼容性更好壞處是你得保證網(wǎng)絡(luò)結(jié)構(gòu)代碼沒變過。還有一種常見錯誤是直接torch.save(model)把整個對象序列化這種做法在類定義路徑變化或跨機(jī)器時會直接崩別圖省事。我的習(xí)慣是模型文件旁邊放一個requirements.txt把numpy、scikit-learn、torch、torchvision的版本號固定住。這樣半年后換機(jī)器能少一大半加載失敗的排查時間。3.3 Tkinter畫板交互從Canvas筆跡到28×28張量的實(shí)時識別鏈路一個手寫數(shù)字識別系統(tǒng)總得有人機(jī)交互入口。Tkinter是Python標(biāo)準(zhǔn)庫自帶的可視化工具不需要額外安裝做一個鼠標(biāo)寫數(shù)字、點(diǎn)擊識別的畫板足夠用。核心是把Canvas上的筆跡轉(zhuǎn)成28×28的MNIST風(fēng)格張量這一步的處理方式和訓(xùn)練數(shù)據(jù)越一致識別越準(zhǔn)。import tkinter as tk from PIL import Image, ImageDraw import numpy as np import torch class DigitApp: def __init__(self, model, device): self.model, self.device model, device self.win tk.Tk() self.win.title(手寫數(shù)字識別) # 畫布280x280, 正好是28x28的10倍, 縮放取整方便 self.canvas tk.Canvas(self.win, width280, height280, bgwhite) self.canvas.pack() self.canvas.bind(B1-Motion, self.paint) self.canvas.bind(ButtonRelease-1, self.reset_line) btn tk.Frame(self.win); btn.pack(pady10) tk.Button(btn, text識別, commandself.predict).pack(sideleft, padx5) tk.Button(btn, text清空, commandself.clear).pack(sideleft, padx5) self.label tk.Label(self.win, text用鼠標(biāo)寫一個數(shù)字, font(Arial, 14)) self.label.pack(pady10) # L模式8bit灰度, 白底; draw對象負(fù)責(zé)記錄筆跡 self.image Image.new(L, (280, 280), 255) self.draw ImageDraw.Draw(self.image) self.prev None self.win.mainloop() def paint(self, event): if self.prev is not None: x1, y1 self.prev self.canvas.create_line(x1, y1, event.x, event.y, width12, capstyleround) self.draw.line([x1, y1, event.x, event.y], fill0, width12) self.prev (event.x, event.y) def reset_line(self, event): self.prev None # 每次抬筆重置錨點(diǎn), 否則會畫出連接線 def clear(self): self.canvas.delete(all) self.image Image.new(L, (280, 280), 255) self.draw ImageDraw.Draw(self.image) self.label.config(text用鼠標(biāo)寫一個數(shù)字)這里有個細(xì)節(jié)容易翻車如果不綁定ButtonRelease-1去重置prev下一次落筆時paint里的prev還停留在上一次抬筆的坐標(biāo)系統(tǒng)會在兩次書寫之間畫一條不存在的斜線。line width用12是為了模擬真實(shí)筆跡的粗細(xì)太細(xì)的線條經(jīng)過縮放后很容易在28×28上斷裂數(shù)字1這類細(xì)筆畫會直接消失。def predict(self): # 縮放到28x28, BILINEAR抗鋸齒比NEAREST平滑 img self.image.resize((28, 28), Image.BILINEAR) arr np.array(img).astype(np.float32) # 白底黑字 - 黑底白字, 和MNIST方向一致; 再縮放到[0,1] arr (255.0 - arr) / 255.0 tensor torch.from_numpy(arr).unsqueeze(0).unsqueeze(0).to(self.device) with torch.no_grad(): prob torch.softmax(self.model(tensor), dim1) digit torch.argmax(prob, dim1).item() conf prob[0, digit].item() self.label.config(textf識別結(jié)果: {digit} 置信度 {conf:.2f})predict這一段是整條識別鏈路的縮影縮放、反色、歸一化、擴(kuò)維、推理、取softmax置信度。擴(kuò)維的unsqueeze做了兩次第一次從(28,28)變成(1,28,28)表示單通道第二次變成(1,1,28,28)表示batch為1。反色那一步尤其關(guān)鍵因?yàn)镸NIST是黑底白字而Tkinter畫布是白底黑字不做(255.0 - arr)這一步模型的輸入語義就反了。4. 精度從98%到99%數(shù)據(jù)增強(qiáng)、超參數(shù)調(diào)優(yōu)與多模型投票的收益邊界4.1 數(shù)據(jù)增強(qiáng)隨機(jī)平移旋轉(zhuǎn)讓模型學(xué)到什么基線CNN能到98.9%左右再往上推靠的是讓模型見更多變形樣本。MNIST雖然規(guī)范但真實(shí)手寫不可避免有偏移和傾斜數(shù)據(jù)增強(qiáng)就是在訓(xùn)練時隨機(jī)制造這些變化讓模型學(xué)會忽略它們。注意增強(qiáng)只加在訓(xùn)練集測試集必須保持確定性處理否則評估結(jié)果就沒法橫向比較。from torchvision import transforms # 訓(xùn)練集增強(qiáng): 旋轉(zhuǎn)±10度, 平移±10%, 這會顯著提升泛化 train_transform transforms.Compose([ transforms.RandomAffine(degrees10, translate(0.1, 0.1)), transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) # 測試集只做確定性變換, 不做隨機(jī)增強(qiáng) test_transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ])RandomAffine的degrees10表示隨機(jī)旋轉(zhuǎn)范圍正負(fù)10度translate(0.1, 0.1)表示水平和垂直方向各隨機(jī)平移最多10%。這兩個參數(shù)對MNIST效果明顯旋轉(zhuǎn)太大會讓6和9變得難以區(qū)分平移太大會把筆畫推到邊緣所以10度、10%是經(jīng)過大量實(shí)驗(yàn)的穩(wěn)妥區(qū)間。加入增強(qiáng)后同樣的網(wǎng)絡(luò)結(jié)構(gòu)準(zhǔn)確率能從98.9%提到99.2%以上并且對畫板輸入這種有輕微偏移的場景更魯棒。判斷增強(qiáng)是否過頭的辦法是看驗(yàn)證集準(zhǔn)確率如果訓(xùn)練loss降但是驗(yàn)證acc不再漲甚至掉說明增強(qiáng)強(qiáng)度已經(jīng)讓模型學(xué)不動了。4.2 關(guān)鍵超參數(shù)怎么定學(xué)習(xí)率、batch_size、卷積核與epochs的搭配表超參數(shù)調(diào)優(yōu)是手寫數(shù)字識別系統(tǒng)里最容易被玄學(xué)化的部分。實(shí)際上MNIST小、訓(xùn)練快完全可以用每次改一個變量跑五輪看趨勢的方式系統(tǒng)排查。下面這張表是我常用的起始建議適合小型CNN。超參數(shù)建議值調(diào)大/調(diào)小的影響學(xué)習(xí)率1e-3過大loss震蕩不收斂過小收斂極慢10輪看不出動靜batch_size64調(diào)大訓(xùn)練穩(wěn)但顯存占用高調(diào)小噪聲大梯度抖動明顯卷積核數(shù)量32/64增加通道數(shù)提升擬合能力但參數(shù)量和過擬合風(fēng)險同步上升epochs10~15MNIST上超過15輪收益很小重點(diǎn)看驗(yàn)證曲線是否走平Dropout0.25調(diào)大抑制過擬合但可能欠擬合0.5以上對MNIST通常過重優(yōu)化器Adam默認(rèn)配置即可SGD需要手動調(diào)momentum和lr新手不建議先換學(xué)習(xí)率是最先該查的參數(shù)。用Adam配1e-3在MNIST上幾乎不會出問題但如果換到其他數(shù)據(jù)集第一件事永遠(yuǎn)是畫loss曲線確認(rèn)收斂方向而不是直接調(diào)網(wǎng)絡(luò)結(jié)構(gòu)。batch_size的選取有個實(shí)用原則能放進(jìn)顯存就盡量用64不必為了追求理論上的梯度穩(wěn)定性去用256以上。卷積核數(shù)量方面MNIST這種簡單任務(wù)32/64足夠翻倍到128收益很小訓(xùn)練時間卻要翻幾倍性價比很低。epochs的確定不看固定值看曲線驗(yàn)證準(zhǔn)確率連續(xù)三輪不漲就停掉這叫早停。MNIST上手寫數(shù)字類別差異大模型通常第8到第12輪就收斂了再往后訓(xùn)練只會過擬合到訓(xùn)練集的書寫風(fēng)格上。4.3 集成與遷移的邊界MNIST場景下什么時候別用大模型到了99%這條線還想往99.5%以上夠常見思路有兩個多模型投票和遷移學(xué)習(xí)。多模型投票的做法是訓(xùn)練兩個結(jié)構(gòu)不同或初始化不同的模型比如一個CNN加一個SVM預(yù)測時各自給出類別分布取平均后argmax。邏輯很直接不同模型的錯誤模式不完全重疊投票能互相糾錯。# 軟投票: 多個模型各自輸出概率, 取平均后argmax def ensemble_predict(models, tensor, device): probs [] for model in models: model.eval() with torch.no_grad(): prob torch.softmax(model(tensor), dim1) probs.append(prob) avg torch.stack(probs).mean(dim0) return avg.argmax(dim1).item(), avg.max(dim1).values.item()但MNIST有個特殊性數(shù)據(jù)太干凈模型已經(jīng)接近飽和集成提升通常只有0.2到0.3個百分點(diǎn)卻要把推理時間翻好幾倍。如果系統(tǒng)要打包給別人用這個成本要仔細(xì)掂量。遷移學(xué)習(xí)同理從ImageNet預(yù)訓(xùn)練的ResNet遷移到MNIST屬于大材小用28×28灰度圖和ImageNet的分布差異太大預(yù)訓(xùn)練權(quán)重不僅幫不上忙還可能拖慢收斂。我的結(jié)論是MNIST場景下99.2%這個水平對絕大多數(shù)業(yè)務(wù)都夠用再往上屬于為跑分而跑分不如把精力花在真實(shí)圖片的預(yù)處理魯棒性上。5. 手寫數(shù)字識別系統(tǒng)避坑指南五個讓新手翻車的真實(shí)場景5.1 訓(xùn)練準(zhǔn)確率99%真實(shí)手寫圖全廢現(xiàn)象模型在MNIST測試集上99%用手機(jī)拍的手寫數(shù)字圖片預(yù)測完全不對輸出亂七八糟。原因預(yù)處理不一致。測試圖片是幾百像素的彩色圖沒灰度化、沒縮放、沒歸一化直接resize成28×28就喂給模型像素分布和MNIST完全不在一個空間里。解決把訓(xùn)練和預(yù)測共用的預(yù)處理抽成一個函數(shù)任何人任何入口都只能走這一個函數(shù)?；叶然瓷s放到28×28→歸一化這四步一個都不能少。我在工程里的習(xí)慣是把這個函數(shù)單獨(dú)放一個preprocess.py訓(xùn)練腳本引用它做數(shù)據(jù)準(zhǔn)備GUI和批量測試腳本也引用它保證全項(xiàng)目只有一份預(yù)處理邏輯。5.2 白底黑字被當(dāng)成黑底白字現(xiàn)象在畫板上寫一個5識別結(jié)果卻是3或9置信度還不低。原因MNIST是黑底白字而Tkinter畫布、掃描件通常是白底黑字。像素語義完全反了模型看到的數(shù)字實(shí)際是背景背景才是數(shù)字。這個錯誤很隱蔽因?yàn)槟Ｐ瓦€是有把握地答錯。解決預(yù)測前做反色處理把白底黑字變成黑底白字再歸一化。代碼就是一行的差別arr (255.0 - arr) / 255.0。排查方法很簡單把預(yù)處理后的數(shù)組保存成圖片看一眼如果數(shù)字是黑的、背景是白的說明反色那一步漏了。5.3 維度報錯與類型報錯HWC與NCHW、float64與float32現(xiàn)象用OpenCV或PIL讀圖喂給PyTorch模型報錯Expected 4D input或者Expected dtype float32 but got float64。原因兩個底層習(xí)慣差異。其一OpenCV讀出來是H×W×C高、寬、通道PyTorch要求N×C×H×W批次、通道、高、寬維度順序相反其二numpy默認(rèn)float64而PyTorch模型參數(shù)是float32類型不匹配直接報錯。解決讀圖后先transpose再擴(kuò)維同時顯式轉(zhuǎn)換類型。arr img.transpose(2, 0, 1)[None].astype(np.float32)這段代碼把HWC變成NCHW把float64轉(zhuǎn)成float32。PIL讀灰度圖沒有通道維度需要先用np.array(img)拿到數(shù)值再按28×28單通道處理。這個坑在混合使用不同圖像庫的時候尤其容易踩統(tǒng)一入口函數(shù)是根治辦法。5.4 模型文件換機(jī)器加載失敗現(xiàn)象在自己電腦上保存的pkl或pth模型拷貝到服務(wù)器上加載直接報ModuleNotFoundError或KeyError部分場景能加載但預(yù)測結(jié)果和原來不一樣。原因joblib保存的sklearn模型依賴Python和sklearn的版本路徑跨版本時類定義可能遷移PyTorch如果連整個model對象一起保存網(wǎng)絡(luò)結(jié)構(gòu)的類定義換機(jī)器后找不到。解決分別對待。sklearn模型用joblib.load前先確認(rèn)兩臺機(jī)器的sklearn版本一致最好在requirements.txt里鎖死PyTorch模型只保存state_dict然后重建網(wǎng)絡(luò)再灌入這種做法不依賴類對象序列化兼容性最好。如果還要跨框架調(diào)用可以考慮導(dǎo)出成ONNX格式用onnxruntime做推理這條路能徹底繞開Python版本差異問題。當(dāng)然最穩(wěn)妥的辦法是訓(xùn)練完直接打印一份數(shù)據(jù)預(yù)處理參數(shù)模型結(jié)構(gòu)權(quán)重的完整清單跟模型文件放在一起。5.5 畫板坐標(biāo)漂移Canvas事件坐標(biāo)與圖像坐標(biāo)對不齊現(xiàn)象在畫板左上角寫數(shù)字識別框卻響應(yīng)在別的區(qū)域或者寫8時出現(xiàn)一條不該有的連線把數(shù)字底部連成一團(tuán)。原因兩個細(xì)節(jié)疊加。Canvas的坐標(biāo)原點(diǎn)是左上角PIL Image的坐標(biāo)原點(diǎn)也是左上角兩者理論上一致但很多人會把canvas的高度、width傳錯或者resize時用了NEAREST采樣導(dǎo)致筆跡斷裂另一個常見問題是prev錨點(diǎn)沒有在ButtonRelease時重置兩次書寫之間自動畫了一條線。解決第一Canvas尺寸和Image尺寸保持一致280×280就是28×28的十倍等比縮放不用額外換算第二縮放用Image.BILINEAR別用NEAREST細(xì)筆畫的鋸齒在28×28下會直接消失第三綁定了ButtonRelease-1事件后把prev重置為None確保每次落筆是一段新筆跡。如果已經(jīng)出現(xiàn)了坐標(biāo)偏移先打印event.x和event.y對照Canvas尺寸排查八成是尺寸傳反了。6. 用真實(shí)手寫圖片做端到端驗(yàn)證批處理腳本與打包交付系統(tǒng)做到這步MNIST測試集上的數(shù)字已經(jīng)說明不了問題真正的驗(yàn)收標(biāo)準(zhǔn)是拿一批你沒見過的真實(shí)手寫圖片批量跑一遍。常見做法是寫一個批處理腳本用glob掃描目錄下的圖片逐一走同一套預(yù)處理流程輸出每張圖的預(yù)測和置信度。這里的關(guān)鍵細(xì)節(jié)是真實(shí)圖片往往有大量留白和裁切不規(guī)范直接縮放會把筆畫擠扁所以要先做邊界框居中。import glob import numpy as np from PIL import Image import torch def mnistify(path, target28, pad4): 任意手寫圖片 - MNIST風(fēng)格28x28張量 img Image.open(path).convert(L) arr np.array(img) mask arr 200 # 筆跡通常是深色 rows np.any(mask, axis1) cols np.any(mask, axis0) if not rows.any(): return np.zeros((target, target), dtypenp.float32) # 純空白 rmin, rmax np.where(rows)[0][[0, -1]] cmin, cmax np.where(cols)[0][[0, -1]] # 裁邊后轉(zhuǎn)成正方形, 避免橫豎比例變形 h, w rmax - rmin 1, cmax - cmin 1 side max(h, w) square np.full((side, side), 255, dtypenp.uint8) # 白底 top, left (side - h) // 2, (side - w) // 2 square[top:toph, left:leftw] arr[rmin:rmax1, cmin:cmax1] # 縮放 反色 歸一化 放進(jìn)帶白邊的畫布 img2 Image.fromarray(square).resize((target-2*pad, target-2*pad), Image.BILINEAR) out np.full((target, target), 0, dtypenp.float32) # 黑底 off pad out[off:offtarget-2*pad, off:offtarget-2*pad] (255.0 - np.array(img2)) / 255.0 return out for p in sorted(glob.glob(test_imgs/*.png)): x mnistify(p) tensor torch.from_numpy(x).unsqueeze(0).unsqueeze(0).to(device) with torch.no_grad(): prob torch.softmax(model(tensor), dim1) digit prob.argmax(1).item() conf prob[0, digit].item() print(f{p}: 數(shù)字{digit}, 置信度{conf:.2f})mnistify這個函數(shù)里裁邊和轉(zhuǎn)正方形是重點(diǎn)。真實(shí)圖片不會像MNIST那樣天然居中如果直接resize數(shù)字會被橫向或縱向拉伸變形識別率掉一截。先找到筆跡的邊界框裁出來再補(bǔ)成正方形能保證數(shù)字始終在畫面中央且比例不變。這套批處理腳本同時是回歸測試工具——每次改完預(yù)處理或模型跑一遍全量真實(shí)圖片對比之前的輸出就能發(fā)現(xiàn)哪次改動引入了回歸。交付方式也要提前想好。如果對方?jīng)]有Python環(huán)境常見做法是用PyInstaller打包成可執(zhí)行文件。打包命令一行就能跑通pyinstaller --onefile --add-data mnist_cnn.pth;. app.py。這里有個隱藏坑打包成exe后程序的工作目錄可能不在exe所在目錄直接按相對路徑找模型文件會報錯需要用sys._MEIPASS定位解包目錄。import sys, os if getattr(sys, frozen, False): base sys._MEIPASS # PyInstaller 運(yùn)行時解包目錄 else: base os.path.dirname(__file__) model_path os.path.join(base, mnist_cnn.pth)把模型路徑改成這種寫法打包后不管是雙擊exe還是命令行調(diào)用都能正確找到模型文件。部署時順手在exe同目錄放一份測試圖片讓對方打開就能試比任何說明文檔都管用。我現(xiàn)在接這類識別需求第一件事永遠(yuǎn)不是調(diào)模型而是先寫一個把任意圖片變成MNIST風(fēng)格的預(yù)處理函數(shù)然后對中間結(jié)果逐個存圖檢查。這個習(xí)慣幫我擋掉了大半翻車場景——大部分識別失敗的根因不在模型而在數(shù)據(jù)進(jìn)模型之前那一路上。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取