簡介本資源是一個基于ESP32硬件平臺構(gòu)建的智能人臉識別考勤系統(tǒng)完整實現(xiàn)面向計算機科學(xué)、人工智能、自動化、電子信息等專業(yè)的在校學(xué)生、教師及初學(xué)者解決課堂/實驗室場景下無接觸式身份核驗與考勤統(tǒng)計的實際需求。壓縮包共46個文件含19個Java后端邏輯與Web交互代碼、5個Excel格式的課程與學(xué)生管理模板如選課名單、批量導(dǎo)入表、9張PNG/JPG界面與架構(gòu)示意圖涵蓋登錄頁、圖像接收流程、考勤圖表等以及SQL數(shù)據(jù)庫腳本、Maven構(gòu)建配置和README說明文檔整體僅1.18MB輕量易部署。已有145人下載學(xué)習(xí)適合作為課程設(shè)計、畢業(yè)設(shè)計原型或項目立項演示代碼經(jīng)實測可穩(wěn)定運行結(jié)構(gòu)清晰、模塊分離明確支持在基礎(chǔ)功能上快速擴展活體檢測、多終端同步或云端數(shù)據(jù)對接等進階特性。 這套系統(tǒng)說白了就是給公司或者工作室門口裝一個“認臉開門自動打卡”的裝置。去年我們團隊十幾個人還在用紙質(zhì)表格簽到月底統(tǒng)計考勤能對一下午后來我用ESP32-CAM做了一套原型識別到的臉會顯示姓名同時記錄時間認不出來就語音提示重試配合繼電器還能驅(qū)動電控鎖。這篇文章想把整個項目的關(guān)鍵鏈路拆開講清楚包括硬件為什么這么選、人臉識別跑在哪一層、考勤狀態(tài)怎么設(shè)計以及我實際調(diào)試中踩過的那些坑。1. 先想明白方案分工ESP32在系統(tǒng)里扮演什么角色1.1 為什么不是直接在ESP32上跑完整人臉識別很多人一看到“ESP32人臉識別”第一反應(yīng)就是讓這塊幾塊錢的芯片自己完成檢測、提取特征、比對的全套流程。我能理解這個直覺但實際做下來你會發(fā)現(xiàn)ESP32的240MHz雙核、520KB SRAM對輕量級圖像處理還能應(yīng)付一旦要跑稍大一點的特征提取模型內(nèi)存和算力都吃緊識別一幀畫面可能要等好幾秒門口排隊體驗會很糟糕。所以我最終采用的方案是把系統(tǒng)拆成兩層ESP32負責(zé)圖像采集、人機交互、門禁控制和本地緩存真正的人臉檢測與特征比對放到上位機局域網(wǎng)內(nèi)的PC或小主機上。這樣做的好處很明顯——上位機可以用OpenCV、ONNX Runtime甚至更專業(yè)的框架去跑精度更高的模型識別速度快不少后期換算法也不用重新刷ESP32固件。1.2 一次完整刷臉背后的數(shù)據(jù)流先說清楚這套系統(tǒng)跑通一個完整考勤動作的流程后面再逐段展開ESP32-CAM的攝像頭采集到一幀JPEG圖像ESP32把圖片通過WiFi以HTTP POST方式發(fā)送到局域網(wǎng)內(nèi)指定地址的上位機服務(wù)上位機程序先做人臉檢測截出人臉區(qū)域再做關(guān)鍵點對齊然后送入特征提取模型得到一組128維或512維的特征向量服務(wù)端拿這個特征向量和本地特征庫里的人臉逐一比對取余弦相似度最高且超過閾值的那條記錄返回“工號姓名考勤動作”或“識別失敗”ESP32收到結(jié)果后在屏幕上顯示姓名和打卡時間或者播放語音提示同時通過GPIO控制繼電器實現(xiàn)門禁開鎖考勤記錄同時寫入本地日志和上位機數(shù)據(jù)庫斷網(wǎng)時ESP32先緩存記錄網(wǎng)絡(luò)恢復(fù)后補傳。這個鏈路里ESP32不再吃力扛模型推理而是像一個“智能采集終端”。對于做產(chǎn)品原型來說這個架構(gòu)的容錯性和擴展性都更好。2. 硬件選型的賬本每一塊錢花在刀刃上2.1 ESP32-CAM是否夠用要不要換獨立攝像頭市面上最常用的ESP32-CAM模塊自帶OV2640攝像頭200萬像素1600x1200板上還有TF卡槽和幾個可用GPIO價格大致在30到50元之間對原型驗證來說是性價比很高的選擇。不過要提醒一點OV2640在光線充足時表現(xiàn)還行到了傍晚或者室內(nèi)逆光環(huán)境噪點會明顯增加。我在項目里給OV2640設(shè)置了固定增益和自動曝光模式但效果提升有限。真正要追求暗光表現(xiàn)要么在門口加補光要么換OV5640攝像頭模塊。OV5640支持更高分辨率和更好的感光但引腳定義、寄存器配置和OV2640不一樣驅(qū)動要改不少初期不建議折騰。我建議先把OV2640跑通再考慮畫質(zhì)升級。2.2 主控、屏幕、門禁聯(lián)動這些部分怎么選我用的ESP32-CAM板本身不帶USB轉(zhuǎn)串口芯片燒錄時需要外接USB-TTL這點很多人第一次會卡住。如果你的開發(fā)板是ESP32-CAM-MB那種帶底板和USB口的就省事一些但也要注意每個底板上的AMS1117穩(wěn)壓模塊電流余量不大給屏幕和攝像頭同時供電時容易電壓跌落導(dǎo)致WiFi掉線或重啟。屏幕部分我選擇了常見的1.8寸ST7735 TFT屏驅(qū)動庫用TFT_eSPIESP32-CAM的GPIO有限接法我放在后面章節(jié)講。屏幕主要用來顯示“當前識別結(jié)果時間”偶爾顯示W(wǎng)iFi連接狀態(tài)和系統(tǒng)IP方便調(diào)試。門禁控制用5V繼電器模塊通過ESP32一個GPIO控制三極管導(dǎo)通。如果接的是電插鎖或電磁鎖電源側(cè)務(wù)必單獨供電不能從ESP32開發(fā)板的5V引腳直接拉大電流不然板載LDO會冒煙。我測試時用了一路12V適配器給電控鎖供電繼電器只負責(zé)通斷信號這樣ESP32供電和鎖供電互相獨立。還有幾個值得花錢的小配件蜂鳴器模塊識別成功/失敗的提示音、兩個輕觸開關(guān)一個觸發(fā)考勤、一個進入配網(wǎng)模式、一個MPU6050之類的東西倒不需要不要被多余模塊綁架。2.3 完整硬件清單與參考成本部件型號/規(guī)格參考價元說明主控與攝像頭ESP32-CAMOV264035板載天線、TF卡槽USB-TTLCP2102或CH34010燒錄和串口日志屏幕1.8寸ST7735 SPI屏18顯示姓名、時間繼電器模塊5V單路5控制門鎖信號電源適配器5V/2A15給ESP32系統(tǒng)供電門鎖電源12V適配器20單獨給電控鎖供電蜂鳴器/按鍵/杜邦線若干10交互與調(diào)試外殼3D打印或塑料盒可省防塵、固定鏡頭這樣一套原型機的物料成本往高了算也就120元上下如果手頭有廢棄的USB線和舊手機充電頭還能再省。相比市面上動輒上千元的成品人臉考勤門禁機這個項目最大的價值先是可控、可改、可學(xué)習(xí)。3. 人臉識別鏈路的工程化從攝像頭畫面到“這是誰”3.1 檢測、對齊、特征提取三步一個都不能省很多人以為人臉識別就是用OpenCV的Haar級聯(lián)檢測出臉然后直接和數(shù)據(jù)庫里的圖片做像素對比這其實是非常脆弱的做法。人臉姿態(tài)、表情、光照一變像素級別相似度會立刻崩掉。正確做法是回歸到“人臉識別八字訣”檢測、對齊、特征、比對。檢測從整張畫面里框出人臉區(qū)域。我用的是OpenCV的YuNet人臉檢測器它比Haar準確率高對小臉和側(cè)臉的魯棒性更好ONNX模型只有幾百KB適合在上位機里快速跑。對齊檢測到人臉關(guān)鍵點雙眼、鼻尖、嘴角后通過仿射變換把面部校正到標準位置。這一步能顯著減少頭部傾斜和遠近帶來的特征偏差。特征提取把對齊后的人臉圖像送入MobileFaceNet模型輸出一個128維的特征向量。這個模型是為嵌入式設(shè)備設(shè)計的輕量網(wǎng)絡(luò)在普通PC上用CPU推理單張人臉特征提取大約20-30毫秒完全夠用。比對用余弦相似度衡量兩個特征向量的接近程度。相似度越高越可能是同一個人。3.2 閾值到底設(shè)多少才合適閾值是整個系統(tǒng)里最影響體驗的參數(shù)。設(shè)太高員工每天刷好幾次都識別失敗設(shè)太低A員工可能把B員工的臉認成自己考勤記錄就會亂掉。我在實際測試中MobileFaceNet余弦相似度閾值設(shè)在0.38到0.42之間整體識別效果最穩(wěn)。不同攝像頭、不同光線對同一張臉的相似度影響很大所以不能照抄別人的閾值一定要用自己場景下的數(shù)據(jù)重新標定。我建議做這么一步采集10個同事各20張不同角度的照片兩兩計算相似度記錄“同類最小相似度”和“異類最大相似度”取兩者中間值作為初始閾值再留出0.05的余量。這個操作不復(fù)雜但能省掉后面大量誤識別問題。3.3 光線、角度、距離這三個變量最容易被忽略我拿這套設(shè)備在辦公室門口實測發(fā)現(xiàn)幾個規(guī)律正面朝向攝像頭時識別率最高偏頭超過20度后相似度開始明顯下降這在對齊環(huán)節(jié)做得好的前提下也只能略微緩解距離在0.4米到1.2米之間是黃金區(qū)間太近了畫面里只有半張臉太遠了臉部像素數(shù)不夠檢測器直接框不出來背光場景是最大殺手人站在門口背后是走廊亮光攝像頭拍出來人臉是黑的特征提取效果很差。為了解決暗光問題我加了一個LED補光燈由ESP32的GPIO控制識別人臉前自動點亮500毫秒再拍照。補光位置不能直射眼睛斜向上打在天花板或墻壁上形成漫反射出圖效果更柔和。另外攝像頭本身的鏡頭焦距也影響識別距離。ESP32-CAM默認鏡頭對近距離表現(xiàn)還行我后來換成了一顆6mm焦距的M12鏡頭識別距離拉到了1.5米門口兩三米的過道也能提前識別體感好很多。這種鏡頭大概幾塊錢值得備幾顆試驗。4. 考勤邏輯設(shè)計識別到臉只是萬里長征第一步4.1 簽到、簽退、防重復(fù)一個狀態(tài)機全部搞定如果把考勤邏輯寫成簡單的一句“識別到臉就記錄”系統(tǒng)在真實場景里根本沒法用。一個人每天早晨會路過門口好幾次每識別一次就記一次那考勤記錄就變成流水賬了。所以我在上位機和ESP32端都設(shè)計了一套狀態(tài)機。每個員工的記錄里維護幾個關(guān)鍵字段今日首次簽到時間、今日最后簽退時間、當前是否在崗、最后一次考勤時間。當識別到人臉時如果當前在崗為false且距上次離崗超過30秒記錄為“簽到”狀態(tài)改為在崗如果當前在崗為true記錄為“簽退”狀態(tài)改為離崗如果距上一條同類記錄小于30秒直接忽略防止誤觸發(fā)。這套邏輯在ESP32斷網(wǎng)緩存時同樣適用每個記錄帶著時間戳和員工編號服務(wù)器端會在入庫時再做一次冪等校驗?？记谝?guī)則每個人可以不一樣比如有人上夜班那么“簽到”時間是晚上8點“簽退”是第二天早上6點不能只按自然日切分。4.2 考勤記錄怎么落庫ESP32斷網(wǎng)怎么兜底上位機端我用SQLite存考勤記錄表結(jié)構(gòu)簡單清晰id、employee_id、action、record_time、confidence、image_path。SQLite單文件部署方便不用額外安裝數(shù)據(jù)庫服務(wù)。如果團隊規(guī)模再大可以換MySQL或者把記錄寫入企業(yè)微信/釘釘?shù)慕涌诘碗A段SQLite完全夠用。ESP32端則維護一個本地日志緩沖區(qū)每次考勤動作成功后除了上傳服務(wù)器同時追加一條記錄到TF卡的CSV文件里。網(wǎng)絡(luò)異常時ESP32把記錄存到一個待上傳隊列每30秒嘗試補傳一次補傳成功后清空對應(yīng)緩存。這樣即使公司路由器晚上斷電第二天恢復(fù)網(wǎng)絡(luò)數(shù)據(jù)也不會丟。還有一個細節(jié)識別成功后的做人臉照片不一定都要存服務(wù)器。存照片會迅速占滿磁盤而且涉及員工隱私。我在服務(wù)器端默認只保留考勤記錄和特征向量不保留原始圖像。如果需要審計可以單獨開啟“截取陌生人人臉”功能來保存未注冊人員的抓拍圖。4.3 未注冊人員、多人同框、低置信度怎么處理門口站兩個人以上時攝像頭畫面里會出現(xiàn)多張人臉。我的策略是優(yōu)先識別面積最大、最靠近畫面中心的那張臉其他人臉忽略。這樣處理排隊場景比較友好也不會因為遠處路人入鏡而誤打卡。如果檢測到多張人臉面積接近說明兩個人離攝像頭都很近直接提示“請逐個打卡”避免互相干擾。未注冊人員識別失敗后系統(tǒng)會保存一張壓縮抓拍圖到陌生日志目錄同時蜂鳴器短響三聲示意打卡失敗。這么做的好處是安保可以事后翻閱陌生人記錄同時不會打擾正?？记诹鞒?。置信度低于閾值但高于“拒絕閾值”的情況我會把記錄標記為“待人工確認”而不是直接丟棄。比如一個員工今天戴了帽子和口罩相似度可能只有0.2系統(tǒng)雖然不通過考勤但會在后臺提醒考勤管理員。否則員工會因為一次識別失敗被扣工資體驗會很差。5. 組裝、燒錄和現(xiàn)場調(diào)試的實戰(zhàn)過程5.1 ESP32-CAM燒錄與分區(qū)表拿到ESP32-CAM后第一件事就是把GPIO0拉低進入下載模式插上USB-TTL打開Arduino IDE安裝esp32 by Espressif Systems開發(fā)板庫。國內(nèi)網(wǎng)絡(luò)環(huán)境下安裝可能比較慢你可以下載離線包然后在“開發(fā)板管理器”里手動導(dǎo)入。開發(fā)板型號選擇“AI Thinker ESP32-CAM”或通用ESP32Flash Mode建議選QIOFlash Frequency選80MHz。分區(qū)表建議選“Huge APP (3MB No OTA/1MB SPIFFS)”因為ESP32-CAM只有4MB FlashOTA雙分區(qū)會壓縮可用空間。我沒有啟用OTA功能而是通過USB串口燒錄這樣調(diào)試時串口日志看起來更順。燒錄后按下復(fù)位鍵串口監(jiān)視器波特率115200應(yīng)能看到啟動日志。如果你準備用我上面說的“ESP32采集、服務(wù)器識別”架構(gòu)固件本身需要開發(fā)的功能很聚焦初始化攝像頭、連接WiFi、監(jiān)聽按鍵/串口指令、拍照、HTTP上傳、接收結(jié)果、控制GPIO。ESP32端代碼量不大一個狀態(tài)機加幾個外設(shè)驅(qū)動就能搞定。5.2 攝像頭安裝位置、角度、焦距的現(xiàn)場調(diào)優(yōu)安裝位置對人臉識別成功率的影響比算法模型還大。我最初把攝像頭貼在門框1米1高度結(jié)果人臉偏仰視角度變形嚴重。后來調(diào)整到1.5米到1.7米的高度鏡頭略向下俯15到20度讓正常成年人站直時臉部大約落在畫面中央偏上識別明顯變穩(wěn)。鏡頭焦距的選擇也要配合安裝距離。如果在2米外的位置識別就用6mm或8mm的長焦鏡頭讓臉在畫面里占更大面積如果設(shè)備離門口就半米用原裝廣角鏡頭反而更合適廣角能覆蓋到旁邊排隊的人。焦距越長視場角越小安裝位置要更精確所以先用原裝鏡頭跑通整條鏈路再換鏡頭微調(diào)。5.3 電源、天線和干擾這些“看不見的坑”實測中最容易讓人崩潰的其實是供電問題。ESP32-CAM在開啟WiFi傳輸?shù)乃查g電流會沖高到300mA以上數(shù)據(jù)上傳時更高如果USB線太長太細壓降會直接把ESP32拉到復(fù)位電壓。我遇到過“一按拍照就重啟”的問題排查半天發(fā)現(xiàn)是供電的杜邦線只有短短10厘米換了粗線之后問題消失。WiFi天線環(huán)境也很關(guān)鍵。ESP32-CAM的PCB天線方向性較強盡量讓天線區(qū)域指向開闊空間不要貼在金屬外殼內(nèi)部。我的第一版外殼是全金屬的裝上后WiFi信號掉得厲害后來換成了里面貼一片透明亞克力、外層露天線孔的方案。屏幕接線上有個經(jīng)驗TFT_eSPI庫默認引腳需要改配置文件根據(jù)你的接線修改User_Setup.h里的定義。我最終接法如下屏幕SCK接GPIO14、SDA接GPIO15、DC接GPIO2、RST接GPIO16、CS接GPIO13。GPIO4芯片內(nèi)部接了攝像頭SD卡燈別用它做普通輸出。6. 實測數(shù)據(jù)與故障排查清單6.1 常規(guī)環(huán)境下的識別準確率和體驗在辦公室門口跑了大概一周總請求約480次人工核對后的表現(xiàn)如下場景測試次數(shù)成功次數(shù)成功率備注白天正對攝像頭20019597.5%偶爾受反光影響傍晚低照度12010890%開啟補光燈后改善側(cè)臉約20度806986.25%需多角度注冊戴帽子/口罩804151.25%需謹慎設(shè)置閾值戴帽子口罩的數(shù)據(jù)說明得很直白哪怕用MobileFaceNet大面積遮擋依然是硬傷。如果公司考勤場景允許口罩建議注冊兩張不同狀態(tài)的人臉特征比如一張無口罩、一張戴口罩比對時同時做能提升不少通過率。6.2 掉線、誤報、和識別不到人怎么查我在這個項目里總結(jié)了一份快速排查清單遇到問題先按這個順序查ESP32反復(fù)重啟大概率供電電流不夠換適配器換粗線斷開屏幕單獨測試WiFi連不上先看串口日志里掃描到的SSID列表確認2.4G頻段信道之間干擾大的話在路由器后臺固定信道識別特別慢檢查上位機CPU占用如果是實時視頻流識別建議改成“檢測到動作后再識別”的事件觸發(fā)模式不要7x24小時連續(xù)跑模型畫面過曝或過暗調(diào)整ESP32-CAM的brightness和contrast寄存器比折騰代碼里的圖像增強更直接考勤記錄重復(fù)或漏記把ESP32端狀態(tài)機的防抖時間拉長到30秒來看如果還重復(fù)檢查是不是按鍵按了多次或識別請求重發(fā)繼電器不動作先量GPIO輸出電平是否正確再用萬用表量繼電器線圈電壓最后檢查負載端電源是否獨立陌生日志太多降低補光燈亮度或者調(diào)整閾值尤其是逆光環(huán)境下閾值會自動變低容易把陌生人放進來。7. 我已經(jīng)遇到過的那些“教材不會寫”的細節(jié)首先是人臉錄入階段。錄入員工照片時不要直接讓他們站在攝像頭前拍一張就完事。我建議每個人采集5到8張不同角度、不同表情、不同光照的照片生成多個特征向量存到庫里比對時所有特征都算一遍取最高相似度。這能顯著提高識別魯棒性代價只是庫容量多占點空間考勤場景完全扛得住。其次是上位機服務(wù)要加心跳檢測。ESP32每10秒向上位機上報一次在線狀態(tài)上位機連續(xù)3次沒收到心跳就判定設(shè)備離線然后在后臺頁面標紅。這樣就算ESP32運行中掉線考勤管理員也能及時看到而不是月底翻記錄才發(fā)現(xiàn)那天系統(tǒng)沒工作。最后是把時鐘同步做好。ESP32用NTP對時上位機也統(tǒng)一用數(shù)據(jù)庫服務(wù)器時間。如果兩邊時間不一致考勤記錄會出現(xiàn)“簽到時間比簽退時間還晚”的詭異情況。我遇到過ESP32重啟后時間重置到1970年還發(fā)起了一次夜間8點的“簽到”請求被服務(wù)器端的狀態(tài)機攔掉了從那以后我每次啟動都先強制NTP同步。這套系統(tǒng)的核心能力其實不在于識別算法有多高級而在于把硬件采集、軟件服務(wù)、考勤狀態(tài)和用戶體驗合理地拼在一起。ESP32在人臉識別考勤系統(tǒng)里不是包打天下的角色但它是整套設(shè)備能落地到門口的關(guān)鍵一環(huán)。后續(xù)如果想擴展還可以加入云同步、小程序查考勤、周報自動推送。如果讓我重新做一次硬件選型上我會把ESP32-CAM換成一款帶USB接口的開發(fā)板省掉USB-TTL的麻煩然后重點優(yōu)化“識別到臉之后的交互速度”因為實測下來從按下按鍵到顯示姓名1.5秒的等待確實會讓人有點焦慮。本文還有配套的精品資源點擊獲取