AstronRPA視覺(jué)識(shí)別驗(yàn)證碼破解圖片匹配與OCR識(shí)別保姆級(jí)教程【免費(fèi)下載鏈接】astron-rpaAgent-ready RPA suite with out-of-the-box automation tools. Built for individuals and enterprises.項(xiàng)目地址: https://gitcode.com/bijinfeng/astron-rpaAstronRPA 是一款開(kāi)箱即用的 Agent-ready RPA 自動(dòng)化套件內(nèi)置視覺(jué)識(shí)別圖片匹配、驗(yàn)證碼破解滑塊/點(diǎn)擊/數(shù)英和 OCR 文字識(shí)別三大能力讓零基礎(chǔ)新手也能快速搭建自動(dòng)化腳本徹底告別手動(dòng)重復(fù)操作。 快速上手3 步裝好 AstronRPA獲取項(xiàng)目源碼如本地尚無(wú)倉(cāng)庫(kù)git clone https://gitcode.com/bijinfeng/astron-rpa啟動(dòng)客戶端按項(xiàng)目文檔配置運(yùn)行環(huán)境與瀏覽器插件引擎代碼位于 engine/components/文檔見(jiàn) engine/README.zh.md。安裝瀏覽器插件打開(kāi)瀏覽器擴(kuò)展商店安裝 AstronRPA 插件并登錄即可在網(wǎng)頁(yè)中拾取元素、配合視覺(jué)組件完成自動(dòng)化。 提示視覺(jué)組件主要在客戶端桌面窗口/瀏覽器中工作瀏覽器自動(dòng)化部分依賴插件配合架構(gòu)可參考上圖。 圖片匹配核心5 個(gè) CV 指令玩轉(zhuǎn)視覺(jué)識(shí)別AstronRPA 的視覺(jué)能力由CV 組件engine/components/astronverse-vision/提供。它的原理很簡(jiǎn)單截屏 → 在屏幕中尋找目標(biāo)圖片 → 執(zhí)行鼠標(biāo)/鍵盤操作。相比基于元素定位的方式圖片匹配對(duì)沒(méi)有 DOM 的桌面軟件、Canvas 頁(yè)面同樣有效。組件元數(shù)據(jù)定義在 meta.json核心實(shí)現(xiàn)在 cv.py。指令名稱一句話說(shuō)明CV.cv_click點(diǎn)擊圖像在屏幕上找到目標(biāo)圖并點(diǎn)擊支持單擊/雙擊、左/右/中鍵CV.wait_image等待圖像等待目標(biāo)圖出現(xiàn)或消失后再繼續(xù)流程CV.is_image_existIF圖像存在判斷圖像存在/不存在分支執(zhí)行不同代碼塊CV.hover_image鼠標(biāo)懸浮將鼠標(biāo)移動(dòng)到目標(biāo)圖像的指定位置CV.image_input圖像輸入框輸入點(diǎn)擊圖像定位的輸入框并輸入文字3 個(gè)新手必調(diào)參數(shù)匹配相似度默認(rèn) 0.95目標(biāo)圖與屏幕畫(huà)面的相似度閾值最高匹配精確度為 99%。識(shí)別不穩(wěn)時(shí)可調(diào)低到 0.9 試試誤點(diǎn)率高則調(diào)高。點(diǎn)擊位置中心點(diǎn) / 隨機(jī)位置 / 九宮格指定位置配合「橫向/縱向平移」可精確定位。鼠標(biāo)移動(dòng)方式高級(jí)項(xiàng)勻速直線、模擬人工、瞬時(shí)移動(dòng)——「模擬人工」軌跡更自然適合對(duì)行為軌跡敏感的場(chǎng)景。 驗(yàn)證碼破解教程滑塊、點(diǎn)擊、數(shù)英三步搞定網(wǎng)頁(yè)登錄自動(dòng)化最大攔路虎就是驗(yàn)證碼。AstronRPA 的VerifyCode 組件engine/components/astronverse-verifycode/內(nèi)置三類通用驗(yàn)證碼識(shí)別能力通過(guò)云端識(shí)別接口返回結(jié)果核心實(shí)現(xiàn)在 verifycode.py 與 core.py。1?? 數(shù)英驗(yàn)證碼CV 圖形識(shí)別→VerifyCode.picture_code適用1-4 位 / 5-8 位數(shù)字字母驗(yàn)證碼以及特殊驗(yàn)證碼。操作拾取驗(yàn)證碼圖片元素 → 選擇驗(yàn)證碼類型 → 勾選「是否填寫(xiě)輸入框」并拾取輸入框識(shí)別結(jié)果會(huì)自動(dòng)填入。輸出code_result識(shí)別結(jié)果字符串。2?? 滑塊驗(yàn)證碼VerifyCode.slider_code適用背景圖滑塊的通用驗(yàn)證碼支持變速滑塊拖動(dòng)距離與顯示距離不一致。操作分別拾取「背景圖片」和「滑塊」元素若為變速驗(yàn)證碼再拾取滑動(dòng)小圖并設(shè)置微調(diào)步長(zhǎng)默認(rèn) 5px。細(xì)節(jié)拖動(dòng)過(guò)程采用多段隨機(jī)平滑軌跡見(jiàn) html_drag_plus更貼近人工操作識(shí)別不準(zhǔn)時(shí)可用高級(jí)項(xiàng)「偏移量px」手動(dòng)校準(zhǔn)。輸出drag_distance移動(dòng)距離。3?? 點(diǎn)擊驗(yàn)證碼VerifyCode.click_code適用按順序點(diǎn)擊圖中指定目標(biāo)如點(diǎn)文字、點(diǎn)圖標(biāo)。操作拾取大背景圖需包含小指示圖→ 選擇指示順序的小圖在大圖上方還是下方。輸出click_positions點(diǎn)擊坐標(biāo)列表。?? 驗(yàn)證碼識(shí)別依賴云端接口請(qǐng)遵守目標(biāo)網(wǎng)站的使用條款僅用于合法自動(dòng)化測(cè)試與自有業(yè)務(wù)場(chǎng)景。 OCR 文字識(shí)別開(kāi)放平臺(tái)通用文本識(shí)別除了圖形識(shí)別AstronRPA 的 AI 服務(wù)還開(kāi)放了OCR 通用文本識(shí)別接口上傳圖片即可提取其中文字適用于報(bào)表截圖、PDF 轉(zhuǎn)文字、表單內(nèi)容抓取等場(chǎng)景。接口路由POST /ocr/general實(shí)現(xiàn)在 ocr.py請(qǐng)求體/響應(yīng)體定義見(jiàn) schemas/ocr.py識(shí)別成功后按用量自動(dòng)扣減點(diǎn)數(shù)積分邏輯見(jiàn) points.py典型組合玩法CV 組件截屏定位 → OCR 識(shí)別屏幕文字 → 判斷結(jié)果 → 自動(dòng)執(zhí)行下一步操作實(shí)現(xiàn)看懂屏幕的完整視覺(jué)閉環(huán)。? 常見(jiàn)問(wèn)題 FAQQ1圖片匹配總是失敗先檢查目標(biāo)窗口是否在前臺(tái)激活CV 組件在當(dāng)前激活窗口中檢索再適當(dāng)調(diào)低「匹配相似度」確認(rèn)截取的圖片與屏幕實(shí)際分辨率一致縮放過(guò)的屏幕會(huì)導(dǎo)致尺寸變化。Q2滑塊驗(yàn)證碼拖不到準(zhǔn)確位置啟用高級(jí)項(xiàng)「偏移量px」微調(diào)變速驗(yàn)證碼記得拾取滑動(dòng)小圖并把「微調(diào)步長(zhǎng)」調(diào)小如 3-5px提升精度。Q3CV 組件能用于網(wǎng)頁(yè)嗎可以。網(wǎng)頁(yè)中 Canvas 渲染、無(wú)穩(wěn)定 DOM 的元素正是圖片匹配的強(qiáng)項(xiàng)常規(guī) DOM 元素建議優(yōu)先使用瀏覽器組件的 WebPick 拾取成功率更高。Q4驗(yàn)證碼識(shí)別準(zhǔn)確嗎通用類型識(shí)別率較高但變形嚴(yán)重、背景干擾極強(qiáng)的驗(yàn)證碼可能失敗建議配合「失敗重試」分支CV.is_image_exist判斷 循環(huán)兜底。 小結(jié)AstronRPA 把最頭疼的視覺(jué)識(shí)別、驗(yàn)證碼破解、OCR 三大能力做成了開(kāi)箱即用的組件CV 組件負(fù)責(zé)看見(jiàn)VerifyCode 組件負(fù)責(zé)過(guò)關(guān)AI 服務(wù)負(fù)責(zé)讀懂。配合瀏覽器插件與圖形庫(kù)拾取功能哪怕零代碼基礎(chǔ)也能在幾十分鐘內(nèi)搭出第一套穩(wěn)定的自動(dòng)化流程。動(dòng)手試試吧【免費(fèi)下載鏈接】astron-rpaAgent-ready RPA suite with out-of-the-box automation tools. Built for individuals and enterprises.項(xiàng)目地址: https://gitcode.com/bijinfeng/astron-rpa創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考