示例工程【免費(fèi)下載鏈接】deep-learning-for-image-processingdeep learning for image processing including classification and object-detection etc.項(xiàng)目地址https://gitcode.com/gh_mirrors/de/deep-learning-for-image-processing點(diǎn)擊查看免費(fèi)下載本篇技術(shù)指南基于本倉庫中deploying_service/deploying_pytorch/convert_openvino/convert_yolov5模塊完整講解 YOLOv5以 YOLOv5s 為例在 OpenVINO 2022.1 工具套件下的端到端部署流水線PyTorch 權(quán)重 → ONNX → OpenVINO IRFP32→ INT8 量化 → benchmark_app 基準(zhǔn)測試并附上量化前后 CPU 推理的吞吐與延遲實(shí)測數(shù)據(jù)。讀者按照本文步驟即可在自己的 COCO2017 數(shù)據(jù)集上復(fù)現(xiàn)導(dǎo)出—轉(zhuǎn)換—量化—評測—測速全流程并了解quantization_int8.py、evaluation.py、predict.py、utils.py等腳本的實(shí)現(xiàn)細(xì)節(jié)。一、整體流程概覽整個 YOLOv5 的 OpenVINO 部署鏈路包含以下五個階段每個階段在本模塊中都有對應(yīng)的腳本或命令行工具支撐環(huán)境配置按照requirements.txt安裝依賴關(guān)鍵依賴為openvino-dev2022.1.0其中自帶模型優(yōu)化器mo與量化所需的 POT 工具鏈。YOLOv5 → ONNX使用 YOLOv5 官方倉庫自帶的export.py導(dǎo)出僅導(dǎo)出 ONNXYOLOv5 官方也提供直接導(dǎo)出 OpenVINO 的方法但本流程只使用 ONNX 作為中間格式。ONNX → IR使用 OpenVINO 模型優(yōu)化器mo命令將 ONNX 轉(zhuǎn)為 OpenVINO 的 IR 格式.xml.bin并在此階段聲明輸入形狀與像素歸一化方式。INT8 量化運(yùn)行quantization_int8.py基于 COCO2017 驗(yàn)證集子集統(tǒng)計激活值分布使用 OpenVINO POT 的DefaultQuantization算法產(chǎn)出量化模型。驗(yàn)證與基準(zhǔn)測試使用benchmark_app對比 FP32 與 INT8 的吞吐/延遲使用evaluation.py計算量化前后 mAP 精度使用predict.py完成單圖推理可視化。二、環(huán)境配置requirements.txt 依賴解析convert_yolov5/requirements.txt中列出的依賴及版本如下torch1.13.1 torchvision0.12.0 onnx1.13.0 onnxruntime1.8.0 protobuf3.19.5 openvino-dev2022.1.0 matplotlib torchmetrics0.9.1其中需要特別說明的幾點(diǎn)openvino-dev2022.1.0是整套流程的核心該發(fā)行包不僅包含 OpenVINO 運(yùn)行時openvino.runtime.Core還集成了模型優(yōu)化器mo、benchmark_app等部署工具以及compressionPOT 后訓(xùn)練量化工具包模塊后者是quantization_int8.py依賴的基礎(chǔ)。onnxruntime用于在導(dǎo)出后對 ONNX 模型做一致性校驗(yàn)與單獨(dú)測速見compare_onnx_and_ir.py與compare_fps.py。torchmetrics0.9.1提供目標(biāo)檢測的MeanAveragePrecision實(shí)現(xiàn)utils.py中的MAPMetric即是對它的封裝。protobuf3.19.5屬于 ONNX 解析的間接依賴固定版本以避免與 onnx 1.13.0 出現(xiàn)兼容性問題。安裝方式在模塊目錄下執(zhí)行pip install -r requirements.txt注意openvino-dev的各組件版本綁定較緊建議嚴(yán)格按 requirements 固定版本安裝以避免mo工具與 POTcompression包之間出現(xiàn) API 不匹配。三、將 YOLOv5 導(dǎo)出為 ONNXYOLOv5 官方倉庫提供了導(dǎo)出 ONNX 以及 OpenVINO 的方法本流程只使用 ONNX 作為中間產(chǎn)物。以 YOLOv5s 為例在 YOLOv5 官方項(xiàng)目目錄下執(zhí)行python export.py --weights yolov5s.pt --include onnx導(dǎo)出后會得到y(tǒng)olov5s.onnx將其放置到convert_yolov5模塊目錄下后續(xù)mo轉(zhuǎn)換、quantization_int8.py、compare_onnx_and_ir.py均默認(rèn)在模塊當(dāng)前目錄查找yolov5s.onnx。export.py默認(rèn)將 ONNX 輸入導(dǎo)出為動態(tài)形狀但后續(xù)mo轉(zhuǎn)換時會通過--input_shape將其固定為[1,3,640,640]。四、使用 mo 工具將 ONNX 轉(zhuǎn)換為 OpenVINO IR使用 OpenVINO 模型優(yōu)化器mo將 ONNX 轉(zhuǎn)為 IR 格式mo --input_model yolov5s.onnx \ --input_shape [1,3,640,640] \ --scale 255 \ --data_type FP32 \ --output_dir ir_output各參數(shù)含義與取值說明參數(shù)本流程取值作用--input_modelyolov5s.onnx指定輸入的 ONNX 模型文件路徑--input_shape[1,3,640,640]固定輸入張量形狀1 張圖、3 通道、高寬 640×640固定后模型輸入節(jié)點(diǎn)名稱為images輸出節(jié)點(diǎn)名稱為output與后續(xù)量化腳本中的inputs/outputs配置對應(yīng)--scale 255255將像素從 [0,255] 縮放到 [0,1]即把歸一化操作折疊進(jìn) IR 模型內(nèi)部推理時可直接喂入 0~255 的原始圖像數(shù)據(jù)--data_typeFP32中間表示權(quán)重精度為 FP32--output_dirir_outputIR 輸出目錄生成yolov5s.xml網(wǎng)絡(luò)結(jié)構(gòu)與yolov5s.bin權(quán)重二進(jìn)制這里有一個值得注意的預(yù)處理對齊細(xì)節(jié)mo通過--scale 255把歸一化熔入模型因此后續(xù)推理無需再手動除以 255。這一約定在源碼中得到了印證compare_onnx_and_ir.py中ONNX 推理傳入的是normalized_image已除以 255main.py的normalize函數(shù)中image / 255.0而 IR 推理直接傳入原始input_image未歸一化兩者通過np.testing.assert_allclose(onnx_res, ir_res, rtol1e-03, atol1e-05)校驗(yàn)輸出一致predict.py中l(wèi)etterbox處理后的圖像直接astype(np.float32)送入 IR 模型全程不除 255。五、INT8 量化腳本入口與 COCO2017 數(shù)據(jù)集量化腳本為quantization_int8.py執(zhí)行前需要準(zhǔn)備COCO2017 數(shù)據(jù)集并將腳本開頭的data_path指向coco2017根目錄data_path /data/coco2017 # 指向 coco2017 根目錄 ir_model_xml ir_output/yolov5s.xml ir_model_bin ir_output/yolov5s.bin save_dir quant_ir_output # 量化模型輸出目錄 model_name quantized_yolov5s # 量化模型文件名 img_w 640 img_h 640COCO2017 數(shù)據(jù)集的標(biāo)準(zhǔn)目錄結(jié)構(gòu)如下├── coco2017: 數(shù)據(jù)集根目錄 ├── train2017: 所有訓(xùn)練圖像文件夾(118287張) ├── val2017: 所有驗(yàn)證圖像文件夾(5000張) └── annotations: 對應(yīng)標(biāo)注文件夾 ├── instances_train2017.json: 對應(yīng)目標(biāo)檢測、分割任務(wù)的訓(xùn)練集標(biāo)注文件 ├── instances_val2017.json: 對應(yīng)目標(biāo)檢測、分割任務(wù)的驗(yàn)證集標(biāo)注文件 ├── captions_train2017.json: 對應(yīng)圖像描述的訓(xùn)練集標(biāo)注文件 ├── captions_val2017.json: 對應(yīng)圖像描述的驗(yàn)證集標(biāo)注文件 ├── person_keypoints_train2017.json: 對應(yīng)人體關(guān)鍵點(diǎn)檢測的訓(xùn)練集標(biāo)注文件 └── person_keypoints_val2017.json: 對應(yīng)人體關(guān)鍵點(diǎn)檢測的驗(yàn)證集標(biāo)注文件夾量化階段實(shí)際使用的是val20175000 張驗(yàn)證圖像與instances_val2017.jsonquantization_int8.py中通過MyDataLoader(data_path, val, (img_h, img_w))加載驗(yàn)證集從中采樣 300 張圖像見下文stat_subset_size用于統(tǒng)計每層激活值的分布從而確定 INT8 量化參數(shù)。六、量化腳本源碼解析POT 管線的 8 個步驟quantization_int8.py基于 OpenVINO 2022.1 的 POTPost-Training Optimization Toolkit接口編寫核心代碼結(jié)構(gòu)如下。1. 配置模型、引擎與量化算法from addict import Dict from compression.engines.ie_engine import IEEngine from compression.graph import load_model, save_model from compression.graph.model_utils import compress_model_weights from compression.pipeline.initializer import create_pipeline model_config Dict({ model_name: yolov5s, model: ir_model_xml, # ir_output/yolov5s.xml weights: ir_model_bin, # ir_output/yolov5s.bin inputs: images, # 輸入節(jié)點(diǎn)名與 mo 轉(zhuǎn)換后的節(jié)點(diǎn)名一致 outputs: output # 輸出節(jié)點(diǎn)名 }) engine_config Dict({device: CPU}) algorithms [ { name: DefaultQuantization, params: { target_device: CPU, preset: performance, # 追求性能優(yōu)先的量化參數(shù)組合 stat_subset_size: 300 # 用于統(tǒng)計激活分布的圖像子集大小 } } ]關(guān)鍵參數(shù)說明inputs/outputs必須與mo轉(zhuǎn)換所得 IR 的輸入輸出張量名一致即images/output否則加載模型會失敗。preset: performancePOT 提供的預(yù)設(shè)之一選擇偏向推理性能的量化策略另一個可選值為accuracy更偏向精度保持。多數(shù)場景下performance已足夠若精度損失明顯可切換為accuracy重新量化。stat_subset_size: 300從數(shù)據(jù)加載器中取前 300 個樣本統(tǒng)計激活值分布。增大該值可提升量化精度估計的穩(wěn)定性但會線性增加量化耗時。2. 加載模型、構(gòu)建數(shù)據(jù)加載器與指標(biāo)、執(zhí)行量化管線腳本按以下 8 個步驟組織# Step 1: Load the model. model load_model(model_config) # Step 2: Initialize the data loader. data_loader MyDataLoader(data_path, val, (img_h, img_w)) # Step 3: initialize the metricDefaultQuantization 中指標(biāo)為可選可為 None metric MAPMetric(map_valuemap) # Step 4: Initialize the engine for metric calculation and statistics collection. engine IEEngine(configengine_config, data_loaderdata_loader, metricmetric) # Step 5: Create a pipeline of compression algorithms. pipeline create_pipeline(algorithms, engine) # Step 6: Execute the pipeline to quantize the model compressed_model pipeline.run(model) # Step 7 (Optional): Compress model weights to quantized precision # 以減小最終 .bin 文件體積 compress_model_weights(compressed_model) # Step 8: Save the compressed model to the desired path. compressed_model_paths save_model( modelcompressed_model, save_pathsave_dir, # quant_ir_output model_namemodel_name, # quantized_yolov5s ) print(The quantized model is stored at, compressed_model_paths[0][model])執(zhí)行完畢后量化模型保存在quant_ir_output/quantized_yolov5s.xml與quant_ir_output/quantized_yolov5s.bin。其中compress_model_weights將權(quán)重壓縮為量化精度可顯著減小.bin體積屬于可選的優(yōu)化步驟。3. 量化前后精度對比腳本尾部同時加載原始 IR 模型與量化模型在同一數(shù)據(jù)加載器上評估并打印 mAP用于觀察量化引入的精度損失ir_model load_model(model_configmodel_config) evaluation_pipeline create_pipeline(algo_configdict(), engineengine) original_metric evaluation_pipeline.evaluate(ir_model) # 原始 FP32 IR 的 mAP quantized_metric pipeline.evaluate(compressed_model) # 量化 INT8 模型的 mAP運(yùn)行日志示例The map score of the original model is 0.xxxxx The map score of the quantized INT8 model is 0.xxxxx七、支撐源碼數(shù)據(jù)加載器與指標(biāo)實(shí)現(xiàn)utils.pyutils.py是量化與評測腳本的公共支撐模塊包含以下關(guān)鍵實(shí)現(xiàn)1.MyDataLoaderPOTDataLoader子類class MyDataLoader(DataLoader): def __init__(self, root, datasettrain, size(640, 640)): # dataset 僅允許 train 或 val anno_file instances_{}2017.json.format(dataset) self.img_root os.path.join(root, {}2017.format(dataset)) self.anno_path os.path.join(root, annotations, anno_file) self.coco COCO(self.anno_path) # pycocotools 解析標(biāo)注加載器內(nèi)部通過_coco_remove_images_without_annotations剔除沒有目標(biāo)或目標(biāo)面積過小bbox 寬高 ≤ 1 像素的圖片__getitem__中先對原圖執(zhí)行l(wèi)etterbox等比例縮放 灰邊填充到 640×640autoFalse表示不做最小矩形自適應(yīng)直接補(bǔ)齊到目標(biāo)尺寸再用parse_targets把 COCO 的[x,y,w,h]標(biāo)注轉(zhuǎn)換為[xmin,ymin,xmax,ymax]并同步縮放、平移同時將 COCO 91 類 id 映射到 YOLOv5 的 80 類索引。2.MAPMetricPOTMetric子類封裝 torchmetricsclass MAPMetric(Metric): def __init__(self, map_valuemap, conf_thres0.001, iou_thres0.6): self.metric MeanAveragePrecision(box_formatxyxy)在update()中模型輸出的原始張量先經(jīng)non_max_suppression置信度閾值conf_thres0.001、IoU 閾值iou_thres0.6、multi_labelTrue后處理再轉(zhuǎn)換為 torchmetrics 期望的preds/targets格式。avg_value屬性返回mean_average_precision.compute()[map]作為 POT 管線的精度反饋?？煞祷氐闹笜?biāo)值包括mar_1、mar_10、mar_100、map、map_50、map_75、map_small、map_medium、map_large等。3. 后處理工具函數(shù)non_max_suppression標(biāo)準(zhǔn) NMS 實(shí)現(xiàn)來自 YOLOv5支持conf_thres、iou_thres、agnostic、multi_label、max_det等參數(shù)letterbox等比例縮放并填充到模型輸入尺寸scale_coords/clip_coords將模型輸出坐標(biāo)從 640×640 尺度映射回原圖尺度并裁剪到圖像邊界內(nèi)coco80_namesCOCO 80 類名稱列表person、bicycle、car … toothbrush用于predict.py的類別標(biāo)注。八、量化模型精度驗(yàn)證evaluation.py量化完成后可用evaluation.py在 COCO val2017 上獨(dú)立復(fù)算量化模型的 mAPdata_path /data/coco2017 ir_model_xml quant_ir_output/quantized_yolov5s.xml img_size (640, 640) data_loader MyDataLoader(data_path, val, sizeimg_size) coco80_to_91 data_loader.coco_id80_to_id91 metrics EvalCOCOMetric(cocodata_loader.coco, classes_mappingcoco80_to_91) ie Core() model_ir ie.read_model(modelir_model_xml) compiled_model ie.compile_model(modelmodel_ir, device_nameCPU)其流程為遍歷 val2017 → 推理 →non_max_suppression(conf_thres0.001, iou_thres0.6, multi_labelTrue)后處理 →EvalCOCOMetric.update收集預(yù)測 → 最后metrics.evaluate()調(diào)用 pycocotools 的COCOeval輸出標(biāo)準(zhǔn) COCO 指標(biāo)匯總IoU metric: bbox及 summarize 結(jié)果。EvalCOCOMetric內(nèi)部會把 YOLOv5 的 80 類索引通過coco80_to_91映射回 COCO 91 類 idutils.py中的coco_id80_to_id91并將模型輸出的xyxy坐標(biāo)轉(zhuǎn)換回 COCO 需要的[x,y,w,h]格式后寫入 JSON 再加載評估。九、單圖推理predict.py 完整調(diào)用鏈predict.py演示了用 OpenVINO 運(yùn)行時在 CPU 上對單張圖片執(zhí)行量化前 IR 模型推理的完整調(diào)用鏈圖像預(yù)處理letterbox(origin_img, img_size, autoFalse)將任意尺寸圖像等比例縮放到 640×640 并填充灰邊隨后轉(zhuǎn)NCHW布局并astype(np.float32)不除 255與mo --scale 255的約定一致模型加載與編譯Core().read_model(modelir_model_xml)讀取 IRcompile_model(model_ir, device_nameCPU)編譯異步推理請求create_infer_request()創(chuàng)建推理請求request.infer(inputs{inputs_names[0]: input_img})執(zhí)行推理request.get_output_tensor(outputs_names[0].index).data取回輸出張量后處理與可視化non_max_suppression(torch.Tensor(result))得到檢測框 →scale_coords映射回原圖坐標(biāo) →draw_box_utils.draw_objs用 80 類名稱列表繪制邊界框與置信度最終保存predict.jpg。draw_box_utils.py中的draw_objs負(fù)責(zé)繪制邊界框、類別文本如person: 85%等支持自動根據(jù)框位置調(diào)整文字上/下擺放。十、基準(zhǔn)測試benchmark_app 實(shí)測對比OpenVINO 自帶的benchmark_app可直接對 IR 模型進(jìn)行同步/異步推理壓測。以下實(shí)測數(shù)據(jù)以CPU: Intel(R) Core(TM) i7-6700 CPU 3.40GHz設(shè)備為例。FP32 IR 模型量化前benchmark_app -m ir_output/yolov5s.xml -d CPU -api sync輸出Latency: Median: 59.56 ms AVG: 63.30 ms MIN: 57.88 ms MAX: 99.89 ms Throughput: 16.79 FPSINT8 量化模型benchmark_app -m quant_ir_output/quantized_yolov5s.xml -d CPU -api sync輸出Latency: Median: 42.97 ms AVG: 46.56 ms MIN: 41.18 ms MAX: 95.75 ms Throughput: 23.27 FPS對比結(jié)論在同一 CPUi7-6700上INT8 量化后中位延遲由 59.56 ms 降至 42.97 ms降低約 28%吞吐從 16.79 FPS 提升到 23.27 FPS提升約 38.6%。需要說明的是這些數(shù)據(jù)是本文檔所在運(yùn)行環(huán)境的單次實(shí)測結(jié)果實(shí)際收益會因 CPU 架構(gòu)是否支持 VNNI/AVX-512 等指令、核數(shù)、批大小及-apisync/async模式不同而變化請以各自環(huán)境的實(shí)測為準(zhǔn)。若想觀察 async 模式或多線程下的吞吐可加-api async或-nstreams等參數(shù)。補(bǔ)充compare_fps.py三格式橫向?qū)Ρ饶K還提供了compare_fps.py用同一張隨機(jī)圖640×640×3分別跑 PyTorchtorch.hub.load(ultralytics/yolov5, yolov5s)、ONNXonnxruntime與 IROpenVINO Runtime各 100 次推理輸出每張圖的耗時與 FPS并繪制fps_vs.jpg柱狀圖橫軸為 model format縱軸為 fps便于直觀對比 PyTorch / ONNX / IR 三種形態(tài)在同一 CPU 上的推理性能差異。注意 PyTorch 分支會在線下載權(quán)重需要網(wǎng)絡(luò)可用。十一、一致性校驗(yàn)compare_onnx_and_ir.pycompare_onnx_and_ir.py用于驗(yàn)證 ONNX 導(dǎo)出與 IR 轉(zhuǎn)換未引入數(shù)值錯誤對同一隨機(jī)輸入分別用 onnxruntime 運(yùn)行yolov5s.onnx輸入歸一化到 [0,1]和 OpenVINO 運(yùn)行ir_output/yolov5s.xml輸入保持 [0,255]歸一化已由--scale 255折疊進(jìn) IR然后斷言兩個輸出逐元素接近np.testing.assert_allclose(onnx_res, ir_res, rtol1e-03, atol1e-05) print(Exported model has been tested with OpenvinoRuntime, and the result looks good!)運(yùn)行通過即說明 ONNX 與 IR 的數(shù)值結(jié)果一致可放心進(jìn)入量化環(huán)節(jié)。十二、使用注意事項(xiàng)總結(jié)路徑與節(jié)點(diǎn)名對齊mo轉(zhuǎn)換參數(shù)--input_shape、--scale與quantization_int8.py中的inputs: images、outputs: output必須匹配data_path必須指向包含train2017/val2017/annotations三個子目錄的coco2017根目錄。量化成本與精度stat_subset_size控制激活統(tǒng)計子集大小默認(rèn) 300preset可在performance與accuracy之間選擇量化前務(wù)必用quantization_int8.py或evaluation.py記錄原始 IR 的 mAP 基線量化后再對比 INT8 mAP。版本約束整套流程基于 OpenVINO 2022.1.0POT 接口若使用更新的 OpenVINO 版本compression包的導(dǎo)入方式與DefaultQuantization的配置寫法可能變化請以對應(yīng)版本的官方 API 為準(zhǔn)。性能數(shù)據(jù)是環(huán)境相關(guān)的本文中 FPS/Latency 為文檔作者的 i7-6700 CPU 實(shí)測不同硬件尤其是支持 VNNI 的現(xiàn)代 CPU上 INT8 加速比會有明顯差異建議用benchmark_app在自己的目標(biāo)設(shè)備上重新測量。十三、相關(guān)資源索引本倉庫中與 OpenVINO 部署相關(guān)的其他可參考內(nèi)容convert_yolov5/requirements.txt完整依賴清單convert_yolov5/quantization_int8.pyPOT 量化主腳本convert_yolov5/utils.py數(shù)據(jù)加載器、NMS、mAP 指標(biāo)等公共實(shí)現(xiàn)convert_yolov5/evaluation.py量化模型 COCO mAP 獨(dú)立評測convert_yolov5/predict.py單圖推理與結(jié)果可視化convert_yolov5/compare_onnx_and_ir.pyONNX 與 IR 輸出一致性校驗(yàn)convert_yolov5/compare_fps.pyPyTorch / ONNX / IR 三格式 FPS 對比convert_resnet34/README.md同一套流程在 ResNet34 圖像分類模型上的應(yīng)用示例含--mean_values/--scale_values的預(yù)處理寫法。贊分享示例工程【免費(fèi)下載鏈接】deep-learning-for-image-processingdeep learning for image processing including classification and object-detection etc.項(xiàng)目地址https://gitcode.com/gh_mirrors/de/deep-learning-for-image-processing點(diǎn)擊查看免費(fèi)下載相關(guān)推薦基于 OpenVINO 部署 ResNet34從 PyTorch 到 ONNX、IR 格式與 INT8 量化的完整實(shí)戰(zhàn)指南基于 OpenVINO 部署 ResNet34從 PyTorch 到 ONNX、IR 格式與 INT8 量化的完整實(shí)戰(zhàn)指南 導(dǎo)讀 本文以 deep learn示例工程OpenMed OpenVINO Runtime 指南將臨床 NER 的 ONNX 模型導(dǎo)出為 IR、INT8 量化與 Intel CPU/GPU/NPU 端側(cè)推理OpenMed OpenVINO Runtime 指南將臨床 NER 的 ONNX 模型導(dǎo)出為 IR、INT8 量化與 Intel CPU/GPU/NPU 端人工智能NLP醫(yī)療健康數(shù)據(jù)脫敏本地部署大模型AI 應(yīng)用MCP 服務(wù)聯(lián)邦學(xué)習(xí)Ultralytics ONNX INT8 量化導(dǎo)出解析基于 ONNX Runtime 靜態(tài)量化的校準(zhǔn)與實(shí)現(xiàn)指南Ultralytics ONNX INT8 量化導(dǎo)出解析基于 ONNX Runtime 靜態(tài)量化的校準(zhǔn)與實(shí)現(xiàn)指南 本指南以 Ultralytics 倉庫中的人工智能深度學(xué)習(xí)計算機(jī)視覺預(yù)訓(xùn)練上一篇ComfyUI自定義腳本終極指南20功能讓AI工作流程效率翻倍下一篇如何快速掌握Scan Tailor面向初學(xué)者的完整掃描文檔處理指南創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考