FP8、NVFP4還是INT8怎么選Model Optimizer量化格式完整選擇指南【免費(fèi)下載鏈接】Model-OptimizerA unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/te/Model-Optimizer使用Model OptimizerModelOpt對(duì)大模型做量化壓縮時(shí)FP8、NVFP4、INT8 三種量化格式該如何選這篇指南用一張決策流程帶你快速搞清楚先看顯卡、再看部署場(chǎng)景、最后看精度容忍度三步就能定下最適合的量化格式把模型壓縮 2-4 倍的同時(shí)守住精度底線。 先說(shuō)結(jié)論有 Hopper 及以上顯卡優(yōu)先 FP8Blackwell 顯卡追求極致壓縮上 NVFP4老顯卡Ampere 及更早或要兼容更多部署框架用 INT8。上圖Model Optimizer 的 AutoQuantize 自動(dòng)混精策略在 Qwen3.5 上把有效 bit 壓到約 5-6 位MMLU 分?jǐn)?shù)仍逼近 BF16 參考線——說(shuō)明單一格式往往不是最優(yōu)解。三種量化格式一張表看懂維度FP8NVFP4INT8 (SmoothQuant)位寬8-bit權(quán)重激活W8A84-bit權(quán)重激活W4A4block-16 分塊8-bit權(quán)重按通道、激活按張量壓縮比約 50%2倍約 25%4倍約 50%2倍精度損失? 極低??? 相對(duì)最大需搭配校準(zhǔn)?? 中等硬件要求Ada / Hopper 及以上Blackwell 及以上Ampere 及更早也可用校準(zhǔn)時(shí)間幾分鐘幾分鐘至幾十分鐘幾分鐘典型部署TensorRT / TensorRT-LLM / vLLMTensorRT / TensorRT-LLM最廣泛老卡通用三個(gè)格式的核心源碼都位于 modelopt/torch/quantization/內(nèi)置的數(shù)值格式定義見(jiàn) modelopt_recipes/configs/numerics/ 下的fp8與nvfp4配置片段。第一步先看你的顯卡這是最硬性的約束決定能不能用Ada / HopperRTX 40 系、L40、H100 等FP8、INT8、W4A8 全都能打BlackwellB100、B200、RTX 50 系全都能打且NVFP4 只有在這里才真正發(fā)揮低精度 Tensor Core 的算力優(yōu)勢(shì)??Ampere 及更早A100、RTX 30 系沒(méi)有 FP8/NVFP4 內(nèi)核老老實(shí)實(shí)用INT8SmoothQuant或 INT4 權(quán)重量化AWQ完整支持矩陣見(jiàn) docs/source/guides/0_support_matrix.rst。第二步再看部署場(chǎng)景并發(fā)高低同樣是 FP8不同場(chǎng)景收益差異很大低并發(fā)單卡推理、邊緣側(cè)batch ≤ 4推理是內(nèi)存帶寬瓶頸縮小權(quán)重體積就是加速。此時(shí)NVFP4 / INT4 這類(lèi)更狠的壓縮收益最大高并發(fā)數(shù)據(jù)中心在線服務(wù)batch ≥ 16計(jì)算密度同樣重要推薦權(quán)重激活都量化的 W8A8FP8或 W4A4NVFP4讓低精度 GEMM 真正吃到 Tensor Core 紅利第三步看精度容忍度按推薦順序試官方最佳實(shí)踐給出了清晰的降級(jí)順序見(jiàn) docs/source/guides/_choosing_quant_methods.rst先上 FP8—— 動(dòng)態(tài)范圍寬精度損失通常幾乎可忽略是性?xún)r(jià)比之王FP8 不滿足吞吐要求 → 試NVFP4但別一上來(lái)就全模型 W4A4老顯卡 →INT8 SmoothQuant或 INT4 AWQ NVFP4 的官方建議是從最保守的作用域開(kāi)始MoE 模型先用nvfp4_experts_only只量化專(zhuān)家層稠密模型先用nvfp4_mlp_only只量化 MLP確認(rèn)精度 OK 再逐步擴(kuò)大到全模型。不止選一個(gè)混合精度才是進(jìn)階玩法實(shí)戰(zhàn)中FP8 NVFP4 混著用往往比單格式更優(yōu)。Model Optimizer 內(nèi)置了 29 個(gè)通用 PTQ 配方全部在 modelopt_recipes/general/ptq/ 下例如fp8_default-kv_fp8_cast全模型 FP8 W8A8 FP8 KV 緩存nvfp4_experts_only-kv_fp8_cast專(zhuān)家層 NVFP4 W4A4 FP8 KV 緩存MoE 模型首選int4_blockwise_weight_onlyINT4 權(quán)重量化零風(fēng)險(xiǎn)保底選項(xiàng)完整的配方目錄與選擇建議見(jiàn) modelopt_recipes/ptq.md每個(gè)配方就是一份聲明式 YAML改配置不改代碼。上圖W4A4 NVFP4 直接 PTQ 會(huì)在部分基準(zhǔn)掉點(diǎn)虛線起點(diǎn)用 QAD量化感知蒸餾訓(xùn)練 500 步后MMLU-Pro 等 6 個(gè)基準(zhǔn)的精度幾乎全部追回。量化后掉精度兩條后手換校準(zhǔn)算法默認(rèn)max校準(zhǔn)不行時(shí)試試mse變體或 GPTQ配方里已內(nèi)置如nvfp4_mlp_only_mse-kv_fp8_cast上 QAD量化感知蒸餾在低精度格式下繼續(xù)邊訓(xùn)邊量化Model Optimizer 提供了從 PTQ 到 QAD 的完整工作流參考 examples/megatron_bridge/tutorials/Qwen3.6-35B-A3B/ 教程上手只要三步以最常用的 examples/hf_ptq/hf_ptq.py 為例選定配方后一條命令完成量化 導(dǎo)出python examples/hf_ptq/hf_ptq.py \ --model Qwen/Qwen3-8B \ --recipe general/ptq/fp8_default-kv_fp8_cast \ --export_path build/fp8導(dǎo)出的統(tǒng)一 Hugging Face 檢查點(diǎn)可直接部署到 TensorRT-LLM、vLLM 或 SGLang。更細(xì)節(jié)的 API 用法見(jiàn) PTQ 示例文檔和量化指南。不止 LLM擴(kuò)散模型 FP8 量化幾乎無(wú)感Model Optimizer 同樣支持 Stable Diffusion 等擴(kuò)散模型的量化。下面的圖就是用FP8 量化后的 SDXL直接生成的——對(duì)比 FP16 原模型畫(huà)質(zhì)肉眼難辨差異而顯存和生成速度卻實(shí)實(shí)在在優(yōu)化了。示例代碼在 examples/diffusers/quantization/?？焖?zèng)Q策清單?30 秒自查顯卡是 Blackwell→ 追求極致選NVFP4從experts_only/mlp_only作用域起步顯卡是 Ada/Hopper→ 默認(rèn)FP8最穩(wěn)老顯卡 / 兼容性?xún)?yōu)先→INT8 SmoothQuant只要省顯存、不在乎延遲→ 權(quán)重量化*_weight_only配方精度掉得多了→ 先換mse校準(zhǔn)再考慮 QAD你的情況推薦配方通用默認(rèn)FP8general/ptq/fp8_default-kv_fp8_castMoE 模型激進(jìn)壓縮general/ptq/nvfp4_experts_only-kv_fp8_cast稠密模型激進(jìn)壓縮general/ptq/nvfp4_mlp_only-kv_fp8_cast老顯卡保底general/ptq/int4_blockwise_weight_only一句話總結(jié)FP8 求穩(wěn)、NVFP4 求快、INT8 求兼容拿不準(zhǔn)就從 FP8 開(kāi)始用內(nèi)置配方小步試錯(cuò)?！久赓M(fèi)下載鏈接】Model-OptimizerA unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/te/Model-Optimizer創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 FP8、NVFP4還是INT8怎么選？Model Optimizer量化格式完整選擇指南
FP8、NVFP4還是INT8怎么選Model Optimizer量化格式完整選擇指南【免費(fèi)下載鏈接】Model-OptimizerA unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/te/Model-Optimizer使用Model OptimizerModelOpt對(duì)大模型做量化壓縮時(shí)FP8、NVFP4、INT8 三種量化格式該如何選這篇指南用一張決策流程帶你快速搞清楚先看顯卡、再看部署場(chǎng)景、最后看精度容忍度三步就能定下最適合的量化格式把模型壓縮 2-4 倍的同時(shí)守住精度底線。 先說(shuō)結(jié)論有 Hopper 及以上顯卡優(yōu)先 FP8Blackwell 顯卡追求極致壓縮上 NVFP4老顯卡Ampere 及更早或要兼容更多部署框架用 INT8。上圖Model Optimizer 的 AutoQuantize 自動(dòng)混精策略在 Qwen3.5 上把有效 bit 壓到約 5-6 位MMLU 分?jǐn)?shù)仍逼近 BF16 參考線——說(shuō)明單一格式往往不是最優(yōu)解。三種量化格式一張表看懂維度FP8NVFP4INT8 (SmoothQuant)位寬8-bit權(quán)重激活W8A84-bit權(quán)重激活W4A4block-16 分塊8-bit權(quán)重按通道、激活按張量壓縮比約 50%2倍約 25%4倍約 50%2倍精度損失? 極低??? 相對(duì)最大需搭配校準(zhǔn)?? 中等硬件要求Ada / Hopper 及以上Blackwell 及以上Ampere 及更早也可用校準(zhǔn)時(shí)間幾分鐘幾分鐘至幾十分鐘幾分鐘典型部署TensorRT / TensorRT-LLM / vLLMTensorRT / TensorRT-LLM最廣泛老卡通用三個(gè)格式的核心源碼都位于 modelopt/torch/quantization/內(nèi)置的數(shù)值格式定義見(jiàn) modelopt_recipes/configs/numerics/ 下的fp8與nvfp4配置片段。第一步先看你的顯卡這是最硬性的約束決定能不能用Ada / HopperRTX 40 系、L40、H100 等FP8、INT8、W4A8 全都能打BlackwellB100、B200、RTX 50 系全都能打且NVFP4 只有在這里才真正發(fā)揮低精度 Tensor Core 的算力優(yōu)勢(shì)??Ampere 及更早A100、RTX 30 系沒(méi)有 FP8/NVFP4 內(nèi)核老老實(shí)實(shí)用INT8SmoothQuant或 INT4 權(quán)重量化AWQ完整支持矩陣見(jiàn) docs/source/guides/0_support_matrix.rst。第二步再看部署場(chǎng)景并發(fā)高低同樣是 FP8不同場(chǎng)景收益差異很大低并發(fā)單卡推理、邊緣側(cè)batch ≤ 4推理是內(nèi)存帶寬瓶頸縮小權(quán)重體積就是加速。此時(shí)NVFP4 / INT4 這類(lèi)更狠的壓縮收益最大高并發(fā)數(shù)據(jù)中心在線服務(wù)batch ≥ 16計(jì)算密度同樣重要推薦權(quán)重激活都量化的 W8A8FP8或 W4A4NVFP4讓低精度 GEMM 真正吃到 Tensor Core 紅利第三步看精度容忍度按推薦順序試官方最佳實(shí)踐給出了清晰的降級(jí)順序見(jiàn) docs/source/guides/_choosing_quant_methods.rst先上 FP8—— 動(dòng)態(tài)范圍寬精度損失通常幾乎可忽略是性?xún)r(jià)比之王FP8 不滿足吞吐要求 → 試NVFP4但別一上來(lái)就全模型 W4A4老顯卡 →INT8 SmoothQuant或 INT4 AWQ NVFP4 的官方建議是從最保守的作用域開(kāi)始MoE 模型先用nvfp4_experts_only只量化專(zhuān)家層稠密模型先用nvfp4_mlp_only只量化 MLP確認(rèn)精度 OK 再逐步擴(kuò)大到全模型。不止選一個(gè)混合精度才是進(jìn)階玩法實(shí)戰(zhàn)中FP8 NVFP4 混著用往往比單格式更優(yōu)。Model Optimizer 內(nèi)置了 29 個(gè)通用 PTQ 配方全部在 modelopt_recipes/general/ptq/ 下例如fp8_default-kv_fp8_cast全模型 FP8 W8A8 FP8 KV 緩存nvfp4_experts_only-kv_fp8_cast專(zhuān)家層 NVFP4 W4A4 FP8 KV 緩存MoE 模型首選int4_blockwise_weight_onlyINT4 權(quán)重量化零風(fēng)險(xiǎn)保底選項(xiàng)完整的配方目錄與選擇建議見(jiàn) modelopt_recipes/ptq.md每個(gè)配方就是一份聲明式 YAML改配置不改代碼。上圖W4A4 NVFP4 直接 PTQ 會(huì)在部分基準(zhǔn)掉點(diǎn)虛線起點(diǎn)用 QAD量化感知蒸餾訓(xùn)練 500 步后MMLU-Pro 等 6 個(gè)基準(zhǔn)的精度幾乎全部追回。量化后掉精度兩條后手換校準(zhǔn)算法默認(rèn)max校準(zhǔn)不行時(shí)試試mse變體或 GPTQ配方里已內(nèi)置如nvfp4_mlp_only_mse-kv_fp8_cast上 QAD量化感知蒸餾在低精度格式下繼續(xù)邊訓(xùn)邊量化Model Optimizer 提供了從 PTQ 到 QAD 的完整工作流參考 examples/megatron_bridge/tutorials/Qwen3.6-35B-A3B/ 教程上手只要三步以最常用的 examples/hf_ptq/hf_ptq.py 為例選定配方后一條命令完成量化 導(dǎo)出python examples/hf_ptq/hf_ptq.py \ --model Qwen/Qwen3-8B \ --recipe general/ptq/fp8_default-kv_fp8_cast \ --export_path build/fp8導(dǎo)出的統(tǒng)一 Hugging Face 檢查點(diǎn)可直接部署到 TensorRT-LLM、vLLM 或 SGLang。更細(xì)節(jié)的 API 用法見(jiàn) PTQ 示例文檔和量化指南。不止 LLM擴(kuò)散模型 FP8 量化幾乎無(wú)感Model Optimizer 同樣支持 Stable Diffusion 等擴(kuò)散模型的量化。下面的圖就是用FP8 量化后的 SDXL直接生成的——對(duì)比 FP16 原模型畫(huà)質(zhì)肉眼難辨差異而顯存和生成速度卻實(shí)實(shí)在在優(yōu)化了。示例代碼在 examples/diffusers/quantization/?？焖?zèng)Q策清單?30 秒自查顯卡是 Blackwell→ 追求極致選NVFP4從experts_only/mlp_only作用域起步顯卡是 Ada/Hopper→ 默認(rèn)FP8最穩(wěn)老顯卡 / 兼容性?xún)?yōu)先→INT8 SmoothQuant只要省顯存、不在乎延遲→ 權(quán)重量化*_weight_only配方精度掉得多了→ 先換mse校準(zhǔn)再考慮 QAD你的情況推薦配方通用默認(rèn)FP8general/ptq/fp8_default-kv_fp8_castMoE 模型激進(jìn)壓縮general/ptq/nvfp4_experts_only-kv_fp8_cast稠密模型激進(jìn)壓縮general/ptq/nvfp4_mlp_only-kv_fp8_cast老顯卡保底general/ptq/int4_blockwise_weight_only一句話總結(jié)FP8 求穩(wěn)、NVFP4 求快、INT8 求兼容拿不準(zhǔn)就從 FP8 開(kāi)始用內(nèi)置配方小步試錯(cuò)?！久赓M(fèi)下載鏈接】Model-OptimizerA unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/te/Model-Optimizer創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考