【免費下載鏈接】Llama-3.2-1B-Instruct_rai_1.8.0_npu_16K項目地址https://ai.gitcode.com/hf_mirrors/amd/Llama-3.2-1B-Instruct_rai_1.8.0_npu_16K點擊查看免費下載Llama-3.2-1B-Instruct_rai_1.8.0_npu_16K 是 AMD 面向 Ryzen AI 硬件發(fā)布的 Llama-3.2-1B 量化模型采用AWQ UINT4 量化方案把約 2.5GB 的 BF16 權重壓縮到 1GB 量級并針對 NPU 完成 16K 上下文的后處理讓 1B 小模型能直接在筆記本 NPU 上流暢跑起來。這篇文章帶你用大白話看懂它瘦身的全過程。 這個模型到底是什么一句話概括它是一個為 NPU 量身打造的減肥版 Llama。從 README.md 可以看到它的生產(chǎn)流水線分三步階段工具做了什么① 量化Quark QuantizationAWQ / Group 128 / 非對稱 / BFP16 激活 / UINT4 權重② 構圖OGA Model Builder生成 ONNX 優(yōu)化圖③ 后處理NPU DeploymentToken Fusion 16K 上下文適配源模型為 Meta 的 Llama-3.2-1B-Instruct約 1.2B 參數(shù)16 層 Transformer、隱藏層 2048、詞表 128256結構參數(shù)見 params.json。量化后依然保留全部語言能力只是存得更省、跑得更輕。 量化參數(shù)全解config.json 里的 AWQ UINT4 是什么打開 config.jsonquantization_config字段把減肥配方寫得明明白白參數(shù)取值通俗解釋nameawq采用 AWQ激活感知加權量化算法dtypeuint4權重只存 4 個比特1 個數(shù)字 0~15group_size128每 128 個權重共享一組縮放系數(shù)qschemeper_group按小組而非整層標定精度symmetricfalse非對稱量化多存一個偏移量換更準round_methodhalf_even銀行家舍入減少累積偏差observer_clsPerGroupMinMaxObserver用每組最大/最小值確定量化范圍 AWQ不是所有權重都值得一刀切AWQActivation-aware Weight Quantization的核心思想很簡單有些權重通道很重要不能粗暴壓到 4-bit。普通量化對所有權重一視同仁而 AWQ 會先用校準數(shù)據(jù)觀察激活值的大小——激活越大的通道對輸出影響越大。于是它給這些重要通道乘一個略大于 1 的補償系數(shù)再量化把誤差壓回去。config.json中的scaling_layers就是這套機制的清單按 Transformer 子模塊成組保護input_layernorm→ 保護q_proj / k_proj / v_projself_attn.v_proj→ 保護o_projpost_attention_layernorm→ 保護gate_proj / up_projmlp.up_proj→ 保護down_proj也就是說AWQ 把該重點保護的地方全部圈了出來這也是為什么 4-bit 量化后模型質(zhì)量依然可用的關鍵。?? UINT4 Group 128小步快跑換高精度UINT4一個權重從 16 個比特BF16壓到 4 個比特單參數(shù)體積直接降到 1/4Group 128每 128 個權重配 1 個float縮放系數(shù) 1 個非對稱零點相當于每 128 個人一組組內(nèi)用統(tǒng)一標尺既省內(nèi)存又把范圍切得很細BFP16 激活推理時激活值仍按 16 位浮點計算只壓權重、不壓計算精度損失最小化。三招組合下來誤差被限制在每個小組內(nèi)部整體質(zhì)量幾乎無損。 到底省了多少算一筆賬Llama-3.2-1B 總參數(shù)約 1.27B16 層 × 每層約 63M 嵌入 263M形態(tài)權重體積估算說明BF16 原版≈ 2.5 GB每參數(shù) 2 字節(jié)UINT4 量化后≈ 0.65 GB每參數(shù) 0.5 字節(jié) 組內(nèi)縮放系數(shù)實際模型包約 1.2 GB含 ONNX 圖、NPU 元數(shù)據(jù)等純權重縮小到約 1/4整個模型包體積減半——這就是標題里1B 參數(shù)減半壓縮的由來。省下的空間換來了兩個實際好處NPU 內(nèi)存占用更小可以和 16K 上下文的 KV Cache 共存讀取帶寬減半生成速度更快LLM 解碼是典型的訪存瓶頸。另外模型使用了 GQA32 個 Q 頭 / 僅 8 個 KV 頭見 genai_config.jsonKV Cache 再省 1/4是能跑長上下文的另一塊拼圖。 NPU 部署內(nèi)幕這些文件各管一攤量化只是上半場真正讓它跑在 Ryzen AI 上的是下半場的文件布局文件作用model.onnx model.onnx.dataOGA 構圖產(chǎn)物模型圖 量化權重數(shù)據(jù)model.pb.binNPU 編譯后的外部權重數(shù)據(jù)genai_config.json中指定dd_metastate_*系列如 dd_metastate_...stateNPU 動態(tài)數(shù)據(jù)Dynamic Data緩存融合的 RMSNorm、256~16384 各檔 attention mask 元信息rai_config.jsonRyzen AI 各版本 SDK 支持的max_prompt_length1.7.1 最高 4096genai_config.json解碼參數(shù)16K 最大生成長度、NPU 后端、4096 分塊其中attention_mask_padded_16384這類文件正好對應模型名里的npu_16K預計算好 16K 上下文的注意力掩碼元信息解碼時零開銷取用?？焖偕鲜直镜伢w驗可通過 Ryzen AI SDK 拉取該模型倉庫git clone https://gitcode.com/hf_mirrors/amd/Llama-3.2-1B-Instruct_rai_1.8.0_npu_16K隨后按 Ryzen AI 的 Hybrid OGA 文檔用onnxruntime-genai加載model.onnx即可在 CPUNPU 混合后端上運行推理。? 常見問題FAQQ1量化后會掉智商嗎AWQ 保護了關鍵通道、Group 128 控制了誤差范圍、激活保持 16 位計算三者疊加使 1B 級別模型的質(zhì)量損失通常在可接受范圍內(nèi)日常問答、摘要、改寫幾乎無感。Q2為什么是 4-bit 而不是 8-bit8-bit 體積只省一半且 NPU 上收益有限4-bit 直接把權重帶寬需求降到 1/4配合 AWQ 校準是端側(cè)部署的甜點精度。Q3只能在 AMD NPU 上用嗎model.pb.bin與dd_metastate_*是 NPU 專用產(chǎn)物ONNX 部分理論上可被支持 Quark 量化格式的 CPU 后端讀取但完整 16K NPU 體驗依賴 Ryzen AI 硬件與 SDK。? 小結AWQ看激活定權重重點通道重點保護4-bit 量化不掉鏈子UINT4 Group 128 非對稱小步長標尺 偏移補償誤差關在小組里BFP16 激活只壓權重不壓計算精度幾乎無損NPU 后處理ONNX 圖 16K 注意力元信息讓 1B 模型真正跑進筆記本。從 2.5GB 到 1GB 量級一套 AWQUINT4 組合拳就完成了。想在本地跑起 Llama 又內(nèi)存緊張這種量化方案值得成為你第一個研究對象。贊分享【免費下載鏈接】Llama-3.2-1B-Instruct_rai_1.8.0_npu_16K項目地址https://ai.gitcode.com/hf_mirrors/amd/Llama-3.2-1B-Instruct_rai_1.8.0_npu_16K點擊查看免費下載相關推薦4位量化原理深度解析Llama-3.2-1B-Instruct_rai_1.8.0_hybrid如何用AWQUINT4讓1B模型瘦身又保智力4位量化原理深度解析Llama 3.2 1B Instruct_rai_1.8.0_hybrid如何用AWQUINT4讓1B模型瘦身又保智力 Llama 3為什么又小又快Llama-3.2-3B-Instruct_rai_1.8.0_npu_16K的AWQUINT4量化策略詳解為什么又小又快Llama 3.2 3B Instruct_rai_1.8.0_npu_16K的AWQUINT4量化策略詳解 Llama 3.2 3B InsNPU上的16K長上下文Llama-3.2-1B-Instruct_rai_1.8.0_npu_16K的Token Fusion機制解讀NPU上的16K長上下文Llama 3.2 1B Instruct_rai_1.8.0_npu_16K的Token Fusion機制解讀 Llama 3.2創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考