重文件怎么讀？safetensors三分片結(jié)構(gòu)與index索引完全解析)
【免費下載鏈接】DeepSeek-V3-W4A8-Pruing項目地址https://ai.gitcode.com/hf_mirrors/vllm-ascend/DeepSeek-V3-W4A8-Pruing點擊查看免費下載初次接觸 DeepSeek-V3-W4A8-Pruing 模型倉庫時面對 3 個 safetensors 分片文件、一個 578KB 的 index 索引 JSON新手最容易發(fā)懵為什么權(quán)重要拆成 3 片index 文件里的 weight_map 到底在索引什么這篇文章帶你逐層拆解 safetensors 三分片結(jié)構(gòu)與 index 索引的完整對應(yīng)關(guān)系看完你就能獨立讀懂任意量化模型的權(quán)重布局。倉庫文件全景先看目錄里有什么整個倉庫可以分成三類文件各司其職類別文件作用權(quán)重數(shù)據(jù)quant_model_weight_w8a8_dynamic-00001-of-00003.safetensors等 3 個分片存放模型全部張量數(shù)據(jù)權(quán)重索引quant_model_weight_w8a8_dynamic.safetensors.index.json記錄哪個張量在哪個分片量化說明quant_model_description.json記錄每個參數(shù)的量化類型模型配置config.json、configuration_deepseek.py定義模型結(jié)構(gòu)與加載入口詞表tokenizer.json、tokenizer_config.json分詞與對話模板 記住一條主線index 索引管位置description 管精度safetensors 分片管數(shù)據(jù)。safetensors 三分片各自裝了什么大模型權(quán)重通常按大小上限切成多個 shard分片。本模型共 4810 個張量鍵key被均勻地分配到 3 個分片中分布并不均勻分片張量鍵數(shù)量占比內(nèi)容00001496約 10.3%詞嵌入model.embed_tokens、第 0~2 層全部參數(shù)、第 3 層 MoE 專家 0~16000023132約 65.1%第 3 層 MoE 專家 17~190 的量化權(quán)重000031182約 24.6%第 3 層 MoE 專家 191~255、路由 gate、shared_experts、model.norm、lm_head 為什么第 2 片特別大因為 config.json 中n_routed_experts為 256、num_hidden_layers為 4第 3 層是 MoE 層256 個專家的權(quán)重占了全模型的大頭而 MoE 層被切分在 3 個分片里。分片 1從詞嵌入到 MoE 專家 16打開索引文件開頭第一個鍵就是詞嵌入model.embed_tokens.weight: quant_model_weight_w8a8_dynamic-00001-of-00003.safetensors隨后按層順序排布第 0~2 層的self_attnq_a_proj、q_b_proj、kv_a_proj_with_mqa、o_proj 等 MLA 投影與mlp參數(shù)直到model.layers.3.mlp.experts.17.gate_proj.scale_bias為止。分片 2MoE 專家權(quán)重的主戰(zhàn)場第 2 片幾乎全部是model.layers.3.mlp.experts.17到experts.190的鍵每個專家都帶有 gate_proj / up_proj / down_proj 三組矩陣及其量化伴隨張量model.layers.3.mlp.experts.17.up_proj.weight model.layers.3.mlp.experts.17.up_proj.weight_scale model.layers.3.mlp.experts.17.up_proj.weight_offset model.layers.3.mlp.experts.17.up_proj.weight_scale_second model.layers.3.mlp.experts.17.up_proj.scale_bias這正是 W4A8 量化的典型特征——每個weight都配套 scale / offset / scale_bias 等伴隨參數(shù)鍵數(shù)量是普通模型的 5~6 倍。分片 3專家尾部 歸一化 輸出頭第 3 片從experts.191.up_proj.weight開始收在模型的最后三件套model.norm.weight: ...-00003-of-00003.safetensors, model.norm.bias: ...-00003-of-00003.safetensors, lm_head.weight: ...-00003-of-00003.safetensorslm_head是輸出詞表投影詞表大小 129280永遠(yuǎn)位于權(quán)重文件的末尾這是判斷一個分片是否為末片的最快標(biāo)志。index 索引的完整解析metadata weight_map索引文件結(jié)構(gòu)非常簡潔只有兩個頂層字段{ metadata: { total_size: 12073335872 }, weight_map: { 張量名: 分片文件名, ... } }metadata.total_size全模型張量總字節(jié)數(shù)12073335872約11.25 GB。加載器用它校驗分片是否完整是判斷下載齊沒齊的第一依據(jù)。weight_map4810 條張量名 → 分片名映射。推理框架如 vLLM / MindIE加載時只讀這個索引按需打開對應(yīng)分片并做零拷貝內(nèi)存映射而不是把整個模型讀進(jìn)內(nèi)存。 實用技巧想確認(rèn)某個參數(shù)在哪個分片直接搜索weight_map中的鍵名即可例如查model.layers.3.mlp.gate.weight會指向 00003 分片——這就是 MoE 路由表所在位置。用 quant_model_description.json 看懂每個參數(shù)的精度如果說 index 回答在哪那么 quant_model_description.json 回答的是以什么精度存儲。文件頭部聲明version: 1.0.0, model_quant_type: W8A8_DYNAMIC, group_size: 256其中g(shù)roup_size: 256表示量化按 256 個元素一組做分組縮放。全文檔按參數(shù)統(tǒng)計精度類型分布如下量化類型參數(shù)數(shù)量分布位置W4A8_DYNAMIC4608第 3 層 MoE 路由專家的 gate/up/down_projW8A8112各層 MLA 注意力投影q_a/q_b/kv_a/o_projFLOAT54詞嵌入、layernorm、bias 等保持高精度W8A8_DYNAMIC36第 0~2 層 dense MLP 的 gate/up/down_proj這與 config.json 中的三個字段一一對應(yīng)mla_quantize: w8a8, quantize: w8a8_dynamic, moe_quantize: w4a8_dynamic 項目名里的 W4A8 指的就是 MoE 專家部分權(quán)重 4-bit、激活 8-bit 的動態(tài)量化這也是整個模型最省顯存的功臣。新手上手 3 步下載、校驗、加載第 1 步獲取完整權(quán)重在模型倉庫頁面下載全部文件或執(zhí)行g(shù)it clone https://gitcode.com/hf_mirrors/vllm-ascend/DeepSeek-V3-W4A8-Pruing第 2 步校驗完整性三個分片文件 index 文件必須齊全缺一不可index 中metadata.total_size約 11.25 GB應(yīng)與各分片實際大小之和一致。第 3 步交給推理框架加載配置 configuration.json 聲明了framework: pytorch、task: text-generationconfig.json 的auto_map字段把AutoConfig/AutoModel指向 configuration_deepseek.py 與 modeling_deepseek.py因此框架會自動識別DeepseekV3ForCausalLM架構(gòu)通過 index 按需讀取分片無需手工指定分片順序?？偨Y(jié)一張圖記住權(quán)重讀取鏈路config.json ── 決定架構(gòu)與量化方案 │ ▼ .safetensors.index.json ── weight_map張量名 → 分片文件位置索引 │ ▼ 00001 / 00002 / 00003 分片 ── 實際張量數(shù)據(jù)safetensors 零拷貝讀取 │ ▼ quant_model_description.json ── 每個張量的精度類型W4A8 / W8A8 / FLOAT核心結(jié)論只有一句話index 索引是目錄分片是章節(jié)description 是書脊上的標(biāo)注。掌握weight_map的鍵名 → 分片名映射規(guī)律按層順序排布、MoE 專家體量大導(dǎo)致分片 2 最厚、lm_head收尾于分片 3你面對任何 safetensors 多分片量化模型都能快速建立全局認(rèn)知。贊分享【免費下載鏈接】DeepSeek-V3-W4A8-Pruing項目地址https://ai.gitcode.com/hf_mirrors/vllm-ascend/DeepSeek-V3-W4A8-Pruing點擊查看免費下載相關(guān)推薦Qwen3-235B-A22B-W4A8權(quán)重文件解碼讀懂30個safetensors分片與量化索引文件Qwen3 235B A22B W4A8權(quán)重文件解碼讀懂30個safetensors分片與量化索引文件 Qwen3 235B A22B W4A8 是 Qwen為什么叫PruingDeepSeek-V3-W4A8-Pruing剪枝版與完整模型的區(qū)別一文看懂為什么叫PruingDeepSeek V3 W4A8 Pruing剪枝版與完整模型的區(qū)別一文看懂 如果你想在單卡昇騰 NPU 上體驗 DeepSeek V3Qwen3-8B-W4A8 模型文件結(jié)構(gòu)全解析safetensors 分片與 index.json 到底長什么樣Qwen3 8B W4A8 模型文件結(jié)構(gòu)全解析safetensors 分片與 index.json 到底長什么樣 Qwen3 8B W4A8 是 vllm創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 DeepSeek-V3-W4A8-Pruing權(quán)重文件怎么讀？safetensors三分片結(jié)構(gòu)與index索引完全解析
【免費下載鏈接】DeepSeek-V3-W4A8-Pruing項目地址https://ai.gitcode.com/hf_mirrors/vllm-ascend/DeepSeek-V3-W4A8-Pruing點擊查看免費下載初次接觸 DeepSeek-V3-W4A8-Pruing 模型倉庫時面對 3 個 safetensors 分片文件、一個 578KB 的 index 索引 JSON新手最容易發(fā)懵為什么權(quán)重要拆成 3 片index 文件里的 weight_map 到底在索引什么這篇文章帶你逐層拆解 safetensors 三分片結(jié)構(gòu)與 index 索引的完整對應(yīng)關(guān)系看完你就能獨立讀懂任意量化模型的權(quán)重布局。倉庫文件全景先看目錄里有什么整個倉庫可以分成三類文件各司其職類別文件作用權(quán)重數(shù)據(jù)quant_model_weight_w8a8_dynamic-00001-of-00003.safetensors等 3 個分片存放模型全部張量數(shù)據(jù)權(quán)重索引quant_model_weight_w8a8_dynamic.safetensors.index.json記錄哪個張量在哪個分片量化說明quant_model_description.json記錄每個參數(shù)的量化類型模型配置config.json、configuration_deepseek.py定義模型結(jié)構(gòu)與加載入口詞表tokenizer.json、tokenizer_config.json分詞與對話模板 記住一條主線index 索引管位置description 管精度safetensors 分片管數(shù)據(jù)。safetensors 三分片各自裝了什么大模型權(quán)重通常按大小上限切成多個 shard分片。本模型共 4810 個張量鍵key被均勻地分配到 3 個分片中分布并不均勻分片張量鍵數(shù)量占比內(nèi)容00001496約 10.3%詞嵌入model.embed_tokens、第 0~2 層全部參數(shù)、第 3 層 MoE 專家 0~16000023132約 65.1%第 3 層 MoE 專家 17~190 的量化權(quán)重000031182約 24.6%第 3 層 MoE 專家 191~255、路由 gate、shared_experts、model.norm、lm_head 為什么第 2 片特別大因為 config.json 中n_routed_experts為 256、num_hidden_layers為 4第 3 層是 MoE 層256 個專家的權(quán)重占了全模型的大頭而 MoE 層被切分在 3 個分片里。分片 1從詞嵌入到 MoE 專家 16打開索引文件開頭第一個鍵就是詞嵌入model.embed_tokens.weight: quant_model_weight_w8a8_dynamic-00001-of-00003.safetensors隨后按層順序排布第 0~2 層的self_attnq_a_proj、q_b_proj、kv_a_proj_with_mqa、o_proj 等 MLA 投影與mlp參數(shù)直到model.layers.3.mlp.experts.17.gate_proj.scale_bias為止。分片 2MoE 專家權(quán)重的主戰(zhàn)場第 2 片幾乎全部是model.layers.3.mlp.experts.17到experts.190的鍵每個專家都帶有 gate_proj / up_proj / down_proj 三組矩陣及其量化伴隨張量model.layers.3.mlp.experts.17.up_proj.weight model.layers.3.mlp.experts.17.up_proj.weight_scale model.layers.3.mlp.experts.17.up_proj.weight_offset model.layers.3.mlp.experts.17.up_proj.weight_scale_second model.layers.3.mlp.experts.17.up_proj.scale_bias這正是 W4A8 量化的典型特征——每個weight都配套 scale / offset / scale_bias 等伴隨參數(shù)鍵數(shù)量是普通模型的 5~6 倍。分片 3專家尾部 歸一化 輸出頭第 3 片從experts.191.up_proj.weight開始收在模型的最后三件套model.norm.weight: ...-00003-of-00003.safetensors, model.norm.bias: ...-00003-of-00003.safetensors, lm_head.weight: ...-00003-of-00003.safetensorslm_head是輸出詞表投影詞表大小 129280永遠(yuǎn)位于權(quán)重文件的末尾這是判斷一個分片是否為末片的最快標(biāo)志。index 索引的完整解析metadata weight_map索引文件結(jié)構(gòu)非常簡潔只有兩個頂層字段{ metadata: { total_size: 12073335872 }, weight_map: { 張量名: 分片文件名, ... } }metadata.total_size全模型張量總字節(jié)數(shù)12073335872約11.25 GB。加載器用它校驗分片是否完整是判斷下載齊沒齊的第一依據(jù)。weight_map4810 條張量名 → 分片名映射。推理框架如 vLLM / MindIE加載時只讀這個索引按需打開對應(yīng)分片并做零拷貝內(nèi)存映射而不是把整個模型讀進(jìn)內(nèi)存。 實用技巧想確認(rèn)某個參數(shù)在哪個分片直接搜索weight_map中的鍵名即可例如查model.layers.3.mlp.gate.weight會指向 00003 分片——這就是 MoE 路由表所在位置。用 quant_model_description.json 看懂每個參數(shù)的精度如果說 index 回答在哪那么 quant_model_description.json 回答的是以什么精度存儲。文件頭部聲明version: 1.0.0, model_quant_type: W8A8_DYNAMIC, group_size: 256其中g(shù)roup_size: 256表示量化按 256 個元素一組做分組縮放。全文檔按參數(shù)統(tǒng)計精度類型分布如下量化類型參數(shù)數(shù)量分布位置W4A8_DYNAMIC4608第 3 層 MoE 路由專家的 gate/up/down_projW8A8112各層 MLA 注意力投影q_a/q_b/kv_a/o_projFLOAT54詞嵌入、layernorm、bias 等保持高精度W8A8_DYNAMIC36第 0~2 層 dense MLP 的 gate/up/down_proj這與 config.json 中的三個字段一一對應(yīng)mla_quantize: w8a8, quantize: w8a8_dynamic, moe_quantize: w4a8_dynamic 項目名里的 W4A8 指的就是 MoE 專家部分權(quán)重 4-bit、激活 8-bit 的動態(tài)量化這也是整個模型最省顯存的功臣。新手上手 3 步下載、校驗、加載第 1 步獲取完整權(quán)重在模型倉庫頁面下載全部文件或執(zhí)行g(shù)it clone https://gitcode.com/hf_mirrors/vllm-ascend/DeepSeek-V3-W4A8-Pruing第 2 步校驗完整性三個分片文件 index 文件必須齊全缺一不可index 中metadata.total_size約 11.25 GB應(yīng)與各分片實際大小之和一致。第 3 步交給推理框架加載配置 configuration.json 聲明了framework: pytorch、task: text-generationconfig.json 的auto_map字段把AutoConfig/AutoModel指向 configuration_deepseek.py 與 modeling_deepseek.py因此框架會自動識別DeepseekV3ForCausalLM架構(gòu)通過 index 按需讀取分片無需手工指定分片順序?？偨Y(jié)一張圖記住權(quán)重讀取鏈路config.json ── 決定架構(gòu)與量化方案 │ ▼ .safetensors.index.json ── weight_map張量名 → 分片文件位置索引 │ ▼ 00001 / 00002 / 00003 分片 ── 實際張量數(shù)據(jù)safetensors 零拷貝讀取 │ ▼ quant_model_description.json ── 每個張量的精度類型W4A8 / W8A8 / FLOAT核心結(jié)論只有一句話index 索引是目錄分片是章節(jié)description 是書脊上的標(biāo)注。掌握weight_map的鍵名 → 分片名映射規(guī)律按層順序排布、MoE 專家體量大導(dǎo)致分片 2 最厚、lm_head收尾于分片 3你面對任何 safetensors 多分片量化模型都能快速建立全局認(rèn)知。贊分享【免費下載鏈接】DeepSeek-V3-W4A8-Pruing項目地址https://ai.gitcode.com/hf_mirrors/vllm-ascend/DeepSeek-V3-W4A8-Pruing點擊查看免費下載相關(guān)推薦Qwen3-235B-A22B-W4A8權(quán)重文件解碼讀懂30個safetensors分片與量化索引文件Qwen3 235B A22B W4A8權(quán)重文件解碼讀懂30個safetensors分片與量化索引文件 Qwen3 235B A22B W4A8 是 Qwen為什么叫PruingDeepSeek-V3-W4A8-Pruing剪枝版與完整模型的區(qū)別一文看懂為什么叫PruingDeepSeek V3 W4A8 Pruing剪枝版與完整模型的區(qū)別一文看懂 如果你想在單卡昇騰 NPU 上體驗 DeepSeek V3Qwen3-8B-W4A8 模型文件結(jié)構(gòu)全解析safetensors 分片與 index.json 到底長什么樣Qwen3 8B W4A8 模型文件結(jié)構(gòu)全解析safetensors 分片與 index.json 到底長什么樣 Qwen3 8B W4A8 是 vllm創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考