NOSA-1B 模型家族全景從 1B 到 8B三款稀疏注意力模型怎么選【免費(fèi)下載鏈接】NOSA-1B項(xiàng)目地址: https://ai.gitcode.com/OpenBMB/NOSA-1B長(zhǎng)上下文大模型如今已成為 AI 應(yīng)用的主流但動(dòng)輒數(shù)萬(wàn) token 的上下文也讓推理成本水漲船高。OpenBMB 開源的NOSA-1B正是為解決這一痛點(diǎn)而生的稀疏注意力模型家族從 1B 到 8B 共三款模型通過原生可卸載的稀疏注意力機(jī)制NOSA在長(zhǎng)文本生成中大幅降低顯存占用、提升解碼速度。本文將帶你一次看懂 NOSA-1B、NOSA-3B、NOSA-8B 三款模型的區(qū)別并給出最實(shí)用的選型建議。為什么你需要關(guān)注稀疏注意力模型傳統(tǒng)大模型在做長(zhǎng)文本推理時(shí)每一層注意力都要保存完整的 KV cache鍵值緩存顯存會(huì)隨著上下文長(zhǎng)度線性暴漲。處理 10 萬(wàn) token 的文檔時(shí)KV cache 甚至比模型權(quán)重還大普通顯卡根本跑不動(dòng)。稀疏注意力模型的核心思路是并非所有歷史 token 都值得同等關(guān)注。與其讓每個(gè) token 都看一遍全部歷史不如只精讀最重要的那一小部分從而在幾乎不損失質(zhì)量的前提下大幅壓縮計(jì)算量與顯存開銷。對(duì)比維度全注意力FullAttnNOSA 稀疏注意力計(jì)算量隨上下文線性增長(zhǎng)只看局部窗口 TopK 關(guān)鍵塊KV cache 占用全部駐留顯存可卸載到 CPU/硬盤超長(zhǎng)文本支持顯存不足直接 OOM數(shù)十萬(wàn) token 也能跑解碼速度越長(zhǎng)越慢長(zhǎng)文本下提速明顯NOSA-1B 是什么核心原理 3 句話講清NOSA 的全稱是Native and Offloadable Sparse Attention原生可卸載稀疏注意力。它解決長(zhǎng)上下文推理的思路可以概括為三步顯式局部性約束每個(gè) token 優(yōu)先關(guān)注附近的局部窗口默認(rèn)窗口 1024 token這是 NOSA 區(qū)別于此前稀疏方案的關(guān)鍵設(shè)計(jì)兩級(jí)注意力檢索先用壓縮注意力對(duì)歷史 KV 快速粗篩選出 TopK 個(gè)高價(jià)值塊再對(duì)這些塊做精讀見 modeling_llama_long_infllmv2.py 中的 block_size、topk 等核心參數(shù)KV cache 原生可卸載配合配套推理系統(tǒng)NOSI把不常用的 KV 塊搬到 CPU 內(nèi)存需要時(shí)再取回讓單卡也能跑超長(zhǎng)上下文。此外項(xiàng)目中 cis_pooling.py 用 Triton 實(shí)現(xiàn)了高吞吐的 CIS 得分均值池化內(nèi)核保證了稀疏檢索本身的高效性。這一整套機(jī)制在論文中被稱為 NOSA NOSI并已在 1B/3B/8B 三檔模型上完成訓(xùn)練驗(yàn)證。一圖看懂 NOSA 家族三款模型NOSA 模型家族共訓(xùn)練了 12 個(gè)模型1B/3B/8B × FullAttn/InfLLMv2/DMA/NOSA 四種注意力方案其中面向社區(qū)開放的是三款 NOSA 稀疏注意力模型模型參數(shù)量bf16 權(quán)重約占用適合的硬件典型場(chǎng)景NOSA-1B約 10 億約 2GB8GB 顯存即可快速實(shí)驗(yàn)、邊緣部署、教學(xué) demoNOSA-3B約 30 億約 6GB12~16GB 顯存平衡質(zhì)量與成本的生產(chǎn)級(jí)應(yīng)用NOSA-8B約 80 億約 16GB24GB 及以上高質(zhì)量長(zhǎng)文本生成、復(fù)雜推理以倉(cāng)庫(kù)中的 NOSA-1B 為例其 config.json 顯示28 層 Transformer、16 個(gè)注意力頭、GQA 分組查詢注意力僅 2 個(gè) KV 頭、隱藏維度 2048配合 LongRoPE 位置編碼可將上下文從 4096 平滑擴(kuò)展到 32K 以上全模型以 bfloat16 精度存儲(chǔ)約 2GB 權(quán)重門檻非常親民。NOSA-1B 的實(shí)測(cè)性能有多強(qiáng)根據(jù)官方 README 的基準(zhǔn)數(shù)據(jù)NOSA 在 1B/3B/8B 三檔模型上的解碼吞吐提升相當(dāng)夸張對(duì)比全注意力 FullAttn吞吐最高提升5.04×?對(duì)比 InfLLMv2吞吐最高提升1.92×對(duì)比 ShadowKV吞吐最高提升1.83×也就是說(shuō)在長(zhǎng)文本生成場(chǎng)景下同樣的顯存和時(shí)間NOSA 能多生成約 1.8~5 倍的 token。對(duì)于需要批量處理長(zhǎng)文檔、長(zhǎng)對(duì)話、長(zhǎng)代碼的任務(wù)這個(gè)差距意味著真金白銀的成本節(jié)省。怎么選三款稀疏注意力模型的選型指南① 手頭顯卡只有 8GB → 閉眼選 NOSA-1B適合快速驗(yàn)證想法、做教學(xué)演示或者在邊緣設(shè)備上跑輕量應(yīng)用。1B 級(jí)別配合稀疏注意力長(zhǎng)文本也能流暢生成。② 要做真實(shí)業(yè)務(wù)、又不想花大錢 → 優(yōu)先 NOSA-3B3B 是質(zhì)量與成本的最佳平衡點(diǎn)單卡 16GB 即可部署生成質(zhì)量明顯優(yōu)于 1B吞吐依然大幅領(lǐng)先全注意力模型是生產(chǎn)環(huán)境的高性價(jià)比之選。③ 追求最強(qiáng)長(zhǎng)文本質(zhì)量 → 直接上 NOSA-8B如果你的任務(wù)是長(zhǎng)文檔問答、長(zhǎng)篇小說(shuō)生成、復(fù)雜代碼理解8B 模型的能力上限最高。配合 KV cache 卸載特性24GB 顯存也能從容應(yīng)對(duì)超長(zhǎng)上下文。④ 想跑超長(zhǎng)上下文 → 三款都值得關(guān)注NOSA 的卸載特性讓模型在單卡上即可處理遠(yuǎn)超訓(xùn)練長(zhǎng)度的文本先根據(jù)顯存選檔位再放心地喂長(zhǎng)文本即可?？焖偕鲜?0 秒跑通 NOSA-1BNOSA 模型遵循 Hugging Face Transformers 接口使用方式與普通 Llama 系模型幾乎一致。先獲取代碼與權(quán)重git clone https://gitcode.com/OpenBMB/NOSA-1B然后在 Python 中加載注意需要trust_remote_code以啟用自定義稀疏注意力實(shí)現(xiàn)from transformers import AutoModelForCausalLM, AutoTokenizer model AutoModelForCausalLM.from_pretrained( openbmb/NOSA-1B, trust_remote_codeTrue ) tokenizer AutoTokenizer.from_pretrained(openbmb/NOSA-1B)模型的auto_map會(huì)自動(dòng)指向 modeling_llama_long_infllmv2.py 中的SparseLlamaForCausalLM開箱即用。生成配置generation_config.json默認(rèn) temperature 0.8、top_p 0.8直接調(diào)用即可獲得穩(wěn)定輸出。項(xiàng)目文件速覽想深入研究的讀者可以對(duì)照以下文件閱讀源碼modeling_llama_long_infllmv2.py稀疏注意力模型核心實(shí)現(xiàn)SparseLlamaForCausalLM、兩級(jí)注意力、KV 壓縮cis_pooling.pyTriton 編寫的 CIS 得分池化加速內(nèi)核config.jsonNOSA-1B 模型結(jié)構(gòu)配置層數(shù)、頭數(shù)、LongRoPE 等generation_config.json生成參數(shù)溫度、采樣策略tokenizer.json 與 tokenizer.model分詞器文件README.md項(xiàng)目總覽、基準(zhǔn)數(shù)據(jù)與論文引用常見問題 FAQQ1NOSA-1B 支持中文嗎支持。模型基于中英雙語(yǔ)語(yǔ)料openbmb/InfLLM-V2-data-5B訓(xùn)練中文長(zhǎng)文本任務(wù)表現(xiàn)良好。Q2稀疏注意力會(huì)損失生成質(zhì)量嗎NOSA 的顯式局部性約束 兩級(jí)檢索設(shè)計(jì)正是為了在稀疏化同時(shí)守住質(zhì)量。從官方基準(zhǔn)看長(zhǎng)文本質(zhì)量?jī)?yōu)于 InfLLMv2 等此前主流卸載方案。Q3部署有什么硬件要求1B 模型 8GB 顯存即可起步推理框架建議使用支持 CUDA 的環(huán)境KV cache 卸載特性在單卡場(chǎng)景收益最大。Q4許可證友好嗎項(xiàng)目采用 Apache-2.0 開源協(xié)議可自由商用社區(qū)使用非常友好。結(jié)語(yǔ)從 NOSA-1B 到 NOSA-8B三款稀疏注意力模型覆蓋了從入門實(shí)驗(yàn)到生產(chǎn)級(jí)部署的完整梯度。無(wú)論你是想用 8GB 小顯卡體驗(yàn)長(zhǎng)上下文還是需要在高吞吐場(chǎng)景下壓榨每張 GPU 的價(jià)值NOSA 家族都給出了兼顧速度、質(zhì)量與成本的最優(yōu)解?，F(xiàn)在就 clone 倉(cāng)庫(kù)跑起來(lái)感受稀疏注意力帶來(lái)的長(zhǎng)文本自由吧【免費(fèi)下載鏈接】NOSA-1B項(xiàng)目地址: https://ai.gitcode.com/OpenBMB/NOSA-1B創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 NOSA-1B 模型家族全景：從 1B 到 8B，三款稀疏注意力模型怎么選？
NOSA-1B 模型家族全景從 1B 到 8B三款稀疏注意力模型怎么選【免費(fèi)下載鏈接】NOSA-1B項(xiàng)目地址: https://ai.gitcode.com/OpenBMB/NOSA-1B長(zhǎng)上下文大模型如今已成為 AI 應(yīng)用的主流但動(dòng)輒數(shù)萬(wàn) token 的上下文也讓推理成本水漲船高。OpenBMB 開源的NOSA-1B正是為解決這一痛點(diǎn)而生的稀疏注意力模型家族從 1B 到 8B 共三款模型通過原生可卸載的稀疏注意力機(jī)制NOSA在長(zhǎng)文本生成中大幅降低顯存占用、提升解碼速度。本文將帶你一次看懂 NOSA-1B、NOSA-3B、NOSA-8B 三款模型的區(qū)別并給出最實(shí)用的選型建議。為什么你需要關(guān)注稀疏注意力模型傳統(tǒng)大模型在做長(zhǎng)文本推理時(shí)每一層注意力都要保存完整的 KV cache鍵值緩存顯存會(huì)隨著上下文長(zhǎng)度線性暴漲。處理 10 萬(wàn) token 的文檔時(shí)KV cache 甚至比模型權(quán)重還大普通顯卡根本跑不動(dòng)。稀疏注意力模型的核心思路是并非所有歷史 token 都值得同等關(guān)注。與其讓每個(gè) token 都看一遍全部歷史不如只精讀最重要的那一小部分從而在幾乎不損失質(zhì)量的前提下大幅壓縮計(jì)算量與顯存開銷。對(duì)比維度全注意力FullAttnNOSA 稀疏注意力計(jì)算量隨上下文線性增長(zhǎng)只看局部窗口 TopK 關(guān)鍵塊KV cache 占用全部駐留顯存可卸載到 CPU/硬盤超長(zhǎng)文本支持顯存不足直接 OOM數(shù)十萬(wàn) token 也能跑解碼速度越長(zhǎng)越慢長(zhǎng)文本下提速明顯NOSA-1B 是什么核心原理 3 句話講清NOSA 的全稱是Native and Offloadable Sparse Attention原生可卸載稀疏注意力。它解決長(zhǎng)上下文推理的思路可以概括為三步顯式局部性約束每個(gè) token 優(yōu)先關(guān)注附近的局部窗口默認(rèn)窗口 1024 token這是 NOSA 區(qū)別于此前稀疏方案的關(guān)鍵設(shè)計(jì)兩級(jí)注意力檢索先用壓縮注意力對(duì)歷史 KV 快速粗篩選出 TopK 個(gè)高價(jià)值塊再對(duì)這些塊做精讀見 modeling_llama_long_infllmv2.py 中的 block_size、topk 等核心參數(shù)KV cache 原生可卸載配合配套推理系統(tǒng)NOSI把不常用的 KV 塊搬到 CPU 內(nèi)存需要時(shí)再取回讓單卡也能跑超長(zhǎng)上下文。此外項(xiàng)目中 cis_pooling.py 用 Triton 實(shí)現(xiàn)了高吞吐的 CIS 得分均值池化內(nèi)核保證了稀疏檢索本身的高效性。這一整套機(jī)制在論文中被稱為 NOSA NOSI并已在 1B/3B/8B 三檔模型上完成訓(xùn)練驗(yàn)證。一圖看懂 NOSA 家族三款模型NOSA 模型家族共訓(xùn)練了 12 個(gè)模型1B/3B/8B × FullAttn/InfLLMv2/DMA/NOSA 四種注意力方案其中面向社區(qū)開放的是三款 NOSA 稀疏注意力模型模型參數(shù)量bf16 權(quán)重約占用適合的硬件典型場(chǎng)景NOSA-1B約 10 億約 2GB8GB 顯存即可快速實(shí)驗(yàn)、邊緣部署、教學(xué) demoNOSA-3B約 30 億約 6GB12~16GB 顯存平衡質(zhì)量與成本的生產(chǎn)級(jí)應(yīng)用NOSA-8B約 80 億約 16GB24GB 及以上高質(zhì)量長(zhǎng)文本生成、復(fù)雜推理以倉(cāng)庫(kù)中的 NOSA-1B 為例其 config.json 顯示28 層 Transformer、16 個(gè)注意力頭、GQA 分組查詢注意力僅 2 個(gè) KV 頭、隱藏維度 2048配合 LongRoPE 位置編碼可將上下文從 4096 平滑擴(kuò)展到 32K 以上全模型以 bfloat16 精度存儲(chǔ)約 2GB 權(quán)重門檻非常親民。NOSA-1B 的實(shí)測(cè)性能有多強(qiáng)根據(jù)官方 README 的基準(zhǔn)數(shù)據(jù)NOSA 在 1B/3B/8B 三檔模型上的解碼吞吐提升相當(dāng)夸張對(duì)比全注意力 FullAttn吞吐最高提升5.04×?對(duì)比 InfLLMv2吞吐最高提升1.92×對(duì)比 ShadowKV吞吐最高提升1.83×也就是說(shuō)在長(zhǎng)文本生成場(chǎng)景下同樣的顯存和時(shí)間NOSA 能多生成約 1.8~5 倍的 token。對(duì)于需要批量處理長(zhǎng)文檔、長(zhǎng)對(duì)話、長(zhǎng)代碼的任務(wù)這個(gè)差距意味著真金白銀的成本節(jié)省。怎么選三款稀疏注意力模型的選型指南① 手頭顯卡只有 8GB → 閉眼選 NOSA-1B適合快速驗(yàn)證想法、做教學(xué)演示或者在邊緣設(shè)備上跑輕量應(yīng)用。1B 級(jí)別配合稀疏注意力長(zhǎng)文本也能流暢生成。② 要做真實(shí)業(yè)務(wù)、又不想花大錢 → 優(yōu)先 NOSA-3B3B 是質(zhì)量與成本的最佳平衡點(diǎn)單卡 16GB 即可部署生成質(zhì)量明顯優(yōu)于 1B吞吐依然大幅領(lǐng)先全注意力模型是生產(chǎn)環(huán)境的高性價(jià)比之選。③ 追求最強(qiáng)長(zhǎng)文本質(zhì)量 → 直接上 NOSA-8B如果你的任務(wù)是長(zhǎng)文檔問答、長(zhǎng)篇小說(shuō)生成、復(fù)雜代碼理解8B 模型的能力上限最高。配合 KV cache 卸載特性24GB 顯存也能從容應(yīng)對(duì)超長(zhǎng)上下文。④ 想跑超長(zhǎng)上下文 → 三款都值得關(guān)注NOSA 的卸載特性讓模型在單卡上即可處理遠(yuǎn)超訓(xùn)練長(zhǎng)度的文本先根據(jù)顯存選檔位再放心地喂長(zhǎng)文本即可?？焖偕鲜?0 秒跑通 NOSA-1BNOSA 模型遵循 Hugging Face Transformers 接口使用方式與普通 Llama 系模型幾乎一致。先獲取代碼與權(quán)重git clone https://gitcode.com/OpenBMB/NOSA-1B然后在 Python 中加載注意需要trust_remote_code以啟用自定義稀疏注意力實(shí)現(xiàn)from transformers import AutoModelForCausalLM, AutoTokenizer model AutoModelForCausalLM.from_pretrained( openbmb/NOSA-1B, trust_remote_codeTrue ) tokenizer AutoTokenizer.from_pretrained(openbmb/NOSA-1B)模型的auto_map會(huì)自動(dòng)指向 modeling_llama_long_infllmv2.py 中的SparseLlamaForCausalLM開箱即用。生成配置generation_config.json默認(rèn) temperature 0.8、top_p 0.8直接調(diào)用即可獲得穩(wěn)定輸出。項(xiàng)目文件速覽想深入研究的讀者可以對(duì)照以下文件閱讀源碼modeling_llama_long_infllmv2.py稀疏注意力模型核心實(shí)現(xiàn)SparseLlamaForCausalLM、兩級(jí)注意力、KV 壓縮cis_pooling.pyTriton 編寫的 CIS 得分池化加速內(nèi)核config.jsonNOSA-1B 模型結(jié)構(gòu)配置層數(shù)、頭數(shù)、LongRoPE 等generation_config.json生成參數(shù)溫度、采樣策略tokenizer.json 與 tokenizer.model分詞器文件README.md項(xiàng)目總覽、基準(zhǔn)數(shù)據(jù)與論文引用常見問題 FAQQ1NOSA-1B 支持中文嗎支持。模型基于中英雙語(yǔ)語(yǔ)料openbmb/InfLLM-V2-data-5B訓(xùn)練中文長(zhǎng)文本任務(wù)表現(xiàn)良好。Q2稀疏注意力會(huì)損失生成質(zhì)量嗎NOSA 的顯式局部性約束 兩級(jí)檢索設(shè)計(jì)正是為了在稀疏化同時(shí)守住質(zhì)量。從官方基準(zhǔn)看長(zhǎng)文本質(zhì)量?jī)?yōu)于 InfLLMv2 等此前主流卸載方案。Q3部署有什么硬件要求1B 模型 8GB 顯存即可起步推理框架建議使用支持 CUDA 的環(huán)境KV cache 卸載特性在單卡場(chǎng)景收益最大。Q4許可證友好嗎項(xiàng)目采用 Apache-2.0 開源協(xié)議可自由商用社區(qū)使用非常友好。結(jié)語(yǔ)從 NOSA-1B 到 NOSA-8B三款稀疏注意力模型覆蓋了從入門實(shí)驗(yàn)到生產(chǎn)級(jí)部署的完整梯度。無(wú)論你是想用 8GB 小顯卡體驗(yàn)長(zhǎng)上下文還是需要在高吞吐場(chǎng)景下壓榨每張 GPU 的價(jià)值NOSA 家族都給出了兼顧速度、質(zhì)量與成本的最優(yōu)解?，F(xiàn)在就 clone 倉(cāng)庫(kù)跑起來(lái)感受稀疏注意力帶來(lái)的長(zhǎng)文本自由吧【免費(fèi)下載鏈接】NOSA-1B項(xiàng)目地址: https://ai.gitcode.com/OpenBMB/NOSA-1B創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考