戰(zhàn)教程（16款模型一鍵評(píng)測）)
一條命令跑通VSI-Benchevaluate_all_in_one.sh實(shí)戰(zhàn)教程16款模型一鍵評(píng)測【免費(fèi)下載鏈接】thinking-in-spaceOfficial repo and evaluation implementation of VSI-Bench項(xiàng)目地址: https://gitcode.com/gh_mirrors/th/thinking-in-spaceVSI-Bench是CVPR 2025 Oral論文《Thinking in Space》推出的多模態(tài)大模型空間智能評(píng)測基準(zhǔn)專門檢驗(yàn)?zāi)Ｐ湍芊駨牡谝灰暯且曨l中看懂、記住并回憶三維空間。本教程將帶你用一條命令跑通VSI-Bench評(píng)測官方一鍵腳本evaluate_all_in_one.sh內(nèi)置16款主流模型的完整配置從GPT-4o、Gemini等閉源API模型到LLaVA-OneVision、InternVL2、LongVA等開源模型全覆蓋無需手寫任何評(píng)測參數(shù)克隆倉庫、裝好環(huán)境、敲一行命令即可開跑。什么是VSI-Bench多模態(tài)大模型的空間智能考卷傳統(tǒng)視頻問答評(píng)測只考看到了什么而VSI-Bench更進(jìn)一步考的是空間智能看完一段室內(nèi)第一視角視頻后模型能否像人類一樣在大腦中構(gòu)建認(rèn)知地圖能否回答沙發(fā)和電視距離多遠(yuǎn)從廁所到廚房怎么走房間里有幾張椅子這類問題VSI-Bench的數(shù)據(jù)規(guī)模與覆蓋面相當(dāng)扎實(shí)5000 問答對(duì)來自288 段第一視角視頻視頻取自ScanNet、ScanNet、ARKitScenes三大公開室內(nèi)3D重建數(shù)據(jù)集的驗(yàn)證集共8 類任務(wù)歸為三大類型構(gòu)型任務(wù)Configuration、測量估計(jì)Measurement、時(shí)空任務(wù)SpatioTemporal。evaluate_all_in_one.sh16款模型一鍵評(píng)測的秘密很多評(píng)測框架的痛點(diǎn)在于每個(gè)模型要單獨(dú)寫模型參數(shù)、提示詞模板和batch配置光調(diào)試就耗掉大半天。而evaluate_all_in_one.sh把這些全部封裝好了——腳本內(nèi)部為每款模型預(yù)置了完整的model_family和model_args映射你只需告訴它評(píng)測哪個(gè)模型剩下的交給腳本。腳本共內(nèi)置16 款模型覆蓋 8 個(gè)模型家族模型別名模型家族規(guī)格類型gemini_1p5_flash/gemini_1p5_pro_002/gemini_2p0_flash_expGemini API1.5 Flash / 1.5 Pro / 2.0 Flash閉源APIgpt_4o_2024_08_06_f16GPT-4o4o16幀閉源APIllava_one_vision_qwen2_0p5b_ov_32f/_7b_/_72b_LLaVA-OneVision0.5B / 7B / 72B開源llava_next_video_7b_qwen2_32f/_72b_LLaVA-NeXT-Video7B / 72B開源llama3_vila1p5_8b_32f/_40b_VILA8B / 40B開源llama3_longvila_8b_128frames_32fLongVILA8B128幀長視頻開源longva_7b_32fLongVA7B開源internvl2_2b_8f/_8b_/_40b_InternVL22B / 8B / 40B開源參數(shù)--model all時(shí)默認(rèn)跑其中 8 款開源模型無需API Key即可本地評(píng)測其余模型按需指定。VSI-Bench安裝步驟三步搭好評(píng)測環(huán)境第一步克隆倉庫并初始化子模塊倉庫包含transformers子模塊評(píng)測依賴的定制版本務(wù)必初始化git clone https://gitcode.com/gh_mirrors/th/thinking-in-space cd thinking-in-space git submodule update --init --recursive第二步創(chuàng)建Python環(huán)境并安裝依賴conda create --name vsibench python3.10 conda activate vsibench cd transformers pip install -e . cd .. pip install -e . pip install deepspeed第三步準(zhǔn)備API Key僅評(píng)測閉源模型時(shí)需要評(píng)測 Gemini 和 GPT-4o 前在腳本開頭填入密鑰見evaluate_all_in_one.sh第12-13行export OPENAI_API_KEY你的OpenAI密鑰 export GOOGLE_API_KEY你的Gemini密鑰一條命令開始VSI-Bench模型評(píng)測環(huán)境就緒后評(píng)測就是這么簡單bash evaluate_all_in_one.sh --model all --num_processes 8 --benchmark vsibench--model all一鍵跑完默認(rèn) 8 款開源模型--num_processes 8并行進(jìn)程數(shù)按你的 GPU 顯存調(diào)整--benchmark vsibench評(píng)測任務(wù)名當(dāng)前默認(rèn)值可省略。想先小范圍驗(yàn)證流程是否通暢加上--limit參數(shù)只評(píng)測前 20 條樣本幾分鐘即可看到結(jié)果bash evaluate_all_in_one.sh --model llava_one_vision_qwen2_0p5b_ov_32f --limit 20想對(duì)比多款指定模型模型名用逗號(hào)分隔即可bash evaluate_all_in_one.sh --model gemini_1p5_pro_002,gpt_4o_2024_08_06_f16常用參數(shù)詳解定制你的VSI-Bench評(píng)測evaluate_all_in_one.sh還支持幾個(gè)實(shí)用參數(shù)方便你靈活定制評(píng)測--num_processes加速并行進(jìn)程數(shù)默認(rèn) 4顯存充足可調(diào)大72B/40B 大模型腳本會(huì)自動(dòng)降為 1--num_frames視頻采樣幀數(shù)默認(rèn) 32 幀InternVL2 系列固定 8 幀--output_path結(jié)果輸出目錄默認(rèn)logs/日期按美東時(shí)間命名--limit限制評(píng)測樣本數(shù)適合快速調(diào)試。模型與任務(wù)的綁定關(guān)系、提示詞模板等邏輯分別定義在評(píng)測配置 vsibench.yaml 和評(píng)測邏輯 utils.py 中各模型家族的接入實(shí)現(xiàn)可參考 gemini_api.py、gpt4v.py、vila.py、longva.py、internvl2.py 等文件?？炊u(píng)測結(jié)果準(zhǔn)確率與MRA兩大指標(biāo)VSI-Bench 的 8 類任務(wù)采用兩套評(píng)測指標(biāo)跑完會(huì)自動(dòng)輸出綜合得分MCA 選擇題任務(wù)相對(duì)方向、相對(duì)距離、路線規(guī)劃、出現(xiàn)順序用準(zhǔn)確率Accuracy評(píng)估要求模型直接輸出選項(xiàng)字母NA 數(shù)值題任務(wù)絕對(duì)距離、物體計(jì)數(shù)、物體大小、房間大小用官方提出的MRAMean Relative Accuracy平均相對(duì)準(zhǔn)確率評(píng)估衡量模型預(yù)測值與真實(shí)值的相對(duì)誤差。最終結(jié)果以overall綜合分呈現(xiàn)并按 8 類任務(wù)逐項(xiàng)打分方便你橫向?qū)Ρ雀髂Ｐ偷目臻g智能水平。常見問題與避坑指南Q1--model all會(huì)評(píng)測閉源API模型嗎不會(huì)。all默認(rèn)只跑 8 款開源模型閉源模型需在腳本中填好 API Key 后顯式指定名稱。Q2評(píng)測到一半顯存爆了怎么辦調(diào)小--num_processes或改用更小規(guī)格的模型如internvl2_2b_8f、llava_one_vision_qwen2_0p5b_ov_32f。Q3結(jié)果輸出到哪里默認(rèn)在logs/當(dāng)天日期/vsibench/目錄下按模型名分別保存日志與樣本結(jié)果方便對(duì)比復(fù)現(xiàn)。Q4開源模型結(jié)果和論文表格有差異官方說明指出由于數(shù)據(jù)后期精修開源模型復(fù)現(xiàn)結(jié)果可能與論文表格略有出入屬正?，F(xiàn)象建議以自己跑出的結(jié)果為準(zhǔn)。總結(jié)VSI-Bench 為多模態(tài)大模型的空間智能提供了可量化的評(píng)測標(biāo)準(zhǔn)而 evaluate_all_in_one.sh 則把評(píng)測門檻降到了一條命令。無論你是想復(fù)現(xiàn)論文結(jié)果、橫向?qū)Ρ戎髁髂Ｐ瓦€是驗(yàn)證自己微調(diào)的視頻模型克隆倉庫后按本教程三步操作即可快速上手 VSI-Bench 一鍵評(píng)測?，F(xiàn)在就動(dòng)手看看你手上的模型到底懂不懂空間吧【免費(fèi)下載鏈接】thinking-in-spaceOfficial repo and evaluation implementation of VSI-Bench項(xiàng)目地址: https://gitcode.com/gh_mirrors/th/thinking-in-space創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 一條命令跑通VSI-Bench：evaluate_all_in_one.sh實(shí)戰(zhàn)教程（16款模型一鍵評(píng)測）
一條命令跑通VSI-Benchevaluate_all_in_one.sh實(shí)戰(zhàn)教程16款模型一鍵評(píng)測【免費(fèi)下載鏈接】thinking-in-spaceOfficial repo and evaluation implementation of VSI-Bench項(xiàng)目地址: https://gitcode.com/gh_mirrors/th/thinking-in-spaceVSI-Bench是CVPR 2025 Oral論文《Thinking in Space》推出的多模態(tài)大模型空間智能評(píng)測基準(zhǔn)專門檢驗(yàn)?zāi)Ｐ湍芊駨牡谝灰暯且曨l中看懂、記住并回憶三維空間。本教程將帶你用一條命令跑通VSI-Bench評(píng)測官方一鍵腳本evaluate_all_in_one.sh內(nèi)置16款主流模型的完整配置從GPT-4o、Gemini等閉源API模型到LLaVA-OneVision、InternVL2、LongVA等開源模型全覆蓋無需手寫任何評(píng)測參數(shù)克隆倉庫、裝好環(huán)境、敲一行命令即可開跑。什么是VSI-Bench多模態(tài)大模型的空間智能考卷傳統(tǒng)視頻問答評(píng)測只考看到了什么而VSI-Bench更進(jìn)一步考的是空間智能看完一段室內(nèi)第一視角視頻后模型能否像人類一樣在大腦中構(gòu)建認(rèn)知地圖能否回答沙發(fā)和電視距離多遠(yuǎn)從廁所到廚房怎么走房間里有幾張椅子這類問題VSI-Bench的數(shù)據(jù)規(guī)模與覆蓋面相當(dāng)扎實(shí)5000 問答對(duì)來自288 段第一視角視頻視頻取自ScanNet、ScanNet、ARKitScenes三大公開室內(nèi)3D重建數(shù)據(jù)集的驗(yàn)證集共8 類任務(wù)歸為三大類型構(gòu)型任務(wù)Configuration、測量估計(jì)Measurement、時(shí)空任務(wù)SpatioTemporal。evaluate_all_in_one.sh16款模型一鍵評(píng)測的秘密很多評(píng)測框架的痛點(diǎn)在于每個(gè)模型要單獨(dú)寫模型參數(shù)、提示詞模板和batch配置光調(diào)試就耗掉大半天。而evaluate_all_in_one.sh把這些全部封裝好了——腳本內(nèi)部為每款模型預(yù)置了完整的model_family和model_args映射你只需告訴它評(píng)測哪個(gè)模型剩下的交給腳本。腳本共內(nèi)置16 款模型覆蓋 8 個(gè)模型家族模型別名模型家族規(guī)格類型gemini_1p5_flash/gemini_1p5_pro_002/gemini_2p0_flash_expGemini API1.5 Flash / 1.5 Pro / 2.0 Flash閉源APIgpt_4o_2024_08_06_f16GPT-4o4o16幀閉源APIllava_one_vision_qwen2_0p5b_ov_32f/_7b_/_72b_LLaVA-OneVision0.5B / 7B / 72B開源llava_next_video_7b_qwen2_32f/_72b_LLaVA-NeXT-Video7B / 72B開源llama3_vila1p5_8b_32f/_40b_VILA8B / 40B開源llama3_longvila_8b_128frames_32fLongVILA8B128幀長視頻開源longva_7b_32fLongVA7B開源internvl2_2b_8f/_8b_/_40b_InternVL22B / 8B / 40B開源參數(shù)--model all時(shí)默認(rèn)跑其中 8 款開源模型無需API Key即可本地評(píng)測其余模型按需指定。VSI-Bench安裝步驟三步搭好評(píng)測環(huán)境第一步克隆倉庫并初始化子模塊倉庫包含transformers子模塊評(píng)測依賴的定制版本務(wù)必初始化git clone https://gitcode.com/gh_mirrors/th/thinking-in-space cd thinking-in-space git submodule update --init --recursive第二步創(chuàng)建Python環(huán)境并安裝依賴conda create --name vsibench python3.10 conda activate vsibench cd transformers pip install -e . cd .. pip install -e . pip install deepspeed第三步準(zhǔn)備API Key僅評(píng)測閉源模型時(shí)需要評(píng)測 Gemini 和 GPT-4o 前在腳本開頭填入密鑰見evaluate_all_in_one.sh第12-13行export OPENAI_API_KEY你的OpenAI密鑰 export GOOGLE_API_KEY你的Gemini密鑰一條命令開始VSI-Bench模型評(píng)測環(huán)境就緒后評(píng)測就是這么簡單bash evaluate_all_in_one.sh --model all --num_processes 8 --benchmark vsibench--model all一鍵跑完默認(rèn) 8 款開源模型--num_processes 8并行進(jìn)程數(shù)按你的 GPU 顯存調(diào)整--benchmark vsibench評(píng)測任務(wù)名當(dāng)前默認(rèn)值可省略。想先小范圍驗(yàn)證流程是否通暢加上--limit參數(shù)只評(píng)測前 20 條樣本幾分鐘即可看到結(jié)果bash evaluate_all_in_one.sh --model llava_one_vision_qwen2_0p5b_ov_32f --limit 20想對(duì)比多款指定模型模型名用逗號(hào)分隔即可bash evaluate_all_in_one.sh --model gemini_1p5_pro_002,gpt_4o_2024_08_06_f16常用參數(shù)詳解定制你的VSI-Bench評(píng)測evaluate_all_in_one.sh還支持幾個(gè)實(shí)用參數(shù)方便你靈活定制評(píng)測--num_processes加速并行進(jìn)程數(shù)默認(rèn) 4顯存充足可調(diào)大72B/40B 大模型腳本會(huì)自動(dòng)降為 1--num_frames視頻采樣幀數(shù)默認(rèn) 32 幀InternVL2 系列固定 8 幀--output_path結(jié)果輸出目錄默認(rèn)logs/日期按美東時(shí)間命名--limit限制評(píng)測樣本數(shù)適合快速調(diào)試。模型與任務(wù)的綁定關(guān)系、提示詞模板等邏輯分別定義在評(píng)測配置 vsibench.yaml 和評(píng)測邏輯 utils.py 中各模型家族的接入實(shí)現(xiàn)可參考 gemini_api.py、gpt4v.py、vila.py、longva.py、internvl2.py 等文件?？炊u(píng)測結(jié)果準(zhǔn)確率與MRA兩大指標(biāo)VSI-Bench 的 8 類任務(wù)采用兩套評(píng)測指標(biāo)跑完會(huì)自動(dòng)輸出綜合得分MCA 選擇題任務(wù)相對(duì)方向、相對(duì)距離、路線規(guī)劃、出現(xiàn)順序用準(zhǔn)確率Accuracy評(píng)估要求模型直接輸出選項(xiàng)字母NA 數(shù)值題任務(wù)絕對(duì)距離、物體計(jì)數(shù)、物體大小、房間大小用官方提出的MRAMean Relative Accuracy平均相對(duì)準(zhǔn)確率評(píng)估衡量模型預(yù)測值與真實(shí)值的相對(duì)誤差。最終結(jié)果以overall綜合分呈現(xiàn)并按 8 類任務(wù)逐項(xiàng)打分方便你橫向?qū)Ρ雀髂Ｐ偷目臻g智能水平。常見問題與避坑指南Q1--model all會(huì)評(píng)測閉源API模型嗎不會(huì)。all默認(rèn)只跑 8 款開源模型閉源模型需在腳本中填好 API Key 后顯式指定名稱。Q2評(píng)測到一半顯存爆了怎么辦調(diào)小--num_processes或改用更小規(guī)格的模型如internvl2_2b_8f、llava_one_vision_qwen2_0p5b_ov_32f。Q3結(jié)果輸出到哪里默認(rèn)在logs/當(dāng)天日期/vsibench/目錄下按模型名分別保存日志與樣本結(jié)果方便對(duì)比復(fù)現(xiàn)。Q4開源模型結(jié)果和論文表格有差異官方說明指出由于數(shù)據(jù)后期精修開源模型復(fù)現(xiàn)結(jié)果可能與論文表格略有出入屬正?，F(xiàn)象建議以自己跑出的結(jié)果為準(zhǔn)。總結(jié)VSI-Bench 為多模態(tài)大模型的空間智能提供了可量化的評(píng)測標(biāo)準(zhǔn)而 evaluate_all_in_one.sh 則把評(píng)測門檻降到了一條命令。無論你是想復(fù)現(xiàn)論文結(jié)果、橫向?qū)Ρ戎髁髂Ｐ瓦€是驗(yàn)證自己微調(diào)的視頻模型克隆倉庫后按本教程三步操作即可快速上手 VSI-Bench 一鍵評(píng)測?，F(xiàn)在就動(dòng)手看看你手上的模型到底懂不懂空間吧【免費(fèi)下載鏈接】thinking-in-spaceOfficial repo and evaluation implementation of VSI-Bench項(xiàng)目地址: https://gitcode.com/gh_mirrors/th/thinking-in-space創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考