跑通首次基準(zhǔn)評測)
【免費(fèi)下載鏈接】XL-DocBench項目地址https://ai.gitcode.com/hf_mirrors/microsoft/XL-DocBench點(diǎn)擊查看免費(fèi)下載XL-DocBench 是一個面向超長文檔理解Extra-Long Document Understanding的基準(zhǔn)評測數(shù)據(jù)集包含 292 份真實(shí)專業(yè)文檔和 1,345 道經(jīng) 194 位人類專家逐條核驗的問答題。它要求系統(tǒng)不僅讀懂文檔還要找到證據(jù)、組合多方支撐、適用正確規(guī)則并知道何時該拒答。本教程帶你用一條命令、約 5 分鐘的時間完成從獲取數(shù)據(jù)到跑通首次基準(zhǔn)評測的完整流程。為什么選擇 XL-DocBench與常見的短文檔問答基準(zhǔn)不同XL-DocBench 考察的是數(shù)百甚至數(shù)千頁文檔下的證據(jù)推理能力非常適合用來檢驗?zāi)愕拈L上下文模型或 RAG 系統(tǒng)。本次保守發(fā)布版strict release的關(guān)鍵數(shù)據(jù)指標(biāo)數(shù)量文檔總數(shù)292 份完整序列上下文最多達(dá) 2,935 頁單文檔問答1,191 題跨文檔問答154 題2–12 份文檔聯(lián)合上下文專家核驗問題1,345 題需多頁證據(jù)的題目76.2%要求回答 None 的題目188 題考驗拒答能力題目覆蓋金融、法律、醫(yī)療、理工、學(xué)術(shù)、文學(xué)六大專業(yè)領(lǐng)域。當(dāng)前公開榜單上最強(qiáng)系統(tǒng) GPT-5.4 的 Accuracy 也只有38.36滿分 100可見難度之高。倉庫結(jié)構(gòu)速覽 ?在開始之前先了解你即將打交道的幾個文件文件說明data/documents.jsonl292 份文檔的元數(shù)據(jù)與公開 URLdata/qa_single_doc.jsonl單文檔問答題目data/qa_cross_doc.jsonl跨文檔問答題目code/quickstart.py一條命令的數(shù)據(jù)評測冒煙測試code/evaluate.py獨(dú)立的確定性評測器零依賴manifest.json發(fā)布統(tǒng)計信息與文件清單results/scores.jsonl13 個可復(fù)現(xiàn)系統(tǒng)的逐題得分一條命令跑通首次評測分步指南 第 1 步獲取數(shù)據(jù)約 1 分鐘在終端中執(zhí)行以下命令克隆倉庫git clone https://gitcode.com/hf_mirrors/microsoft/XL-DocBench cd XL-DocBench 所有腳本僅依賴 Python 標(biāo)準(zhǔn)庫無需安裝任何第三方包。推薦使用uv來運(yùn)行省去環(huán)境配置。第 2 步運(yùn)行冒煙測試核心一條命令uv run --no-project python code/quickstart.py這一條命令會一口氣完成四件事校驗三份數(shù)據(jù)表與 ID 唯一性、核對證據(jù)頁元數(shù)據(jù)、檢查逐題得分覆蓋是否完整、并運(yùn)行一個 5 題的評測示例。看到如下輸出就說明環(huán)境完全就緒XL-DocBench smoke test: PASS data: 292 documents, 1,345 QA (1,191 single 154 cross) evidence items: 3,044 per-question scores: 13 systems sample metrics: Accuracy100.0, F1100.0, ANLS100.0? 看到PASS即代表數(shù)據(jù)完整、評測器工作正常。示例中滿分是因為內(nèi)置了 5 條完美預(yù)測。第 3 步快速瀏覽數(shù)據(jù)可選uv run --no-project python code/examples/load_data.py該腳本會加載全部三張 JSONL 表并打印文檔數(shù)、題目數(shù)以及第一道問題幫助你直觀感受數(shù)據(jù)長什么樣。示例記錄格式可參考 schema/release_format_sample.json。第 4 步用內(nèi)置示例跑一次真實(shí)評測官方內(nèi)置了一組 5 題示例gold 標(biāo)注 預(yù)測結(jié)果直接運(yùn)行uv run --no-project python code/evaluate.py \ --gold-files code/examples/gold_sample.jsonl \ --predictions code/examples/predictions_sample.jsonl示例文件見 code/examples/gold_sample.jsonl 與 code/examples/predictions_sample.jsonl。這一步走通了離跑完整 1,345 題就只差把真實(shí)預(yù)測接進(jìn)來。評測指標(biāo)解讀三個數(shù)字分別代表什么evaluate.py 報告三個確定性指標(biāo)均為規(guī)則式打分不調(diào)用任何模型Accuracy寬松準(zhǔn)確率預(yù)測與標(biāo)準(zhǔn)答案經(jīng)過歸一化后精確匹配才算對衡量答對的硬指標(biāo)Token F1按 token 粒度計算 F1答對一部分也能拿到部分分更平滑ANLS容錯版準(zhǔn)確率允許答案存在輕微字符差異。?? 注意缺失、失敗或無法解析的預(yù)測一律計為錯誤除非顯式啟用--ignore-missing參數(shù)。如何評測自己的模型讓模型回答 1,345 道題后把結(jié)果整理成 JSONL每題一行格式如下預(yù)測字段也接受model_answer、answer、response、output等別名{question_id: adubench_single_000001, prediction: the biggest single risk to human health worldwide} {question_id: adubench_cross_000001, prediction: macroprudential measures}然后執(zhí)行uv run --no-project python code/evaluate.py \ --predictions predictions.jsonl \ --output eval_report.json \ --per-question-csv per_question.csv產(chǎn)出整體報告eval_report.json和逐題明細(xì)per_question.csv。你可以直接將自己的成績與 results/summary.json 中 13 個已發(fā)布系統(tǒng)對比——榜單第一名 GPT-5.4OCR 輸入的 Accuracy 為 38.36這是一個值得瞄準(zhǔn)的起點(diǎn)。常見問題 FAQ Q1沒有安裝uv怎么辦所有腳本只用 Python 標(biāo)準(zhǔn)庫可直接用系統(tǒng) Python 替代python3 code/quickstart.pyQ2冒煙測試報 FAIL 了錯誤信息會明確指出失敗原因如Missing release file、Duplicate document_id。最常見原因是數(shù)據(jù)文件不完整重新克隆倉庫即可。Q3倉庫里為什么沒有 PDF出于版權(quán)考慮本次發(fā)布僅包含文檔的公開 URL 與元數(shù)據(jù)見 data/documents.jsonl不重分發(fā)第三方 PDF。Q4evidence_pages的頁碼是什么含義使用從 1 開始的 PDF 頁索引而證據(jù)項evidence item中的頁碼保留標(biāo)注員原始引用印刷頁碼可能與 PDF 頁索引不同manifest.json 中有完整說明。寫在最后從克隆倉庫到跑通首次評測整個流程只需要一條核心命令uv run --no-project python code/quickstart.py接下來你可以① 用 code/examples/load_data.py 深入瀏覽題目② 接入自己的長上下文模型或 RAG 系統(tǒng)③ 用 code/evaluate.py 完成全部 1,345 題的評測看看你的系統(tǒng)能否超越當(dāng)前榜首。祝評測順利贊分享【免費(fèi)下載鏈接】XL-DocBench項目地址https://ai.gitcode.com/hf_mirrors/microsoft/XL-DocBench點(diǎn)擊查看免費(fèi)下載相關(guān)推薦如何快速上手Omni Parse Bench10分鐘跑通你的第一次文檔解析基準(zhǔn)評測安裝與opb命令教程如何快速上手Omni Parse Bench10分鐘跑通你的第一次文檔解析基準(zhǔn)評測安裝與opb命令教程 Omni Parse Bench 是 Datala數(shù)據(jù)集AI 評測OCR數(shù)據(jù)標(biāo)注5分鐘跑通第一次推理Qwen3-4B-Instruct_rai_1.8.0_medusa_1.0_npu快速入門教程5分鐘跑通第一次推理Qwen3 4B Instruct_rai_1.8.0_medusa_1.0_npu快速入門教程 Qwen3 4B Instruct_ra5分鐘跑通Backburner一條命令部署MaciPhone雙機(jī)推理環(huán)境的快速入門教程5分鐘跑通Backburner一條命令部署MaciPhone雙機(jī)推理環(huán)境的快速入門教程 Backburner 通過一根 USB C 線讓你的 iPhone上一篇japicmp過濾功能全攻略如何精確控制比較范圍包/類/方法/注解下一篇WebGazer.js革命性眼動追蹤如何用普通攝像頭實(shí)現(xiàn)網(wǎng)頁用戶行為分析創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 XL-DocBench快速入門教程：一條命令如何在5分鐘內(nèi)跑通首次基準(zhǔn)評測
【免費(fèi)下載鏈接】XL-DocBench項目地址https://ai.gitcode.com/hf_mirrors/microsoft/XL-DocBench點(diǎn)擊查看免費(fèi)下載XL-DocBench 是一個面向超長文檔理解Extra-Long Document Understanding的基準(zhǔn)評測數(shù)據(jù)集包含 292 份真實(shí)專業(yè)文檔和 1,345 道經(jīng) 194 位人類專家逐條核驗的問答題。它要求系統(tǒng)不僅讀懂文檔還要找到證據(jù)、組合多方支撐、適用正確規(guī)則并知道何時該拒答。本教程帶你用一條命令、約 5 分鐘的時間完成從獲取數(shù)據(jù)到跑通首次基準(zhǔn)評測的完整流程。為什么選擇 XL-DocBench與常見的短文檔問答基準(zhǔn)不同XL-DocBench 考察的是數(shù)百甚至數(shù)千頁文檔下的證據(jù)推理能力非常適合用來檢驗?zāi)愕拈L上下文模型或 RAG 系統(tǒng)。本次保守發(fā)布版strict release的關(guān)鍵數(shù)據(jù)指標(biāo)數(shù)量文檔總數(shù)292 份完整序列上下文最多達(dá) 2,935 頁單文檔問答1,191 題跨文檔問答154 題2–12 份文檔聯(lián)合上下文專家核驗問題1,345 題需多頁證據(jù)的題目76.2%要求回答 None 的題目188 題考驗拒答能力題目覆蓋金融、法律、醫(yī)療、理工、學(xué)術(shù)、文學(xué)六大專業(yè)領(lǐng)域。當(dāng)前公開榜單上最強(qiáng)系統(tǒng) GPT-5.4 的 Accuracy 也只有38.36滿分 100可見難度之高。倉庫結(jié)構(gòu)速覽 ?在開始之前先了解你即將打交道的幾個文件文件說明data/documents.jsonl292 份文檔的元數(shù)據(jù)與公開 URLdata/qa_single_doc.jsonl單文檔問答題目data/qa_cross_doc.jsonl跨文檔問答題目code/quickstart.py一條命令的數(shù)據(jù)評測冒煙測試code/evaluate.py獨(dú)立的確定性評測器零依賴manifest.json發(fā)布統(tǒng)計信息與文件清單results/scores.jsonl13 個可復(fù)現(xiàn)系統(tǒng)的逐題得分一條命令跑通首次評測分步指南 第 1 步獲取數(shù)據(jù)約 1 分鐘在終端中執(zhí)行以下命令克隆倉庫git clone https://gitcode.com/hf_mirrors/microsoft/XL-DocBench cd XL-DocBench 所有腳本僅依賴 Python 標(biāo)準(zhǔn)庫無需安裝任何第三方包。推薦使用uv來運(yùn)行省去環(huán)境配置。第 2 步運(yùn)行冒煙測試核心一條命令uv run --no-project python code/quickstart.py這一條命令會一口氣完成四件事校驗三份數(shù)據(jù)表與 ID 唯一性、核對證據(jù)頁元數(shù)據(jù)、檢查逐題得分覆蓋是否完整、并運(yùn)行一個 5 題的評測示例。看到如下輸出就說明環(huán)境完全就緒XL-DocBench smoke test: PASS data: 292 documents, 1,345 QA (1,191 single 154 cross) evidence items: 3,044 per-question scores: 13 systems sample metrics: Accuracy100.0, F1100.0, ANLS100.0? 看到PASS即代表數(shù)據(jù)完整、評測器工作正常。示例中滿分是因為內(nèi)置了 5 條完美預(yù)測。第 3 步快速瀏覽數(shù)據(jù)可選uv run --no-project python code/examples/load_data.py該腳本會加載全部三張 JSONL 表并打印文檔數(shù)、題目數(shù)以及第一道問題幫助你直觀感受數(shù)據(jù)長什么樣。示例記錄格式可參考 schema/release_format_sample.json。第 4 步用內(nèi)置示例跑一次真實(shí)評測官方內(nèi)置了一組 5 題示例gold 標(biāo)注 預(yù)測結(jié)果直接運(yùn)行uv run --no-project python code/evaluate.py \ --gold-files code/examples/gold_sample.jsonl \ --predictions code/examples/predictions_sample.jsonl示例文件見 code/examples/gold_sample.jsonl 與 code/examples/predictions_sample.jsonl。這一步走通了離跑完整 1,345 題就只差把真實(shí)預(yù)測接進(jìn)來。評測指標(biāo)解讀三個數(shù)字分別代表什么evaluate.py 報告三個確定性指標(biāo)均為規(guī)則式打分不調(diào)用任何模型Accuracy寬松準(zhǔn)確率預(yù)測與標(biāo)準(zhǔn)答案經(jīng)過歸一化后精確匹配才算對衡量答對的硬指標(biāo)Token F1按 token 粒度計算 F1答對一部分也能拿到部分分更平滑ANLS容錯版準(zhǔn)確率允許答案存在輕微字符差異。?? 注意缺失、失敗或無法解析的預(yù)測一律計為錯誤除非顯式啟用--ignore-missing參數(shù)。如何評測自己的模型讓模型回答 1,345 道題后把結(jié)果整理成 JSONL每題一行格式如下預(yù)測字段也接受model_answer、answer、response、output等別名{question_id: adubench_single_000001, prediction: the biggest single risk to human health worldwide} {question_id: adubench_cross_000001, prediction: macroprudential measures}然后執(zhí)行uv run --no-project python code/evaluate.py \ --predictions predictions.jsonl \ --output eval_report.json \ --per-question-csv per_question.csv產(chǎn)出整體報告eval_report.json和逐題明細(xì)per_question.csv。你可以直接將自己的成績與 results/summary.json 中 13 個已發(fā)布系統(tǒng)對比——榜單第一名 GPT-5.4OCR 輸入的 Accuracy 為 38.36這是一個值得瞄準(zhǔn)的起點(diǎn)。常見問題 FAQ Q1沒有安裝uv怎么辦所有腳本只用 Python 標(biāo)準(zhǔn)庫可直接用系統(tǒng) Python 替代python3 code/quickstart.pyQ2冒煙測試報 FAIL 了錯誤信息會明確指出失敗原因如Missing release file、Duplicate document_id。最常見原因是數(shù)據(jù)文件不完整重新克隆倉庫即可。Q3倉庫里為什么沒有 PDF出于版權(quán)考慮本次發(fā)布僅包含文檔的公開 URL 與元數(shù)據(jù)見 data/documents.jsonl不重分發(fā)第三方 PDF。Q4evidence_pages的頁碼是什么含義使用從 1 開始的 PDF 頁索引而證據(jù)項evidence item中的頁碼保留標(biāo)注員原始引用印刷頁碼可能與 PDF 頁索引不同manifest.json 中有完整說明。寫在最后從克隆倉庫到跑通首次評測整個流程只需要一條核心命令uv run --no-project python code/quickstart.py接下來你可以① 用 code/examples/load_data.py 深入瀏覽題目② 接入自己的長上下文模型或 RAG 系統(tǒng)③ 用 code/evaluate.py 完成全部 1,345 題的評測看看你的系統(tǒng)能否超越當(dāng)前榜首。祝評測順利贊分享【免費(fèi)下載鏈接】XL-DocBench項目地址https://ai.gitcode.com/hf_mirrors/microsoft/XL-DocBench點(diǎn)擊查看免費(fèi)下載相關(guān)推薦如何快速上手Omni Parse Bench10分鐘跑通你的第一次文檔解析基準(zhǔn)評測安裝與opb命令教程如何快速上手Omni Parse Bench10分鐘跑通你的第一次文檔解析基準(zhǔn)評測安裝與opb命令教程 Omni Parse Bench 是 Datala數(shù)據(jù)集AI 評測OCR數(shù)據(jù)標(biāo)注5分鐘跑通第一次推理Qwen3-4B-Instruct_rai_1.8.0_medusa_1.0_npu快速入門教程5分鐘跑通第一次推理Qwen3 4B Instruct_rai_1.8.0_medusa_1.0_npu快速入門教程 Qwen3 4B Instruct_ra5分鐘跑通Backburner一條命令部署MaciPhone雙機(jī)推理環(huán)境的快速入門教程5分鐘跑通Backburner一條命令部署MaciPhone雙機(jī)推理環(huán)境的快速入門教程 Backburner 通過一根 USB C 線讓你的 iPhone上一篇japicmp過濾功能全攻略如何精確控制比較范圍包/類/方法/注解下一篇WebGazer.js革命性眼動追蹤如何用普通攝像頭實(shí)現(xiàn)網(wǎng)頁用戶行為分析創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考