庫(kù)完全指南：讓你的語音Agent基于自己的文檔回答)
為qwen-audio-agent搭建知識(shí)庫(kù)完全指南讓你的語音Agent基于自己的文檔回答【免費(fèi)下載鏈接】qwen-audio-agentA realtime voice runtime that keeps Agents talking, working, and present. Real-time Voice Runtime for AI Agents項(xiàng)目地址: https://gitcode.com/gh_mirrors/qw/qwen-audio-agentqwen-audio-agent 是一個(gè)面向 AI Agent 的實(shí)時(shí)語音運(yùn)行時(shí)讓語音助理能夠持續(xù)對(duì)話、持續(xù)工作、持續(xù)在線。它的知識(shí)庫(kù)功能可以讓你的語音 Agent 不再憑空回答而是基于你自己導(dǎo)入的文檔來檢索證據(jù)、組織答案——無論是產(chǎn)品手冊(cè)、公司內(nèi)部制度還是項(xiàng)目資料都能在語音對(duì)話中被直接問到。本文將帶你用最少的步驟完成從啟用知識(shí)庫(kù)、導(dǎo)入文檔到語音提問驗(yàn)證的完整流程并介紹如何接入 LightRAG 獲得更強(qiáng)的語義檢索能力。為什么語音 Agent 需要知識(shí)庫(kù)沒有知識(shí)庫(kù)時(shí)語音前臺(tái)Realtime Frontstage只能依靠模型的通用能力回答問題。而接入知識(shí)庫(kù)后整個(gè)鏈路變成你用麥克風(fēng)提問語音前臺(tái)判斷需要查證調(diào)用knowledge工具檢索知識(shí)庫(kù)返回命中的原文片段帶來源引用語音前臺(tái)基于這些片段組織回答并語音播報(bào)。這種設(shè)計(jì)的兩個(gè)好處回答有據(jù)可查檢索結(jié)果會(huì)被標(biāo)注為不可信數(shù)據(jù)并由前臺(tái)統(tǒng)一規(guī)范化避免編造文檔內(nèi)容知識(shí)庫(kù)可替換系統(tǒng)只依賴一個(gè)輕量的KnowledgeProvider接口你可以用內(nèi)置的本機(jī)資料庫(kù)也可以接企業(yè)已有的 RAG 系統(tǒng)而無需改動(dòng)語音前臺(tái)。完整接口說明見 知識(shí)庫(kù) Provider。一鍵啟用開啟內(nèi)置知識(shí)庫(kù)內(nèi)置資料庫(kù)使用輕量本地關(guān)鍵詞檢索不需要向量數(shù)據(jù)庫(kù)也不需要 Embedding 模型是新手最省心的起點(diǎn)。第 1 步修改 Gateway 使用的config.envQWEN_AUDIO_DOMAIN_LIBRARYon這個(gè)變量在 .env.example 中有對(duì)應(yīng)注釋說明開啟后如果沒有另外注入自定義的knowledgeProvider內(nèi)置的本機(jī)資料庫(kù)會(huì)自動(dòng)成為知識(shí)庫(kù) Provider。第 2 步確認(rèn)知識(shí)工具未被顯式關(guān)閉如果你之前設(shè)置過QWEN_AUDIO_KNOWLEDGE_TOOL_ENABLEDfalse請(qǐng)恢復(fù)為true或刪掉這一行。否則會(huì)出現(xiàn)資料能導(dǎo)入、但語音前臺(tái)沒有檢索工具的情況。第 3 步重啟 Gateway按照你的運(yùn)行方式重啟即可桌面端、TUI 或獨(dú)立 Gateway 進(jìn)程。重啟后語音 Provider 需支持工具調(diào)用知識(shí)庫(kù)工具才會(huì)注冊(cè)生效。詳細(xì)步驟可參考官方文檔 知識(shí)庫(kù)指南。導(dǎo)入文檔支持哪些格式Gateway 啟動(dòng)后打開WebUI連接同一個(gè) Gateway點(diǎn)擊頁面頂部的知識(shí)庫(kù) / Knowledge Library面板對(duì)應(yīng)源碼 KnowledgeLibraryPanel.jsx粘貼一個(gè)Gateway 主機(jī)上的絕對(duì)文件路徑例如/Users/me/Documents/handbook.md點(diǎn)擊Add to library加入資料庫(kù)等待導(dǎo)入完成文檔出現(xiàn)在列表中后就可以開始提問了。 小提示路徑管理器復(fù)制來的帶引號(hào)路徑、file://形式的 URL 也支持但都指向 Gateway 所在主機(jī)的文件。它不是文件上傳器——手機(jī)上的文件路徑對(duì)電腦無效請(qǐng)先將文檔放到 Gateway 主機(jī)上。不同格式的處理方式文件類型處理方式Markdown、TXT 等純文本直接導(dǎo)入本機(jī)資料目錄無需后臺(tái) AgentPDF、Word、PPT 等復(fù)雜文檔由已配置的后臺(tái) Agent 在隔離會(huì)話中轉(zhuǎn)換為 Markdown 后入庫(kù)如果系統(tǒng)里沒有可用的后臺(tái) Agent 或隔離執(zhí)行能力純文本文件仍可正常導(dǎo)入復(fù)雜文檔則會(huì)明確提示當(dāng)前沒有可用轉(zhuǎn)換器此時(shí)你可以先把文檔手動(dòng)轉(zhuǎn)成 Markdown 或 TXT 再導(dǎo)入。幾個(gè)實(shí)用限制內(nèi)置資料庫(kù)默認(rèn)最多容納40 篇文檔達(dá)到上限時(shí)會(huì)提示你清理而不是悄悄丟棄舊文檔刪除只刪除資料庫(kù)中的副本和可檢索內(nèi)容不會(huì)動(dòng)原始文件源文件更新后不會(huì)自動(dòng)同步需要重新導(dǎo)入。語音提問驗(yàn)證知識(shí)庫(kù)是否生效導(dǎo)入完成后直接用自然語言提問即可。建議的問法是把查資料庫(kù)作為前綴例如搜一下資料庫(kù)手冊(cè)里關(guān)于發(fā)布流程是怎么說的內(nèi)置的關(guān)鍵詞檢索會(huì)掃描文檔的標(biāo)題與正文塊返回命中的原文片段再由語音前臺(tái)組織成自然回答。如果檢索效果不理想可以試試使用文檔里出現(xiàn)過的原詞提問關(guān)鍵詞檢索對(duì)同義替換不敏感把問題問得更具體而不是大而全的概括式提問。?? 注意如果你使用的是云端語音模型檢索到的原文片段會(huì)作為上下文發(fā)送給該模型參與回答。導(dǎo)入敏感文檔前請(qǐng)確認(rèn)模型服務(wù)符合你的數(shù)據(jù)合規(guī)要求。進(jìn)階玩法接入 LightRAG 獲得語義與圖譜檢索內(nèi)置資料庫(kù)是關(guān)鍵詞檢索適合中小規(guī)模文檔。如果你需要完整的語義檢索 知識(shí)圖譜倉(cāng)庫(kù)提供了一個(gè)完整的外部知識(shí)庫(kù)接入示例examples/lightrag。它的工作方式組件職責(zé)qwen-audio-agent Gateway實(shí)時(shí)語音對(duì)話、知識(shí)工具、入庫(kù)任務(wù)生命周期LightRAG Provider示例代碼把 LightRAG API 映射為通用KnowledgeProvider接口你獨(dú)立運(yùn)行的 LightRAG Server文檔解析、切分、Embedding、圖譜與檢索核心流程用uv tool install lightrag-hku[api]安裝并啟動(dòng) LightRAG Server → 在 examples/lightrag/.env.local 中填寫LIGHTRAG_URL、LIGHTRAG_API_KEY等配置 → 運(yùn)行示例 Gatewaynode --env-fileexamples/lightrag/.env.local examples/lightrag/gateway.mjs→ 打開 WebUI 的資料庫(kù)面板導(dǎo)入文件等待索引完成即可語音查詢。接入代碼入口見 gateway.mjs它在創(chuàng)建 Gateway 應(yīng)用時(shí)只替換了knowledgeProvider其余語音鏈路完全不變——這正是 Provider 抽象的價(jià)值換知識(shí)庫(kù)不改語音前臺(tái)。更多可替換方案LangChain、LlamaIndex、Haystack、企業(yè) RAG 服務(wù)、MCP/HTTP見 Knowledge Provider 接口文檔。常見問題 FAQ問知識(shí)庫(kù)數(shù)據(jù)存在哪里內(nèi)置資料庫(kù)的數(shù)據(jù)存放在 Gateway 主機(jī)本地的共享數(shù)據(jù)目錄中不依賴任何外部數(shù)據(jù)庫(kù)。問桌面端小球Desktop Orb為什么沒有知識(shí)庫(kù)管理入口目前資料庫(kù)管理入口只在 WebUI 中提供桌面端和會(huì)話面板暫未開放該按鈕。請(qǐng)用 WebUI 管理文檔。問知識(shí)工具為什么沒生效按順序檢查①Q(mào)WEN_AUDIO_DOMAIN_LIBRARYon是否已設(shè)置并重啟②QWEN_AUDIO_KNOWLEDGE_TOOL_ENABLED是否被設(shè)為false③ 語音 Provider 是否支持工具調(diào)用。問想刪掉某篇文檔怎么辦在 WebUI 資料庫(kù)面板點(diǎn)擊 Remove刪除的是資料庫(kù)副本原始文件不受影響。相關(guān)文件速查內(nèi)容路徑知識(shí)庫(kù)使用指南中文docs/guides/knowledge.zh.mdKnowledge Provider 接口參考docs/reference/knowledge.zh.md內(nèi)置知識(shí)庫(kù)服務(wù)實(shí)現(xiàn)server/src/knowledge/LightRAG 接入示例examples/lightrag/WebUI 資料庫(kù)面板web/src/KnowledgeLibraryPanel.jsx環(huán)境變量模板.env.example按照以上步驟你只需要一個(gè)QWEN_AUDIO_DOMAIN_LIBRARYon的配置項(xiàng)和幾次點(diǎn)擊就能讓語音 Agent 真正讀懂你的文檔。當(dāng)文檔規(guī)模增長(zhǎng)或需要語義級(jí)檢索時(shí)再平滑升級(jí)到 LightRAG 等外部知識(shí)系統(tǒng)即可?！久赓M(fèi)下載鏈接】qwen-audio-agentA realtime voice runtime that keeps Agents talking, working, and present. Real-time Voice Runtime for AI Agents項(xiàng)目地址: https://gitcode.com/gh_mirrors/qw/qwen-audio-agent創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 為qwen-audio-agent搭建知識(shí)庫(kù)完全指南：讓你的語音Agent基于自己的文檔回答
為qwen-audio-agent搭建知識(shí)庫(kù)完全指南讓你的語音Agent基于自己的文檔回答【免費(fèi)下載鏈接】qwen-audio-agentA realtime voice runtime that keeps Agents talking, working, and present. Real-time Voice Runtime for AI Agents項(xiàng)目地址: https://gitcode.com/gh_mirrors/qw/qwen-audio-agentqwen-audio-agent 是一個(gè)面向 AI Agent 的實(shí)時(shí)語音運(yùn)行時(shí)讓語音助理能夠持續(xù)對(duì)話、持續(xù)工作、持續(xù)在線。它的知識(shí)庫(kù)功能可以讓你的語音 Agent 不再憑空回答而是基于你自己導(dǎo)入的文檔來檢索證據(jù)、組織答案——無論是產(chǎn)品手冊(cè)、公司內(nèi)部制度還是項(xiàng)目資料都能在語音對(duì)話中被直接問到。本文將帶你用最少的步驟完成從啟用知識(shí)庫(kù)、導(dǎo)入文檔到語音提問驗(yàn)證的完整流程并介紹如何接入 LightRAG 獲得更強(qiáng)的語義檢索能力。為什么語音 Agent 需要知識(shí)庫(kù)沒有知識(shí)庫(kù)時(shí)語音前臺(tái)Realtime Frontstage只能依靠模型的通用能力回答問題。而接入知識(shí)庫(kù)后整個(gè)鏈路變成你用麥克風(fēng)提問語音前臺(tái)判斷需要查證調(diào)用knowledge工具檢索知識(shí)庫(kù)返回命中的原文片段帶來源引用語音前臺(tái)基于這些片段組織回答并語音播報(bào)。這種設(shè)計(jì)的兩個(gè)好處回答有據(jù)可查檢索結(jié)果會(huì)被標(biāo)注為不可信數(shù)據(jù)并由前臺(tái)統(tǒng)一規(guī)范化避免編造文檔內(nèi)容知識(shí)庫(kù)可替換系統(tǒng)只依賴一個(gè)輕量的KnowledgeProvider接口你可以用內(nèi)置的本機(jī)資料庫(kù)也可以接企業(yè)已有的 RAG 系統(tǒng)而無需改動(dòng)語音前臺(tái)。完整接口說明見 知識(shí)庫(kù) Provider。一鍵啟用開啟內(nèi)置知識(shí)庫(kù)內(nèi)置資料庫(kù)使用輕量本地關(guān)鍵詞檢索不需要向量數(shù)據(jù)庫(kù)也不需要 Embedding 模型是新手最省心的起點(diǎn)。第 1 步修改 Gateway 使用的config.envQWEN_AUDIO_DOMAIN_LIBRARYon這個(gè)變量在 .env.example 中有對(duì)應(yīng)注釋說明開啟后如果沒有另外注入自定義的knowledgeProvider內(nèi)置的本機(jī)資料庫(kù)會(huì)自動(dòng)成為知識(shí)庫(kù) Provider。第 2 步確認(rèn)知識(shí)工具未被顯式關(guān)閉如果你之前設(shè)置過QWEN_AUDIO_KNOWLEDGE_TOOL_ENABLEDfalse請(qǐng)恢復(fù)為true或刪掉這一行。否則會(huì)出現(xiàn)資料能導(dǎo)入、但語音前臺(tái)沒有檢索工具的情況。第 3 步重啟 Gateway按照你的運(yùn)行方式重啟即可桌面端、TUI 或獨(dú)立 Gateway 進(jìn)程。重啟后語音 Provider 需支持工具調(diào)用知識(shí)庫(kù)工具才會(huì)注冊(cè)生效。詳細(xì)步驟可參考官方文檔 知識(shí)庫(kù)指南。導(dǎo)入文檔支持哪些格式Gateway 啟動(dòng)后打開WebUI連接同一個(gè) Gateway點(diǎn)擊頁面頂部的知識(shí)庫(kù) / Knowledge Library面板對(duì)應(yīng)源碼 KnowledgeLibraryPanel.jsx粘貼一個(gè)Gateway 主機(jī)上的絕對(duì)文件路徑例如/Users/me/Documents/handbook.md點(diǎn)擊Add to library加入資料庫(kù)等待導(dǎo)入完成文檔出現(xiàn)在列表中后就可以開始提問了。 小提示路徑管理器復(fù)制來的帶引號(hào)路徑、file://形式的 URL 也支持但都指向 Gateway 所在主機(jī)的文件。它不是文件上傳器——手機(jī)上的文件路徑對(duì)電腦無效請(qǐng)先將文檔放到 Gateway 主機(jī)上。不同格式的處理方式文件類型處理方式Markdown、TXT 等純文本直接導(dǎo)入本機(jī)資料目錄無需后臺(tái) AgentPDF、Word、PPT 等復(fù)雜文檔由已配置的后臺(tái) Agent 在隔離會(huì)話中轉(zhuǎn)換為 Markdown 后入庫(kù)如果系統(tǒng)里沒有可用的后臺(tái) Agent 或隔離執(zhí)行能力純文本文件仍可正常導(dǎo)入復(fù)雜文檔則會(huì)明確提示當(dāng)前沒有可用轉(zhuǎn)換器此時(shí)你可以先把文檔手動(dòng)轉(zhuǎn)成 Markdown 或 TXT 再導(dǎo)入。幾個(gè)實(shí)用限制內(nèi)置資料庫(kù)默認(rèn)最多容納40 篇文檔達(dá)到上限時(shí)會(huì)提示你清理而不是悄悄丟棄舊文檔刪除只刪除資料庫(kù)中的副本和可檢索內(nèi)容不會(huì)動(dòng)原始文件源文件更新后不會(huì)自動(dòng)同步需要重新導(dǎo)入。語音提問驗(yàn)證知識(shí)庫(kù)是否生效導(dǎo)入完成后直接用自然語言提問即可。建議的問法是把查資料庫(kù)作為前綴例如搜一下資料庫(kù)手冊(cè)里關(guān)于發(fā)布流程是怎么說的內(nèi)置的關(guān)鍵詞檢索會(huì)掃描文檔的標(biāo)題與正文塊返回命中的原文片段再由語音前臺(tái)組織成自然回答。如果檢索效果不理想可以試試使用文檔里出現(xiàn)過的原詞提問關(guān)鍵詞檢索對(duì)同義替換不敏感把問題問得更具體而不是大而全的概括式提問。?? 注意如果你使用的是云端語音模型檢索到的原文片段會(huì)作為上下文發(fā)送給該模型參與回答。導(dǎo)入敏感文檔前請(qǐng)確認(rèn)模型服務(wù)符合你的數(shù)據(jù)合規(guī)要求。進(jìn)階玩法接入 LightRAG 獲得語義與圖譜檢索內(nèi)置資料庫(kù)是關(guān)鍵詞檢索適合中小規(guī)模文檔。如果你需要完整的語義檢索 知識(shí)圖譜倉(cāng)庫(kù)提供了一個(gè)完整的外部知識(shí)庫(kù)接入示例examples/lightrag。它的工作方式組件職責(zé)qwen-audio-agent Gateway實(shí)時(shí)語音對(duì)話、知識(shí)工具、入庫(kù)任務(wù)生命周期LightRAG Provider示例代碼把 LightRAG API 映射為通用KnowledgeProvider接口你獨(dú)立運(yùn)行的 LightRAG Server文檔解析、切分、Embedding、圖譜與檢索核心流程用uv tool install lightrag-hku[api]安裝并啟動(dòng) LightRAG Server → 在 examples/lightrag/.env.local 中填寫LIGHTRAG_URL、LIGHTRAG_API_KEY等配置 → 運(yùn)行示例 Gatewaynode --env-fileexamples/lightrag/.env.local examples/lightrag/gateway.mjs→ 打開 WebUI 的資料庫(kù)面板導(dǎo)入文件等待索引完成即可語音查詢。接入代碼入口見 gateway.mjs它在創(chuàng)建 Gateway 應(yīng)用時(shí)只替換了knowledgeProvider其余語音鏈路完全不變——這正是 Provider 抽象的價(jià)值換知識(shí)庫(kù)不改語音前臺(tái)。更多可替換方案LangChain、LlamaIndex、Haystack、企業(yè) RAG 服務(wù)、MCP/HTTP見 Knowledge Provider 接口文檔。常見問題 FAQ問知識(shí)庫(kù)數(shù)據(jù)存在哪里內(nèi)置資料庫(kù)的數(shù)據(jù)存放在 Gateway 主機(jī)本地的共享數(shù)據(jù)目錄中不依賴任何外部數(shù)據(jù)庫(kù)。問桌面端小球Desktop Orb為什么沒有知識(shí)庫(kù)管理入口目前資料庫(kù)管理入口只在 WebUI 中提供桌面端和會(huì)話面板暫未開放該按鈕。請(qǐng)用 WebUI 管理文檔。問知識(shí)工具為什么沒生效按順序檢查①Q(mào)WEN_AUDIO_DOMAIN_LIBRARYon是否已設(shè)置并重啟②QWEN_AUDIO_KNOWLEDGE_TOOL_ENABLED是否被設(shè)為false③ 語音 Provider 是否支持工具調(diào)用。問想刪掉某篇文檔怎么辦在 WebUI 資料庫(kù)面板點(diǎn)擊 Remove刪除的是資料庫(kù)副本原始文件不受影響。相關(guān)文件速查內(nèi)容路徑知識(shí)庫(kù)使用指南中文docs/guides/knowledge.zh.mdKnowledge Provider 接口參考docs/reference/knowledge.zh.md內(nèi)置知識(shí)庫(kù)服務(wù)實(shí)現(xiàn)server/src/knowledge/LightRAG 接入示例examples/lightrag/WebUI 資料庫(kù)面板web/src/KnowledgeLibraryPanel.jsx環(huán)境變量模板.env.example按照以上步驟你只需要一個(gè)QWEN_AUDIO_DOMAIN_LIBRARYon的配置項(xiàng)和幾次點(diǎn)擊就能讓語音 Agent 真正讀懂你的文檔。當(dāng)文檔規(guī)模增長(zhǎng)或需要語義級(jí)檢索時(shí)再平滑升級(jí)到 LightRAG 等外部知識(shí)系統(tǒng)即可?！久赓M(fèi)下載鏈接】qwen-audio-agentA realtime voice runtime that keeps Agents talking, working, and present. Real-time Voice Runtime for AI Agents項(xiàng)目地址: https://gitcode.com/gh_mirrors/qw/qwen-audio-agent創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考