隨著企業(yè)知識管理和智能應用場景不斷深入知識數(shù)據(jù)的來源逐漸呈現(xiàn)多樣化趨勢。在實際業(yè)務環(huán)境中企業(yè)中的文檔資料通常并不會集中存儲于同一個系統(tǒng)而是分布在不同的數(shù)據(jù)存儲平臺中大規(guī)模業(yè)務文件可能存儲于 HDFS 等分布式文件系統(tǒng)云端業(yè)務資料可能保存在對象存儲服務中歷史資料可能通過 FTP 等文件傳輸服務進行管理。這些文件通常會進一步進入知識庫、知識圖譜等系統(tǒng)用于知識檢索、智能問答、知識增強以及智能體應用構(gòu)建。但在傳統(tǒng)的數(shù)據(jù)接入方式中文件往往需要經(jīng)歷第三方存儲 → 本地下載 → 文件整理 → 手動上傳 → 內(nèi)容解析這一過程。隨著文件規(guī)模增加這種方式不僅增加人工操作成本同時也會帶來數(shù)據(jù)更新不及時、維護復雜度增加等問題。因此如何降低多源文件接入成本讓不同存儲系統(tǒng)中的知識數(shù)據(jù)能夠更加方便地進入知識構(gòu)建流程成為企業(yè)知識管理平臺建設中的重要問題。針對這一場景qKnow 智能體構(gòu)建平臺專業(yè)版 v3.1.2 對知識文件數(shù)據(jù)接入能力進行了優(yōu)化升級。本次版本新增 HDFS、OSS、FTP 等第三方存儲同步能力支持用戶直接連接外部文件存儲系統(tǒng)并將指定文件同步至知識庫和知識圖譜非結(jié)構(gòu)化抽取流程中。通過這一能力升級qKnow 進一步完善了從外部數(shù)據(jù)接入 → 文件管理 → 知識解析 → 智能應用的數(shù)據(jù)處理鏈路使企業(yè)中的分散知識資源能夠更加順暢地進入智能體構(gòu)建流程。本文將圍繞 qKnow 專業(yè)版v3.1.2 本次升級內(nèi)容介紹第三方存儲同步能力的實現(xiàn)方式以及其在知識庫和知識圖譜場景中的應用。為什么需要第三方存儲同步能力在企業(yè)知識應用建設過程中知識數(shù)據(jù)通常具有以下特點一方面數(shù)據(jù)來源多樣。不同業(yè)務部門可能使用不同的數(shù)據(jù)存儲方式例如大數(shù)據(jù)平臺中的業(yè)務文檔云對象存儲中的資料文件文件服務器中的歷史歸檔數(shù)據(jù)。另一方面數(shù)據(jù)更新頻繁。知識庫和知識圖譜需要持續(xù)接入新的業(yè)務資料如果仍然依賴人工下載和上傳不僅效率較低也容易出現(xiàn)數(shù)據(jù)更新不及時的問題。因此知識系統(tǒng)需要具備更加靈活的數(shù)據(jù)接入能力能夠連接不同存儲系統(tǒng)并將外部文件快速導入知識處理流程。qKnow 專業(yè)版 v3.1.2 針對這一場景進行了優(yōu)化通過新增第三方存儲同步能力將原本復雜的文件遷移流程簡化為配置數(shù)據(jù)連接 → 選擇同步文件 → 導入知識處理流程降低了知識數(shù)據(jù)接入過程中的操作復雜度。二、核心能力升級知識庫新增第三方存儲文件同步能力在 qKnow 專業(yè)版 v3.1.2 中知識文檔管理模塊新增第三方存儲同步功能。用戶可以直接在知識文檔管理頁面配置外部存儲連接并將指定文件同步至知識庫。整個流程主要包括兩個步驟。第一步配置數(shù)據(jù)連接用戶首先需要根據(jù)實際文件存儲環(huán)境選擇對應的數(shù)據(jù)連接類型并填寫相關連接信息。目前支持以下三種文件存儲方式1HDFSHDFSHadoop Distributed File System是一種面向大規(guī)模數(shù)據(jù)存儲場景的分布式文件系統(tǒng)。適用于大規(guī)模業(yè)務文檔存儲數(shù)據(jù)平臺文件管理分布式數(shù)據(jù)處理場景。通過 HDFS 數(shù)據(jù)連接qKnow 可以直接讀取分布式文件系統(tǒng)中的知識文件。2FTPFTP 是傳統(tǒng)文件傳輸服務廣泛應用于企業(yè)內(nèi)部文件交換和歷史資料管理場景。適用于批量文件讀取文件服務器數(shù)據(jù)接入歷史文檔歸檔管理。通過 FTP 數(shù)據(jù)連接可以將已有文件資源快速接入知識構(gòu)建流程。3OSS阿里云對象存儲OSS 是一種面向云端的數(shù)據(jù)存儲服務。適用于云端業(yè)務資料管理圖片、文檔等對象文件存儲云環(huán)境中的知識數(shù)據(jù)接入。通過 OSS 同步能力qKnow 可以直接讀取云端對象存儲中的文件。通過統(tǒng)一的數(shù)據(jù)連接配置方式用戶可以根據(jù)自身數(shù)據(jù)環(huán)境選擇對應接入方式無需針對不同存儲系統(tǒng)重復開發(fā)文件導入流程。第二步選擇同步文件完成數(shù)據(jù)連接配置后系統(tǒng)會讀取對應存儲中的文件列表。用戶可以根據(jù)實際知識構(gòu)建需求查看可同步文件選擇目標文件執(zhí)行同步操作。同步完成后文件即可進入知識庫后續(xù)處理流程。相比傳統(tǒng)方式下載文件 → 整理文件 → 手動上傳新的同步流程減少了文件在不同系統(tǒng)之間重復搬運的過程使知識庫能夠更加直接地獲取外部存儲中的知識數(shù)據(jù)。知識圖譜非結(jié)構(gòu)化抽取支持同步外部文件除了知識庫文件同步能力外qKnow 專業(yè)版 v3.1.2 同時優(yōu)化了知識圖譜非結(jié)構(gòu)化抽取流程。在知識圖譜構(gòu)建過程中非結(jié)構(gòu)化文檔通常需要經(jīng)歷文件接入 → 文檔解析 → 實體識別 → 關系抽取 → 圖譜構(gòu)建多個處理階段。其中文件接入是整個知識抽取流程的基礎。本次升級后知識圖譜非結(jié)構(gòu)化抽取模塊新增第三方存儲同步入口支持通過與知識庫一致的數(shù)據(jù)連接方式接入外部文件。用戶可以配置 HDFS、FTP 或 OSS 數(shù)據(jù)連接獲取外部存儲中的文件列表選擇需要進行知識抽取的文檔開始后續(xù)實體關系抽取流程。通過這一能力知識圖譜構(gòu)建過程可以直接利用企業(yè)已有文件資源減少數(shù)據(jù)準備階段的重復操作。其他功能優(yōu)化除數(shù)據(jù)同步能力增強外qKnow v3.1.2 同時針對部分功能體驗進行了優(yōu)化。優(yōu)化關系配置展示邏輯修復關系配置中所屬模型下拉框數(shù)據(jù)展示不完整的問題提升模型選擇過程中的可用性。支持不同知識圖譜模型創(chuàng)建同名概念優(yōu)化知識圖譜模型管理能力支持不同圖譜模型中添加相同名稱的概念提高模型設計靈活性。優(yōu)化大模型分類展示優(yōu)化大模型配置頁面中的模型分類標題展示使模型管理結(jié)構(gòu)更加清晰。提升非結(jié)構(gòu)化抽取任務穩(wěn)定性優(yōu)化知識圖譜非結(jié)構(gòu)化抽取失敗處理機制當單個任務出現(xiàn)異常時不影響其他任務繼續(xù)執(zhí)行提高任務運行穩(wěn)定性。優(yōu)化空白文段處理邏輯調(diào)整非結(jié)構(gòu)化抽取流程支持跳過空白文段減少無效抽取過程提高數(shù)據(jù)處理效率。版本價值qKnow 智能體構(gòu)建平臺專業(yè)版 v3.1.2 重點完善了知識庫與知識圖譜的數(shù)據(jù)接入能力通過支持 HDFS、OSS、FTP 等第三方文件存儲同步讓分散在不同存儲系統(tǒng)中的知識文件能夠更加便捷地進入智能體知識構(gòu)建流程。本次升級主要圍繞三個方向展開降低知識數(shù)據(jù)接入成本完善知識構(gòu)建數(shù)據(jù)鏈路提升平臺使用穩(wěn)定性未來qKnow 將持續(xù)圍繞知識增強、智能體構(gòu)建以及企業(yè)級知識管理場景進行能力優(yōu)化進一步提升知識數(shù)據(jù)從接入、理解到應用的完整流程效率。