人抓??？AI爬蟲(chóng)與站點(diǎn)內(nèi)容發(fā)現(xiàn)全排查指南)
開(kāi)發(fā)網(wǎng)站的朋友應(yīng)該都體驗(yàn)過(guò)這樣的場(chǎng)景你認(rèn)真寫(xiě)好了一份llms.txt放在服務(wù)器根目錄也在本地用瀏覽器驗(yàn)證過(guò)可以正常訪(fǎng)問(wèn)結(jié)果幾個(gè)星期之后去翻訪(fǎng)問(wèn)日志發(fā)現(xiàn)llms.txt的請(qǐng)求次數(shù)依然是 0。第一反應(yīng)可能是“我做錯(cuò)什么了”第二反應(yīng)則是“這個(gè)文件到底有什么用”。這篇文章就圍繞“Nobody Fetched My Llms.txt”這個(gè)問(wèn)題展開(kāi)先講清楚llms.txt是什么、它的定位和工作方式再一步步排查為什么沒(méi)有爬蟲(chóng)來(lái)讀取它最后給出可落地的優(yōu)化建議和最佳實(shí)踐。如果你正在給站點(diǎn)配置llms.txt或者已經(jīng)配置完成但看不到任何抓取記錄這篇內(nèi)容應(yīng)該能幫你少走彎路。文章里會(huì)包含文件格式、部署驗(yàn)證、常見(jiàn)錯(cuò)誤、抓取排查和工程建議代碼和命令都可以直接復(fù)制參考。1. llms.txt 到底是什么1.1 從“給人類(lèi)看的首頁(yè)”到“給 AI 看的首頁(yè)”每個(gè)網(wǎng)站都有一個(gè)首頁(yè)人類(lèi)的瀏覽器打開(kāi)首頁(yè)后可以順著導(dǎo)航、文章列表和詳情頁(yè)一層層瀏覽。但大語(yǔ)言模型LLM的爬蟲(chóng)在訪(fǎng)問(wèn)網(wǎng)站時(shí)并不像人一樣能輕松理解復(fù)雜的頁(yè)面結(jié)構(gòu)。JavaScript 渲染的內(nèi)容、彈窗、廣告、移動(dòng)端隱藏區(qū)塊都會(huì)干擾 AI 對(duì)站點(diǎn)核心內(nèi)容的理解。llms.txt的出現(xiàn)就是想讓網(wǎng)站提供一個(gè)簡(jiǎn)化、純文本、集中的“給 AI 看的入口頁(yè)”。它通常放在網(wǎng)站根目錄下例如https://example.com/llms.txt里面用 Markdown 短句描述站點(diǎn)定位并列出最重要的內(nèi)容鏈接。這樣AI 爬蟲(chóng)不需要解析大量 HTML就能快速判斷“這個(gè)站點(diǎn)有什么、哪些頁(yè)面值得讀”?？梢园阉斫鉃閞obots.txt告訴搜索引擎“哪些能爬哪些不能爬”。sitemap.xml告訴搜索引擎“你有哪些 URL 需要收錄”。llms.txt告訴大模型“我的網(wǎng)站核心內(nèi)容是什么從哪里開(kāi)始閱讀”。這二者并不是競(jìng)爭(zhēng)關(guān)系而是互補(bǔ)關(guān)系。llms.txt更強(qiáng)調(diào)內(nèi)容的組織與可讀性而不是抓取規(guī)則。1.2 llms.txt 解決的是“發(fā)現(xiàn)效率”問(wèn)題大模型廠(chǎng)商訓(xùn)練模型或做聯(lián)網(wǎng)檢索時(shí)不可能把整張互聯(lián)網(wǎng)無(wú)差別爬完。它們更傾向于先收集高價(jià)值文本再通過(guò)檢索增強(qiáng)生成RAG等方式把網(wǎng)頁(yè)內(nèi)容作為知識(shí)來(lái)源。如果站點(diǎn)信息散落在幾十個(gè)頁(yè)面里AI 爬蟲(chóng)需要層層跳轉(zhuǎn)還要過(guò)濾導(dǎo)航、推薦、評(píng)論等噪聲。llms.txt則把最核心的介紹和鏈接集中在一個(gè)純文本文件里顯著降低了 AI 理解站點(diǎn)的成本。因此llms.txt的核心價(jià)值不是“被所有人看見(jiàn)”而是“讓愿意查看的 AI 爬蟲(chóng)用最低成本理解你”。1.3 為什么有人配置了卻無(wú)人讀取llms.txt屬于新生事物雖然有越來(lái)越多的模型廠(chǎng)商和研究項(xiàng)目在關(guān)注但它還不是像robots.txt那樣默認(rèn)必須讀取的標(biāo)準(zhǔn)。很多爬蟲(chóng)沒(méi)有強(qiáng)制讀取這個(gè)文件搜索引擎的索引系統(tǒng)也沒(méi)有把它列入核心排名因素。也就是說(shuō)你配置了llms.txt只是準(zhǔn)備好了一份“給 AI 看的簡(jiǎn)歷”但并沒(méi)有一個(gè)中央機(jī)構(gòu)會(huì)自動(dòng)來(lái)抓取它。所以“Nobody Fetched My Llms.txt”并不一定意味著你配置錯(cuò)誤。在進(jìn)入排查之前我們需要先確認(rèn)自己的技術(shù)實(shí)現(xiàn)是否符合規(guī)范再判斷是不是“等待窗口”還沒(méi)結(jié)束。2. 環(huán)境準(zhǔn)備與前置條件2.1 你需要準(zhǔn)備什么要配置和排查llms.txt建議先準(zhǔn)備好以下環(huán)境一個(gè)已經(jīng)正常訪(fǎng)問(wèn)的域名或站點(diǎn)例如https://example.com。能夠修改站點(diǎn)根目錄文件的權(quán)限比如通過(guò) FTP、服務(wù)器文件管理器或 DevOps 流水線(xiàn)。一個(gè)可以請(qǐng)求公網(wǎng)域名的終端環(huán)境用于curl驗(yàn)證。如果在 Nginx 或 CDN 前面需要了解對(duì)應(yīng)的響應(yīng)頭、重定向和緩存策略。版本方面llms.txt本身不依賴(lài)特定操作系統(tǒng)或編程語(yǔ)言。無(wú)論站點(diǎn)是靜態(tài)頁(yè)面、WordPress、Next.js、Vue 還是 Nginx 靜態(tài)目錄只要能在根目錄輸出一個(gè)名為llms.txt的純文本文件即可。不同框架的示例可能略有差異你可以根據(jù)自己的項(xiàng)目結(jié)構(gòu)調(diào)整。2.2 規(guī)范仍在演進(jìn)需要特別說(shuō)明的是llms.txt的格式約定還處于早期階段不同廠(chǎng)商和工具的解釋并不完全一致。目前社區(qū)主流建議是使用一個(gè) UTF-8 編碼、以 Markdown 鏈接列表為主的純文本文件。但未來(lái)可能會(huì)有更多頭部模型廠(chǎng)商定義自己的擴(kuò)展字段。因此本文給出的格式是“當(dāng)前主流建議”不保證能適配每一家爬蟲(chóng)但可以保證是兼容性較高的通用寫(xiě)法。在動(dòng)手之前先做一個(gè)最基礎(chǔ)的開(kāi)源思路讓文件盡量簡(jiǎn)單少放復(fù)雜的 HTML 標(biāo)簽或自定義 JSON 結(jié)構(gòu)。爬蟲(chóng)需要的不是花樣而是穩(wěn)定的文本內(nèi)容。3. 創(chuàng)建一個(gè)規(guī)范的 llms.txt3.1 最小可用文件一個(gè)最簡(jiǎn)llms.txt文件可以只包含三部分第一行一級(jí)標(biāo)題。第二行一段引用簡(jiǎn)介。后續(xù)行按 Markdown 格式列出的重要鏈接。下面是一個(gè)文本示例# Example Site Example Site 是一個(gè)提供 Python 后端教程和開(kāi)源工具的中文技術(shù)站點(diǎn)內(nèi)容覆蓋 FastAPI、Django、數(shù)據(jù)庫(kù)設(shè)計(jì)和項(xiàng)目部署。 - [Python 后端教程](https://example.com/python): 從環(huán)境搭建到項(xiàng)目上線(xiàn)的完整教程 - [FastAPI 實(shí)戰(zhàn)](https://example.com/fastapi): 使用 FastAPI 構(gòu)建 REST API - [開(kāi)源項(xiàng)目](https://github.com/example/example-project): 后端腳手架與部署腳本這里需要注意的是llms.txt并不是完整的 Markdown 文檔而是“摘要 精選鏈接”的組合。鏈接數(shù)量不要貪多建議保留 10 到 20 個(gè)最重要的入口。如果鏈接太多反而失去了“快速理解”的意義。3.2 使用純文本而不是 HTML很多開(kāi)發(fā)者會(huì)下意識(shí)地寫(xiě)成 HTML 文件比如html body h1Example Site/h1 a hrefhttps://example.comExample/a /body /html這種寫(xiě)法對(duì)人和瀏覽器都很常見(jiàn)但llms.txt的核心命名和訪(fǎng)問(wèn)方式要求它是文本文件。雖然某些爬蟲(chóng)可能也能從 HTML 中提取內(nèi)容但最好嚴(yán)格按照純文本格式輸出。MIME 類(lèi)型建議設(shè)置為text/plain字符集建議顯式為UTF-8。如果你擔(dān)心格式不被理解可以把鏈接末尾的說(shuō)明文字寫(xiě)成一句完整的話(huà)。這樣即使爬蟲(chóng)不解析 Markdown也能從純文本中讀到關(guān)鍵信息。3.3 文件的存放位置文件名必須叫l(wèi)lms.txt全部小寫(xiě)不要寫(xiě)成LLMS.txt或Llms.Txt。服務(wù)器是否區(qū)分大小寫(xiě)取決于操作系統(tǒng)但為了避免不必要的麻煩一律使用小寫(xiě)。文件應(yīng)該放在域名根目錄也就是https://example.com/llms.txt而不是https://example.com/content/llms.txt https://example.com/static/llms.txt雖然某些爬蟲(chóng)可能會(huì)遞歸發(fā)現(xiàn)子路徑下的文件但官方倡議和大多數(shù)文檔默認(rèn)讀取根目錄地址。放在根目錄是最保守、兼容性最高的做法。3.4 是否需要生成動(dòng)態(tài)內(nèi)容如果你的站點(diǎn)本身就是動(dòng)態(tài)站點(diǎn)可以把llms.txt做成動(dòng)態(tài)接口但要注意響應(yīng)頭和緩存。比如 Nginx 配置中可以直接映射到本地文件也可以由后端返回字符串。只要最終響應(yīng)是純文本并且根路徑可訪(fǎng)問(wèn)就行。動(dòng)態(tài)生成的好處是能自動(dòng)更新鏈接和簡(jiǎn)介壞處是需要額外保證性能與穩(wěn)定性。對(duì)于個(gè)人博客靜態(tài)文件通常已經(jīng)夠用。4. 部署與本地驗(yàn)證4.1 部署到服務(wù)器以最常見(jiàn)的 Nginx 靜態(tài)站點(diǎn)為例如果你把llms.txt文件放在/var/www/example.com/llms.txtNginx 默認(rèn)會(huì)根據(jù)文件擴(kuò)展名返回text/plain或application/octet-stream。為了保險(xiǎn)可以顯式加上一層配置server { listen 80; server_name example.com; root /var/www/example.com; index index.html; location /llms.txt { default_type text/plain; charsetutf-8; add_header Cache-Control no-cache; } }配置完成后重新加載 Nginxsudo nginx -t sudo systemctl reload nginx這段配置的作用是當(dāng)請(qǐng)求/llms.txt時(shí)明確返回text/plain和 UTF-8 字符集同時(shí)關(guān)閉緩存方便后續(xù)更新內(nèi)容時(shí)能快速被新的爬蟲(chóng)請(qǐng)求讀取到。4.2 用 curl 模擬抓取部署完成后使用curl模擬爬蟲(chóng)的請(qǐng)求檢查返回內(nèi)容curl -i https://example.com/llms.txt期望輸出類(lèi)似下面這樣HTTP/2 200 content-type: text/plain; charsetutf-8 cache-control: no-cache # Example Site Example Site 是一個(gè)提供 Python 后端教程和開(kāi)源工具的中文技術(shù)站點(diǎn)...重點(diǎn)看兩個(gè)地方狀態(tài)碼是否是200響應(yīng)頭中content-type是否是text/plain或我們配置的值。如果看到301或302說(shuō)明請(qǐng)求可能被重定向到了首頁(yè)或其他位置需要進(jìn)一步處理重定向規(guī)則。如果你啟用了 CDN還需要檢查 CDN 節(jié)點(diǎn)上是否存在緩存版本?？稍谡?qǐng)求頭中加一個(gè)隨機(jī)查詢(xún)參數(shù)來(lái)測(cè)試不過(guò)這里不建議在公開(kāi) URL 上隨意加參數(shù)因?yàn)榕老x(chóng)不會(huì)自動(dòng)加上。你可以在 CDN 控制臺(tái)中進(jìn)行緩存刷新確認(rèn)源站的響應(yīng)正確。4.3 檢查 robots.txt 是否允許讀取robots.txt可能會(huì)影響某些遵循協(xié)議的爬蟲(chóng)。雖然沒(méi)有統(tǒng)一標(biāo)準(zhǔn)說(shuō)“必須先看 robots.txt”但如果你的robots.txt禁止了所有爬蟲(chóng)那么一些 LLM 爬蟲(chóng)也可能遵守這個(gè)限制?？梢栽趓obots.txt中為常見(jiàn) AI 爬蟲(chóng)添加規(guī)則例如User-agent: * Allow: /更保守一點(diǎn)你不希望其他爬蟲(chóng)進(jìn)入后臺(tái)但希望 LLM 爬蟲(chóng)讀取llms.txt可以用類(lèi)似下面這種方式User-agent: * Disallow: /admin/ Allow: /llms.txt這是一種兜底策略具體爬蟲(chóng)是否遵守要看它們的實(shí)現(xiàn)。需要注意的是不要因?yàn)閾?dān)心抓取不足就把robots.txt全部刪掉這可能會(huì)帶來(lái)更大的安全和合規(guī)風(fēng)險(xiǎn)。4.4 使用瀏覽器無(wú)痕窗口訪(fǎng)問(wèn)除了命令行還可以用瀏覽器無(wú)痕窗口直接訪(fǎng)問(wèn)https://example.com/llms.txt。正常情況下瀏覽器會(huì)直接顯示文本內(nèi)容而不是觸發(fā)下載。如果瀏覽器提示下載說(shuō)明 Content-Type 可能被配置成了application/octet-stream這會(huì)降低部分爬蟲(chóng)的讀取意愿需要按上面的 Nginx 配置修改。到這里文件已經(jīng)部署成功。但“部署成功”和“被爬蟲(chóng)訪(fǎng)問(wèn)”之間還有很長(zhǎng)一段距離。接下來(lái)我們重點(diǎn)排查“為什么沒(méi)有被抓取”。5. 排查為什么 Nobody Fetched My Llms.txt5.1 檢查訪(fǎng)問(wèn)日志與 CDN 日志先說(shuō)一個(gè)容易誤判的情況你看著 CDN 控制臺(tái)里的統(tǒng)計(jì)沒(méi)有l(wèi)lms.txt請(qǐng)求于是以為“沒(méi)人抓取”但可能 CDN 把靜態(tài)文件緩存了后續(xù)請(qǐng)求全部命中節(jié)點(diǎn)不會(huì)每次回源。因此第一件事是同時(shí)查看源站訪(fǎng)問(wèn)日志、CDN 訪(fǎng)問(wèn)日志和 CDN 命中率。如果本地日志格式默認(rèn)包含請(qǐng)求路徑可以臨時(shí)用命令快速過(guò)濾grep llms.txt /var/log/nginx/access.log | tail -20如果暫時(shí)沒(méi)有請(qǐng)求先不要慌。llms.txt不是搜索引擎的“收錄提交接口”它不會(huì)像sitemap.xml提交后立刻被 PING 抓取。它的傳播依賴(lài)的是爬蟲(chóng)主動(dòng)發(fā)現(xiàn)和嘗試讀取。5.2 常見(jiàn)原因清單下面這張表列出了“配置了 llms.txt 卻沒(méi)被讀取”的高頻原因問(wèn)題現(xiàn)象常見(jiàn)原因解決思路日志完全沒(méi)有請(qǐng)求爬蟲(chóng)還沒(méi)發(fā)現(xiàn)這個(gè)文件名在首頁(yè)加入鏈接通過(guò) sitemap 暴露等待更長(zhǎng)時(shí)間請(qǐng)求出現(xiàn) 404文件路徑不對(duì)或大小寫(xiě)錯(cuò)誤檢查根目錄llms.txt是否存在確保小寫(xiě)請(qǐng)求返回 301/302站點(diǎn)強(qiáng)制跳轉(zhuǎn) HTTPS 或新增尾斜杠檢查重定向規(guī)則保持/llms.txt最終可訪(fǎng)問(wèn)請(qǐng)求返回 200 但內(nèi)容為空文件編碼或服務(wù)器配置異常用 curl 檢查響應(yīng)體確認(rèn)非空爬蟲(chóng)請(qǐng)求被防火墻攔截WAF 規(guī)則誤判純文本請(qǐng)求查看安全日志添加白名單或調(diào)整規(guī)則所有請(qǐng)求都命中 CDN 緩存源站沒(méi)有回源日志里看不到刷新 CDN 緩存或?qū)Ρ?CDN 日志爬蟲(chóng)遵守 robots.txt 且被禁止規(guī)則過(guò)于嚴(yán)格允許爬蟲(chóng)訪(fǎng)問(wèn)根目錄和/llms.txt文件內(nèi)容過(guò)于簡(jiǎn)略爬蟲(chóng)認(rèn)為不值得讀取豐富內(nèi)容增加高質(zhì)量說(shuō)明文字5.3 你的站點(diǎn)的“外鏈曝光度”不足再想一個(gè)細(xì)節(jié)爬蟲(chóng)不會(huì)主動(dòng)在全網(wǎng)搜索“誰(shuí)的根目錄有 llms.txt”除非它們已經(jīng)在訪(fǎng)問(wèn)你的主頁(yè)或者從其他高質(zhì)量站點(diǎn)鏈接中發(fā)現(xiàn)了你的域名。如果你的網(wǎng)站在搜索引擎中權(quán)重不高、外部鏈接很少那么爬蟲(chóng)訪(fǎng)問(wèn)到你站點(diǎn)的概率自然低。這不是llms.txt格式的問(wèn)題而是站點(diǎn)的整體可見(jiàn)度問(wèn)題。你可以在首頁(yè)、關(guān)于頁(yè)、README 或開(kāi)發(fā)者文檔中顯式添加AI 閱讀入口https://example.com/llms.txt這樣即使普通爬蟲(chóng)抓取了首頁(yè)也可能順著鏈接去找llms.txt。同時(shí)如果參與了一些開(kāi)源社區(qū)、公眾號(hào)或技術(shù)平臺(tái)的活動(dòng)外部鏈接增多后被爬蟲(chóng)再次訪(fǎng)問(wèn)的概率也會(huì)提升。5.4 是否提交到過(guò)官方社區(qū)或聚合目錄目前l(fā)lms.txt相關(guān)的社區(qū)、目錄和討論還在快速增長(zhǎng)。某些項(xiàng)目會(huì)提供“站點(diǎn)提交”功能但這類(lèi)提交并不等同于保證抓取。如果你愿意可以關(guān)注 GitHub 上關(guān)于llms.txt的討論倉(cāng)庫(kù)、相關(guān) Awesome 列表加入自己的站點(diǎn)鏈接。但要注意不要四處亂發(fā)鏈接以免被當(dāng)成垃圾外鏈。更穩(wěn)妥的方式是讓站點(diǎn)內(nèi)容本身有被檢索的價(jià)值。llms.txt只負(fù)責(zé)把內(nèi)容更容易地遞給 AI但 AI 是否愿意訪(fǎng)問(wèn)取決于你的主題是否對(duì)它有參考意義。也就是說(shuō)內(nèi)容質(zhì)量依然是最核心的變量。5.5 等待期與爬蟲(chóng)更新節(jié)奏新的文件格式從提出到被廣泛支持需要一個(gè)較長(zhǎng)的周期。有些大型模型廠(chǎng)商已經(jīng)在研究和適配llms.txt但它們的調(diào)度頻率可能以周甚至月為單位。換句話(huà)說(shuō)可能爬蟲(chóng)確實(shí)“最終會(huì)來(lái)”只是還沒(méi)到抓取周期。建議做法是把llms.txt當(dāng)成長(zhǎng)期資產(chǎn)來(lái)維護(hù)而不是發(fā)布后天天盯日志。你可以設(shè)置一個(gè)提醒每?jī)芍軝z查一次請(qǐng)求日志如果兩個(gè)月內(nèi)完全沒(méi)有記錄再考慮更高頻的外部曝光策略。6. 如何提高 llms.txt 被讀取的概率6.1 在首頁(yè)正文中自然放置鏈接很多爬蟲(chóng)會(huì)從首頁(yè)開(kāi)始爬取。如果首頁(yè) HTML 中完全沒(méi)有出現(xiàn)llms.txt那爬蟲(chóng)即使訪(fǎng)問(wèn)了首頁(yè)也沒(méi)理由繼續(xù)請(qǐng)求這個(gè)文件。你可以在頁(yè)面底部或“關(guān)于本站”區(qū)域加入類(lèi)似文字a hrefhttps://example.com/llms.txt relnofollowAI 可讀版本/a添加relnofollow不是必須的。如果你希望爬蟲(chóng)把它當(dāng)作普通鏈接發(fā)現(xiàn)可以用正常鏈接。不過(guò)請(qǐng)不要把它放在導(dǎo)航欄中以免干擾普通用戶(hù)體驗(yàn)。6.2 在 sitemap.xml 中添加地址llms.txt是一個(gè)文本文件但它是一個(gè)可以公開(kāi)訪(fǎng)問(wèn)的 URL。在sitemap.xml中加入它是合法的可以讓搜索引擎和部分爬蟲(chóng)額外發(fā)現(xiàn)這個(gè)地址urlset xmlnshttp://www.sitemaps.org/schemas/sitemap/0.9 url lochttps://example.com/llms.txt/loc /url /urlset提交之后可能不會(huì)立刻帶來(lái)爬蟲(chóng)但至少多了一個(gè)被發(fā)現(xiàn)的渠道。注意sitemap.xml的 URL 集合一般面向網(wǎng)頁(yè)把文本文件放進(jìn)去不會(huì)影響其他頁(yè)面收錄但具體是否采用取決于爬蟲(chóng)實(shí)現(xiàn)。6.3 保證鏈接長(zhǎng)期可用和內(nèi)容更新爬蟲(chóng)讀取一次之后如果發(fā)現(xiàn)文件內(nèi)容長(zhǎng)期不更新后續(xù)訪(fǎng)問(wèn)頻率也可能降低。更新llms.txt時(shí)建議保留結(jié)構(gòu)穩(wěn)定不要頻繁改文件名。如果站點(diǎn)新增了重要文章可以在對(duì)應(yīng)章節(jié)追加鏈接也可以在簡(jiǎn)介里調(diào)整一到兩句話(huà)。這里有一個(gè)容易忽略的點(diǎn)llms.txt里的鏈接必須是可穩(wěn)定訪(fǎng)問(wèn)的絕對(duì)地址不要使用相對(duì)路徑。因?yàn)榕老x(chóng)可能從句法上識(shí)別鏈接但相對(duì)路徑在純文本中并不總是能正確處理。6.4 給 CDN 和源站設(shè)置合理的緩存時(shí)間緩存對(duì)于性能很有幫助但如果你每次更新llms.txt后沒(méi)有刷新 CDN 緩存爬蟲(chóng)拿到的可能是舊版本甚至因?yàn)榕f版本看起來(lái)沒(méi)有變化而減少下一次訪(fǎng)問(wèn)。建議對(duì)llms.txt設(shè)置較短的緩存過(guò)期時(shí)間或使用版本號(hào)思路但保持文件名不變。上面 Nginx 配置中Cache-Control no-cache就是一種保守做法。當(dāng)然較高的訪(fǎng)問(wèn)量下為一個(gè)小文件頻繁回源也沒(méi)必要?？梢栽O(shè)置max-age3600這類(lèi)短緩存例如add_header Cache-Control public, max-age3600;這表示 CDN 和瀏覽器可以緩存一小時(shí)對(duì)于大多數(shù)爬蟲(chóng)來(lái)說(shuō)足夠了。7. 常見(jiàn)問(wèn)題與進(jìn)一步排查7.1 為什么使用 curl 可以訪(fǎng)問(wèn)但爬蟲(chóng)沒(méi)有記錄大部分情況下這屬于“爬蟲(chóng)還沒(méi)來(lái)”的等待期問(wèn)題。你可以先確認(rèn)是否有GPTBot、ClaudeBot、Google-Extended等常見(jiàn) AI 爬蟲(chóng)的 UA 訪(fǎng)問(wèn)過(guò)站點(diǎn)。在沒(méi)有訪(fǎng)問(wèn)記錄前先判斷是否被 WAF 或地區(qū)限制攔住了。有些防火墻會(huì)攔截非瀏覽器的 User-Agent導(dǎo)致爬蟲(chóng)請(qǐng)求到達(dá)服務(wù)器前就被丟掉。你可以在安全日志中搜索llms.txt確認(rèn)有沒(méi)有被攔截的記錄。如果確實(shí)被攔截解決方法是在 WAF 中放行包含常用 AI 爬蟲(chóng) User-Agent 的 GET 請(qǐng)求并且只允許訪(fǎng)問(wèn)公開(kāi)目錄。不要為了放行而關(guān)閉整個(gè) WAF安全邊界比抓取更重要。7.2 是否需要把 llms.txt 提交到搜索引擎站長(zhǎng)平臺(tái)搜索引擎的站長(zhǎng)平臺(tái)主要面向普通 Web 頁(yè)面收錄目前沒(méi)有統(tǒng)一的llms.txt提交入口。你可以在站長(zhǎng)平臺(tái)中提交首頁(yè)或sitemap.xml讓搜索引擎更快地索引站點(diǎn)整體地址但不能保證它一定讀取llms.txt。所以不要把“提交站長(zhǎng)平臺(tái)”和“提交 llms.txt”混為一談。未來(lái)會(huì)不會(huì)出現(xiàn)針對(duì) LLM 內(nèi)容的站長(zhǎng)平臺(tái)或目錄目前還不確定?，F(xiàn)階段可以把它理解為“內(nèi)容協(xié)作規(guī)范”而不是“提交協(xié)議”。7.3 如何在 Apache 中設(shè)置響應(yīng)頭如果你使用的是 Apache 而不是 Nginx可以在.htaccess或虛擬主機(jī)配置中添加Files llms.txt ForceType text/plain Header set Cache-Control no-cache /Files配置完成后重啟 Apache 并驗(yàn)證。核心思路和 Nginx 一樣確保純文本輸出、編碼正確、緩存策略合理。7.4 如何檢查是否有爬蟲(chóng)讀取到了舊版本如果你使用的是 Git 管理的靜態(tài)站點(diǎn)可以在部署腳本里輸出llms.txt的變更時(shí)間。也可以在服務(wù)端給llms.txt增加一個(gè)自定義響應(yīng)頭add_header X-LLMs-Txt-Version 20250118;當(dāng)你在日志中看到X-LLMs-Txt-Version時(shí)說(shuō)明某次請(qǐng)求已經(jīng)拿到了特定版本。這個(gè)頭對(duì)爬蟲(chóng)沒(méi)有決定作用但能方便你判斷緩存是否刷新。7.5 是否可以把 llms.txt 寫(xiě)成 JSON不建議。雖然 JSON 是機(jī)器可讀的但llms.txt的社區(qū)共識(shí)是純文本 Markdown 風(fēng)格。如果你同時(shí)提供llms.json也不會(huì)對(duì)現(xiàn)狀產(chǎn)生什么幫助反而會(huì)分散注意力。讓文件保持簡(jiǎn)單才更容易被不同實(shí)現(xiàn)兼容。8. 最佳實(shí)踐與工程建議8.1 內(nèi)容設(shè)計(jì)原則寫(xiě)llms.txt時(shí)始終站在“一個(gè)第一次訪(fǎng)問(wèn)你網(wǎng)站 AI”的角度思考。你不需要把所有文章都放進(jìn)去只需要告訴它這個(gè)網(wǎng)站是誰(shuí)。它主要提供什么價(jià)值。最值得讀的 5 到 15 個(gè)鏈接。簡(jiǎn)介部分建議控制在 3 到 5 句話(huà)內(nèi)。鏈接的錨文本不要太長(zhǎng)但也不要只寫(xiě)“點(diǎn)擊這里”。錨文本要能描述目標(biāo)內(nèi)容。比如“FastAPI 中文入門(mén)教程”就比“文章”更有價(jià)值。8.2 不要放入敏感信息很多人會(huì)把llms.txt理解為“給 AI 看的全部?jī)?nèi)容”于是把后臺(tái)地址、內(nèi)部 API、數(shù)據(jù)庫(kù)地址也放了進(jìn)去。這是非常危險(xiǎn)的做法。llms.txt是公開(kāi)文件任何人都能訪(fǎng)問(wèn)。里面只放你想公開(kāi)分享的鏈接和信息權(quán)限相關(guān)的內(nèi)容一律不要出現(xiàn)。同時(shí)不要生成任何包含用戶(hù)隱私或個(gè)人身份信息的自動(dòng)摘要。如果你用程序自動(dòng)生成必須做脫敏和過(guò)濾。8.3 日志監(jiān)控與異常告警llms.txt只是一個(gè)小文件但它能反映 AI 爬蟲(chóng)對(duì)你的站點(diǎn)關(guān)注度。建議單獨(dú)在訪(fǎng)問(wèn)日志中記錄該文件的狀態(tài)碼。比如使用 Nginx 的 map 或簡(jiǎn)單的 awk 過(guò)濾請(qǐng)求路徑將非 200 狀態(tài)碼發(fā)送到告警系統(tǒng)。這樣可以及時(shí)發(fā)現(xiàn)路徑失效、權(quán)限變更等問(wèn)題。一個(gè)簡(jiǎn)單的手動(dòng)監(jiān)控腳本思路#!/bin/bash urlhttps://example.com/llms.txt code$(curl -s -o /dev/null -w %{http_code} --max-time 10 $url) if [ $code ! 200 ]; then echo llms.txt 返回異常狀態(tài)碼: $code fi腳本可以放到定時(shí)任務(wù)里每天檢查一次。生產(chǎn)環(huán)境中建議在測(cè)試環(huán)境多次驗(yàn)證后再執(zhí)行避免頻繁請(qǐng)求對(duì)源站產(chǎn)生壓力。8.4 與站點(diǎn)改版聯(lián)動(dòng)當(dāng)你做網(wǎng)站改版、遷移域名或修改目錄結(jié)構(gòu)時(shí)很容易忘記更新llms.txt里的鏈接。建議把llms.txt納入發(fā)布清單和robots.txt、sitemap.xml一起檢查。如果網(wǎng)站使用了批量生成工具可以寫(xiě)一個(gè)簡(jiǎn)單腳本自動(dòng)抓取站點(diǎn)最新文章的標(biāo)題和 URL生成llms.txt。但要注意自動(dòng)化生成不要破壞文件頂部的固定簡(jiǎn)介和重點(diǎn)鏈接。比較合理的做法是把人工維護(hù)的“恒定部分”和程序生成的“最新文章部分”分開(kāi)最終合并輸出。8.5 不要為了抓取而不顧規(guī)范有些站點(diǎn)為了吸引 AI 爬蟲(chóng)會(huì)在llms.txt里堆滿(mǎn)關(guān)鍵詞或者編造不存在的鏈接。這樣做短期內(nèi)可能被某個(gè)爬蟲(chóng)多訪(fǎng)問(wèn)一次但長(zhǎng)期損害的是站點(diǎn)信譽(yù)。大模型廠(chǎng)商很可能會(huì)對(duì)低質(zhì)量?jī)?nèi)容做降權(quán)甚至直接忽略。所以llms.txt的使用應(yīng)當(dāng)遵循“真實(shí)、簡(jiǎn)潔、穩(wěn)定”的原則。所有鏈接都應(yīng)該可訪(fǎng)問(wèn)簡(jiǎn)介應(yīng)該和實(shí)際內(nèi)容匹配不能為了“AI 好看”而寫(xiě)一套和網(wǎng)頁(yè)內(nèi)容完全不一致的文字。9. 寫(xiě)在最后回到最初的困惑為什么llms.txt沒(méi)人抓取最直接的原因是它還不是一個(gè)所有爬蟲(chóng)默認(rèn)讀取的強(qiáng)制協(xié)議更像是一份“給 AI 提供的主動(dòng)合作文件”。你部署它相當(dāng)于在網(wǎng)站門(mén)口立了一塊清晰的指示牌但門(mén)口沒(méi)有專(zhuān)門(mén)負(fù)責(zé)讀指示牌的人。因此“沒(méi)被抓取”大概率不是配置失敗而是發(fā)現(xiàn)機(jī)制尚未成熟。下一步你可以做三件事再次檢查llms.txt的格式、路徑、響應(yīng)頭和緩存策略確保它時(shí)刻可訪(fǎng)問(wèn)。在首頁(yè)、sitemap 和技術(shù)社區(qū)外鏈中增加它的曝光讓爬蟲(chóng)有機(jī)會(huì)發(fā)現(xiàn)。持續(xù)更新內(nèi)容把這些內(nèi)容當(dāng)成一種長(zhǎng)期資產(chǎn)去維護(hù)。如果你已經(jīng)完成了這些還是遲遲等不到請(qǐng)求也不用過(guò)度焦慮。llms.txt才剛剛開(kāi)始被更多人討論早一點(diǎn)把基礎(chǔ)打扎實(shí)等到各類(lèi)模型廠(chǎng)商普遍支持的時(shí)候你的站點(diǎn)已經(jīng)比別人多走了一步。多嘗試一些網(wǎng)站觀察別人的格式和更新頻率也許你會(huì)找到更適合自己站點(diǎn)的做法。希望這篇文章能幫你理清思路如果你的llms.txt也遇到類(lèi)似的冷啟動(dòng)問(wèn)題不妨從今天開(kāi)始按照上面的清單逐項(xiàng)排查。 llms.txt無(wú)人抓??？AI爬蟲(chóng)與站點(diǎn)內(nèi)容發(fā)現(xiàn)全排查指南
開(kāi)發(fā)網(wǎng)站的朋友應(yīng)該都體驗(yàn)過(guò)這樣的場(chǎng)景你認(rèn)真寫(xiě)好了一份llms.txt放在服務(wù)器根目錄也在本地用瀏覽器驗(yàn)證過(guò)可以正常訪(fǎng)問(wèn)結(jié)果幾個(gè)星期之后去翻訪(fǎng)問(wèn)日志發(fā)現(xiàn)llms.txt的請(qǐng)求次數(shù)依然是 0。第一反應(yīng)可能是“我做錯(cuò)什么了”第二反應(yīng)則是“這個(gè)文件到底有什么用”。這篇文章就圍繞“Nobody Fetched My Llms.txt”這個(gè)問(wèn)題展開(kāi)先講清楚llms.txt是什么、它的定位和工作方式再一步步排查為什么沒(méi)有爬蟲(chóng)來(lái)讀取它最后給出可落地的優(yōu)化建議和最佳實(shí)踐。如果你正在給站點(diǎn)配置llms.txt或者已經(jīng)配置完成但看不到任何抓取記錄這篇內(nèi)容應(yīng)該能幫你少走彎路。文章里會(huì)包含文件格式、部署驗(yàn)證、常見(jiàn)錯(cuò)誤、抓取排查和工程建議代碼和命令都可以直接復(fù)制參考。1. llms.txt 到底是什么1.1 從“給人類(lèi)看的首頁(yè)”到“給 AI 看的首頁(yè)”每個(gè)網(wǎng)站都有一個(gè)首頁(yè)人類(lèi)的瀏覽器打開(kāi)首頁(yè)后可以順著導(dǎo)航、文章列表和詳情頁(yè)一層層瀏覽。但大語(yǔ)言模型LLM的爬蟲(chóng)在訪(fǎng)問(wèn)網(wǎng)站時(shí)并不像人一樣能輕松理解復(fù)雜的頁(yè)面結(jié)構(gòu)。JavaScript 渲染的內(nèi)容、彈窗、廣告、移動(dòng)端隱藏區(qū)塊都會(huì)干擾 AI 對(duì)站點(diǎn)核心內(nèi)容的理解。llms.txt的出現(xiàn)就是想讓網(wǎng)站提供一個(gè)簡(jiǎn)化、純文本、集中的“給 AI 看的入口頁(yè)”。它通常放在網(wǎng)站根目錄下例如https://example.com/llms.txt里面用 Markdown 短句描述站點(diǎn)定位并列出最重要的內(nèi)容鏈接。這樣AI 爬蟲(chóng)不需要解析大量 HTML就能快速判斷“這個(gè)站點(diǎn)有什么、哪些頁(yè)面值得讀”?？梢园阉斫鉃閞obots.txt告訴搜索引擎“哪些能爬哪些不能爬”。sitemap.xml告訴搜索引擎“你有哪些 URL 需要收錄”。llms.txt告訴大模型“我的網(wǎng)站核心內(nèi)容是什么從哪里開(kāi)始閱讀”。這二者并不是競(jìng)爭(zhēng)關(guān)系而是互補(bǔ)關(guān)系。llms.txt更強(qiáng)調(diào)內(nèi)容的組織與可讀性而不是抓取規(guī)則。1.2 llms.txt 解決的是“發(fā)現(xiàn)效率”問(wèn)題大模型廠(chǎng)商訓(xùn)練模型或做聯(lián)網(wǎng)檢索時(shí)不可能把整張互聯(lián)網(wǎng)無(wú)差別爬完。它們更傾向于先收集高價(jià)值文本再通過(guò)檢索增強(qiáng)生成RAG等方式把網(wǎng)頁(yè)內(nèi)容作為知識(shí)來(lái)源。如果站點(diǎn)信息散落在幾十個(gè)頁(yè)面里AI 爬蟲(chóng)需要層層跳轉(zhuǎn)還要過(guò)濾導(dǎo)航、推薦、評(píng)論等噪聲。llms.txt則把最核心的介紹和鏈接集中在一個(gè)純文本文件里顯著降低了 AI 理解站點(diǎn)的成本。因此llms.txt的核心價(jià)值不是“被所有人看見(jiàn)”而是“讓愿意查看的 AI 爬蟲(chóng)用最低成本理解你”。1.3 為什么有人配置了卻無(wú)人讀取llms.txt屬于新生事物雖然有越來(lái)越多的模型廠(chǎng)商和研究項(xiàng)目在關(guān)注但它還不是像robots.txt那樣默認(rèn)必須讀取的標(biāo)準(zhǔn)。很多爬蟲(chóng)沒(méi)有強(qiáng)制讀取這個(gè)文件搜索引擎的索引系統(tǒng)也沒(méi)有把它列入核心排名因素。也就是說(shuō)你配置了llms.txt只是準(zhǔn)備好了一份“給 AI 看的簡(jiǎn)歷”但并沒(méi)有一個(gè)中央機(jī)構(gòu)會(huì)自動(dòng)來(lái)抓取它。所以“Nobody Fetched My Llms.txt”并不一定意味著你配置錯(cuò)誤。在進(jìn)入排查之前我們需要先確認(rèn)自己的技術(shù)實(shí)現(xiàn)是否符合規(guī)范再判斷是不是“等待窗口”還沒(méi)結(jié)束。2. 環(huán)境準(zhǔn)備與前置條件2.1 你需要準(zhǔn)備什么要配置和排查llms.txt建議先準(zhǔn)備好以下環(huán)境一個(gè)已經(jīng)正常訪(fǎng)問(wèn)的域名或站點(diǎn)例如https://example.com。能夠修改站點(diǎn)根目錄文件的權(quán)限比如通過(guò) FTP、服務(wù)器文件管理器或 DevOps 流水線(xiàn)。一個(gè)可以請(qǐng)求公網(wǎng)域名的終端環(huán)境用于curl驗(yàn)證。如果在 Nginx 或 CDN 前面需要了解對(duì)應(yīng)的響應(yīng)頭、重定向和緩存策略。版本方面llms.txt本身不依賴(lài)特定操作系統(tǒng)或編程語(yǔ)言。無(wú)論站點(diǎn)是靜態(tài)頁(yè)面、WordPress、Next.js、Vue 還是 Nginx 靜態(tài)目錄只要能在根目錄輸出一個(gè)名為llms.txt的純文本文件即可。不同框架的示例可能略有差異你可以根據(jù)自己的項(xiàng)目結(jié)構(gòu)調(diào)整。2.2 規(guī)范仍在演進(jìn)需要特別說(shuō)明的是llms.txt的格式約定還處于早期階段不同廠(chǎng)商和工具的解釋并不完全一致。目前社區(qū)主流建議是使用一個(gè) UTF-8 編碼、以 Markdown 鏈接列表為主的純文本文件。但未來(lái)可能會(huì)有更多頭部模型廠(chǎng)商定義自己的擴(kuò)展字段。因此本文給出的格式是“當(dāng)前主流建議”不保證能適配每一家爬蟲(chóng)但可以保證是兼容性較高的通用寫(xiě)法。在動(dòng)手之前先做一個(gè)最基礎(chǔ)的開(kāi)源思路讓文件盡量簡(jiǎn)單少放復(fù)雜的 HTML 標(biāo)簽或自定義 JSON 結(jié)構(gòu)。爬蟲(chóng)需要的不是花樣而是穩(wěn)定的文本內(nèi)容。3. 創(chuàng)建一個(gè)規(guī)范的 llms.txt3.1 最小可用文件一個(gè)最簡(jiǎn)llms.txt文件可以只包含三部分第一行一級(jí)標(biāo)題。第二行一段引用簡(jiǎn)介。后續(xù)行按 Markdown 格式列出的重要鏈接。下面是一個(gè)文本示例# Example Site Example Site 是一個(gè)提供 Python 后端教程和開(kāi)源工具的中文技術(shù)站點(diǎn)內(nèi)容覆蓋 FastAPI、Django、數(shù)據(jù)庫(kù)設(shè)計(jì)和項(xiàng)目部署。 - [Python 后端教程](https://example.com/python): 從環(huán)境搭建到項(xiàng)目上線(xiàn)的完整教程 - [FastAPI 實(shí)戰(zhàn)](https://example.com/fastapi): 使用 FastAPI 構(gòu)建 REST API - [開(kāi)源項(xiàng)目](https://github.com/example/example-project): 后端腳手架與部署腳本這里需要注意的是llms.txt并不是完整的 Markdown 文檔而是“摘要 精選鏈接”的組合。鏈接數(shù)量不要貪多建議保留 10 到 20 個(gè)最重要的入口。如果鏈接太多反而失去了“快速理解”的意義。3.2 使用純文本而不是 HTML很多開(kāi)發(fā)者會(huì)下意識(shí)地寫(xiě)成 HTML 文件比如html body h1Example Site/h1 a hrefhttps://example.comExample/a /body /html這種寫(xiě)法對(duì)人和瀏覽器都很常見(jiàn)但llms.txt的核心命名和訪(fǎng)問(wèn)方式要求它是文本文件。雖然某些爬蟲(chóng)可能也能從 HTML 中提取內(nèi)容但最好嚴(yán)格按照純文本格式輸出。MIME 類(lèi)型建議設(shè)置為text/plain字符集建議顯式為UTF-8。如果你擔(dān)心格式不被理解可以把鏈接末尾的說(shuō)明文字寫(xiě)成一句完整的話(huà)。這樣即使爬蟲(chóng)不解析 Markdown也能從純文本中讀到關(guān)鍵信息。3.3 文件的存放位置文件名必須叫l(wèi)lms.txt全部小寫(xiě)不要寫(xiě)成LLMS.txt或Llms.Txt。服務(wù)器是否區(qū)分大小寫(xiě)取決于操作系統(tǒng)但為了避免不必要的麻煩一律使用小寫(xiě)。文件應(yīng)該放在域名根目錄也就是https://example.com/llms.txt而不是https://example.com/content/llms.txt https://example.com/static/llms.txt雖然某些爬蟲(chóng)可能會(huì)遞歸發(fā)現(xiàn)子路徑下的文件但官方倡議和大多數(shù)文檔默認(rèn)讀取根目錄地址。放在根目錄是最保守、兼容性最高的做法。3.4 是否需要生成動(dòng)態(tài)內(nèi)容如果你的站點(diǎn)本身就是動(dòng)態(tài)站點(diǎn)可以把llms.txt做成動(dòng)態(tài)接口但要注意響應(yīng)頭和緩存。比如 Nginx 配置中可以直接映射到本地文件也可以由后端返回字符串。只要最終響應(yīng)是純文本并且根路徑可訪(fǎng)問(wèn)就行。動(dòng)態(tài)生成的好處是能自動(dòng)更新鏈接和簡(jiǎn)介壞處是需要額外保證性能與穩(wěn)定性。對(duì)于個(gè)人博客靜態(tài)文件通常已經(jīng)夠用。4. 部署與本地驗(yàn)證4.1 部署到服務(wù)器以最常見(jiàn)的 Nginx 靜態(tài)站點(diǎn)為例如果你把llms.txt文件放在/var/www/example.com/llms.txtNginx 默認(rèn)會(huì)根據(jù)文件擴(kuò)展名返回text/plain或application/octet-stream。為了保險(xiǎn)可以顯式加上一層配置server { listen 80; server_name example.com; root /var/www/example.com; index index.html; location /llms.txt { default_type text/plain; charsetutf-8; add_header Cache-Control no-cache; } }配置完成后重新加載 Nginxsudo nginx -t sudo systemctl reload nginx這段配置的作用是當(dāng)請(qǐng)求/llms.txt時(shí)明確返回text/plain和 UTF-8 字符集同時(shí)關(guān)閉緩存方便后續(xù)更新內(nèi)容時(shí)能快速被新的爬蟲(chóng)請(qǐng)求讀取到。4.2 用 curl 模擬抓取部署完成后使用curl模擬爬蟲(chóng)的請(qǐng)求檢查返回內(nèi)容curl -i https://example.com/llms.txt期望輸出類(lèi)似下面這樣HTTP/2 200 content-type: text/plain; charsetutf-8 cache-control: no-cache # Example Site Example Site 是一個(gè)提供 Python 后端教程和開(kāi)源工具的中文技術(shù)站點(diǎn)...重點(diǎn)看兩個(gè)地方狀態(tài)碼是否是200響應(yīng)頭中content-type是否是text/plain或我們配置的值。如果看到301或302說(shuō)明請(qǐng)求可能被重定向到了首頁(yè)或其他位置需要進(jìn)一步處理重定向規(guī)則。如果你啟用了 CDN還需要檢查 CDN 節(jié)點(diǎn)上是否存在緩存版本?？稍谡?qǐng)求頭中加一個(gè)隨機(jī)查詢(xún)參數(shù)來(lái)測(cè)試不過(guò)這里不建議在公開(kāi) URL 上隨意加參數(shù)因?yàn)榕老x(chóng)不會(huì)自動(dòng)加上。你可以在 CDN 控制臺(tái)中進(jìn)行緩存刷新確認(rèn)源站的響應(yīng)正確。4.3 檢查 robots.txt 是否允許讀取robots.txt可能會(huì)影響某些遵循協(xié)議的爬蟲(chóng)。雖然沒(méi)有統(tǒng)一標(biāo)準(zhǔn)說(shuō)“必須先看 robots.txt”但如果你的robots.txt禁止了所有爬蟲(chóng)那么一些 LLM 爬蟲(chóng)也可能遵守這個(gè)限制?？梢栽趓obots.txt中為常見(jiàn) AI 爬蟲(chóng)添加規(guī)則例如User-agent: * Allow: /更保守一點(diǎn)你不希望其他爬蟲(chóng)進(jìn)入后臺(tái)但希望 LLM 爬蟲(chóng)讀取llms.txt可以用類(lèi)似下面這種方式User-agent: * Disallow: /admin/ Allow: /llms.txt這是一種兜底策略具體爬蟲(chóng)是否遵守要看它們的實(shí)現(xiàn)。需要注意的是不要因?yàn)閾?dān)心抓取不足就把robots.txt全部刪掉這可能會(huì)帶來(lái)更大的安全和合規(guī)風(fēng)險(xiǎn)。4.4 使用瀏覽器無(wú)痕窗口訪(fǎng)問(wèn)除了命令行還可以用瀏覽器無(wú)痕窗口直接訪(fǎng)問(wèn)https://example.com/llms.txt。正常情況下瀏覽器會(huì)直接顯示文本內(nèi)容而不是觸發(fā)下載。如果瀏覽器提示下載說(shuō)明 Content-Type 可能被配置成了application/octet-stream這會(huì)降低部分爬蟲(chóng)的讀取意愿需要按上面的 Nginx 配置修改。到這里文件已經(jīng)部署成功。但“部署成功”和“被爬蟲(chóng)訪(fǎng)問(wèn)”之間還有很長(zhǎng)一段距離。接下來(lái)我們重點(diǎn)排查“為什么沒(méi)有被抓取”。5. 排查為什么 Nobody Fetched My Llms.txt5.1 檢查訪(fǎng)問(wèn)日志與 CDN 日志先說(shuō)一個(gè)容易誤判的情況你看著 CDN 控制臺(tái)里的統(tǒng)計(jì)沒(méi)有l(wèi)lms.txt請(qǐng)求于是以為“沒(méi)人抓取”但可能 CDN 把靜態(tài)文件緩存了后續(xù)請(qǐng)求全部命中節(jié)點(diǎn)不會(huì)每次回源。因此第一件事是同時(shí)查看源站訪(fǎng)問(wèn)日志、CDN 訪(fǎng)問(wèn)日志和 CDN 命中率。如果本地日志格式默認(rèn)包含請(qǐng)求路徑可以臨時(shí)用命令快速過(guò)濾grep llms.txt /var/log/nginx/access.log | tail -20如果暫時(shí)沒(méi)有請(qǐng)求先不要慌。llms.txt不是搜索引擎的“收錄提交接口”它不會(huì)像sitemap.xml提交后立刻被 PING 抓取。它的傳播依賴(lài)的是爬蟲(chóng)主動(dòng)發(fā)現(xiàn)和嘗試讀取。5.2 常見(jiàn)原因清單下面這張表列出了“配置了 llms.txt 卻沒(méi)被讀取”的高頻原因問(wèn)題現(xiàn)象常見(jiàn)原因解決思路日志完全沒(méi)有請(qǐng)求爬蟲(chóng)還沒(méi)發(fā)現(xiàn)這個(gè)文件名在首頁(yè)加入鏈接通過(guò) sitemap 暴露等待更長(zhǎng)時(shí)間請(qǐng)求出現(xiàn) 404文件路徑不對(duì)或大小寫(xiě)錯(cuò)誤檢查根目錄llms.txt是否存在確保小寫(xiě)請(qǐng)求返回 301/302站點(diǎn)強(qiáng)制跳轉(zhuǎn) HTTPS 或新增尾斜杠檢查重定向規(guī)則保持/llms.txt最終可訪(fǎng)問(wèn)請(qǐng)求返回 200 但內(nèi)容為空文件編碼或服務(wù)器配置異常用 curl 檢查響應(yīng)體確認(rèn)非空爬蟲(chóng)請(qǐng)求被防火墻攔截WAF 規(guī)則誤判純文本請(qǐng)求查看安全日志添加白名單或調(diào)整規(guī)則所有請(qǐng)求都命中 CDN 緩存源站沒(méi)有回源日志里看不到刷新 CDN 緩存或?qū)Ρ?CDN 日志爬蟲(chóng)遵守 robots.txt 且被禁止規(guī)則過(guò)于嚴(yán)格允許爬蟲(chóng)訪(fǎng)問(wèn)根目錄和/llms.txt文件內(nèi)容過(guò)于簡(jiǎn)略爬蟲(chóng)認(rèn)為不值得讀取豐富內(nèi)容增加高質(zhì)量說(shuō)明文字5.3 你的站點(diǎn)的“外鏈曝光度”不足再想一個(gè)細(xì)節(jié)爬蟲(chóng)不會(huì)主動(dòng)在全網(wǎng)搜索“誰(shuí)的根目錄有 llms.txt”除非它們已經(jīng)在訪(fǎng)問(wèn)你的主頁(yè)或者從其他高質(zhì)量站點(diǎn)鏈接中發(fā)現(xiàn)了你的域名。如果你的網(wǎng)站在搜索引擎中權(quán)重不高、外部鏈接很少那么爬蟲(chóng)訪(fǎng)問(wèn)到你站點(diǎn)的概率自然低。這不是llms.txt格式的問(wèn)題而是站點(diǎn)的整體可見(jiàn)度問(wèn)題。你可以在首頁(yè)、關(guān)于頁(yè)、README 或開(kāi)發(fā)者文檔中顯式添加AI 閱讀入口https://example.com/llms.txt這樣即使普通爬蟲(chóng)抓取了首頁(yè)也可能順著鏈接去找llms.txt。同時(shí)如果參與了一些開(kāi)源社區(qū)、公眾號(hào)或技術(shù)平臺(tái)的活動(dòng)外部鏈接增多后被爬蟲(chóng)再次訪(fǎng)問(wèn)的概率也會(huì)提升。5.4 是否提交到過(guò)官方社區(qū)或聚合目錄目前l(fā)lms.txt相關(guān)的社區(qū)、目錄和討論還在快速增長(zhǎng)。某些項(xiàng)目會(huì)提供“站點(diǎn)提交”功能但這類(lèi)提交并不等同于保證抓取。如果你愿意可以關(guān)注 GitHub 上關(guān)于llms.txt的討論倉(cāng)庫(kù)、相關(guān) Awesome 列表加入自己的站點(diǎn)鏈接。但要注意不要四處亂發(fā)鏈接以免被當(dāng)成垃圾外鏈。更穩(wěn)妥的方式是讓站點(diǎn)內(nèi)容本身有被檢索的價(jià)值。llms.txt只負(fù)責(zé)把內(nèi)容更容易地遞給 AI但 AI 是否愿意訪(fǎng)問(wèn)取決于你的主題是否對(duì)它有參考意義。也就是說(shuō)內(nèi)容質(zhì)量依然是最核心的變量。5.5 等待期與爬蟲(chóng)更新節(jié)奏新的文件格式從提出到被廣泛支持需要一個(gè)較長(zhǎng)的周期。有些大型模型廠(chǎng)商已經(jīng)在研究和適配llms.txt但它們的調(diào)度頻率可能以周甚至月為單位。換句話(huà)說(shuō)可能爬蟲(chóng)確實(shí)“最終會(huì)來(lái)”只是還沒(méi)到抓取周期。建議做法是把llms.txt當(dāng)成長(zhǎng)期資產(chǎn)來(lái)維護(hù)而不是發(fā)布后天天盯日志。你可以設(shè)置一個(gè)提醒每?jī)芍軝z查一次請(qǐng)求日志如果兩個(gè)月內(nèi)完全沒(méi)有記錄再考慮更高頻的外部曝光策略。6. 如何提高 llms.txt 被讀取的概率6.1 在首頁(yè)正文中自然放置鏈接很多爬蟲(chóng)會(huì)從首頁(yè)開(kāi)始爬取。如果首頁(yè) HTML 中完全沒(méi)有出現(xiàn)llms.txt那爬蟲(chóng)即使訪(fǎng)問(wèn)了首頁(yè)也沒(méi)理由繼續(xù)請(qǐng)求這個(gè)文件。你可以在頁(yè)面底部或“關(guān)于本站”區(qū)域加入類(lèi)似文字a hrefhttps://example.com/llms.txt relnofollowAI 可讀版本/a添加relnofollow不是必須的。如果你希望爬蟲(chóng)把它當(dāng)作普通鏈接發(fā)現(xiàn)可以用正常鏈接。不過(guò)請(qǐng)不要把它放在導(dǎo)航欄中以免干擾普通用戶(hù)體驗(yàn)。6.2 在 sitemap.xml 中添加地址llms.txt是一個(gè)文本文件但它是一個(gè)可以公開(kāi)訪(fǎng)問(wèn)的 URL。在sitemap.xml中加入它是合法的可以讓搜索引擎和部分爬蟲(chóng)額外發(fā)現(xiàn)這個(gè)地址urlset xmlnshttp://www.sitemaps.org/schemas/sitemap/0.9 url lochttps://example.com/llms.txt/loc /url /urlset提交之后可能不會(huì)立刻帶來(lái)爬蟲(chóng)但至少多了一個(gè)被發(fā)現(xiàn)的渠道。注意sitemap.xml的 URL 集合一般面向網(wǎng)頁(yè)把文本文件放進(jìn)去不會(huì)影響其他頁(yè)面收錄但具體是否采用取決于爬蟲(chóng)實(shí)現(xiàn)。6.3 保證鏈接長(zhǎng)期可用和內(nèi)容更新爬蟲(chóng)讀取一次之后如果發(fā)現(xiàn)文件內(nèi)容長(zhǎng)期不更新后續(xù)訪(fǎng)問(wèn)頻率也可能降低。更新llms.txt時(shí)建議保留結(jié)構(gòu)穩(wěn)定不要頻繁改文件名。如果站點(diǎn)新增了重要文章可以在對(duì)應(yīng)章節(jié)追加鏈接也可以在簡(jiǎn)介里調(diào)整一到兩句話(huà)。這里有一個(gè)容易忽略的點(diǎn)llms.txt里的鏈接必須是可穩(wěn)定訪(fǎng)問(wèn)的絕對(duì)地址不要使用相對(duì)路徑。因?yàn)榕老x(chóng)可能從句法上識(shí)別鏈接但相對(duì)路徑在純文本中并不總是能正確處理。6.4 給 CDN 和源站設(shè)置合理的緩存時(shí)間緩存對(duì)于性能很有幫助但如果你每次更新llms.txt后沒(méi)有刷新 CDN 緩存爬蟲(chóng)拿到的可能是舊版本甚至因?yàn)榕f版本看起來(lái)沒(méi)有變化而減少下一次訪(fǎng)問(wèn)。建議對(duì)llms.txt設(shè)置較短的緩存過(guò)期時(shí)間或使用版本號(hào)思路但保持文件名不變。上面 Nginx 配置中Cache-Control no-cache就是一種保守做法。當(dāng)然較高的訪(fǎng)問(wèn)量下為一個(gè)小文件頻繁回源也沒(méi)必要?？梢栽O(shè)置max-age3600這類(lèi)短緩存例如add_header Cache-Control public, max-age3600;這表示 CDN 和瀏覽器可以緩存一小時(shí)對(duì)于大多數(shù)爬蟲(chóng)來(lái)說(shuō)足夠了。7. 常見(jiàn)問(wèn)題與進(jìn)一步排查7.1 為什么使用 curl 可以訪(fǎng)問(wèn)但爬蟲(chóng)沒(méi)有記錄大部分情況下這屬于“爬蟲(chóng)還沒(méi)來(lái)”的等待期問(wèn)題。你可以先確認(rèn)是否有GPTBot、ClaudeBot、Google-Extended等常見(jiàn) AI 爬蟲(chóng)的 UA 訪(fǎng)問(wèn)過(guò)站點(diǎn)。在沒(méi)有訪(fǎng)問(wèn)記錄前先判斷是否被 WAF 或地區(qū)限制攔住了。有些防火墻會(huì)攔截非瀏覽器的 User-Agent導(dǎo)致爬蟲(chóng)請(qǐng)求到達(dá)服務(wù)器前就被丟掉。你可以在安全日志中搜索llms.txt確認(rèn)有沒(méi)有被攔截的記錄。如果確實(shí)被攔截解決方法是在 WAF 中放行包含常用 AI 爬蟲(chóng) User-Agent 的 GET 請(qǐng)求并且只允許訪(fǎng)問(wèn)公開(kāi)目錄。不要為了放行而關(guān)閉整個(gè) WAF安全邊界比抓取更重要。7.2 是否需要把 llms.txt 提交到搜索引擎站長(zhǎng)平臺(tái)搜索引擎的站長(zhǎng)平臺(tái)主要面向普通 Web 頁(yè)面收錄目前沒(méi)有統(tǒng)一的llms.txt提交入口。你可以在站長(zhǎng)平臺(tái)中提交首頁(yè)或sitemap.xml讓搜索引擎更快地索引站點(diǎn)整體地址但不能保證它一定讀取llms.txt。所以不要把“提交站長(zhǎng)平臺(tái)”和“提交 llms.txt”混為一談。未來(lái)會(huì)不會(huì)出現(xiàn)針對(duì) LLM 內(nèi)容的站長(zhǎng)平臺(tái)或目錄目前還不確定?，F(xiàn)階段可以把它理解為“內(nèi)容協(xié)作規(guī)范”而不是“提交協(xié)議”。7.3 如何在 Apache 中設(shè)置響應(yīng)頭如果你使用的是 Apache 而不是 Nginx可以在.htaccess或虛擬主機(jī)配置中添加Files llms.txt ForceType text/plain Header set Cache-Control no-cache /Files配置完成后重啟 Apache 并驗(yàn)證。核心思路和 Nginx 一樣確保純文本輸出、編碼正確、緩存策略合理。7.4 如何檢查是否有爬蟲(chóng)讀取到了舊版本如果你使用的是 Git 管理的靜態(tài)站點(diǎn)可以在部署腳本里輸出llms.txt的變更時(shí)間。也可以在服務(wù)端給llms.txt增加一個(gè)自定義響應(yīng)頭add_header X-LLMs-Txt-Version 20250118;當(dāng)你在日志中看到X-LLMs-Txt-Version時(shí)說(shuō)明某次請(qǐng)求已經(jīng)拿到了特定版本。這個(gè)頭對(duì)爬蟲(chóng)沒(méi)有決定作用但能方便你判斷緩存是否刷新。7.5 是否可以把 llms.txt 寫(xiě)成 JSON不建議。雖然 JSON 是機(jī)器可讀的但llms.txt的社區(qū)共識(shí)是純文本 Markdown 風(fēng)格。如果你同時(shí)提供llms.json也不會(huì)對(duì)現(xiàn)狀產(chǎn)生什么幫助反而會(huì)分散注意力。讓文件保持簡(jiǎn)單才更容易被不同實(shí)現(xiàn)兼容。8. 最佳實(shí)踐與工程建議8.1 內(nèi)容設(shè)計(jì)原則寫(xiě)llms.txt時(shí)始終站在“一個(gè)第一次訪(fǎng)問(wèn)你網(wǎng)站 AI”的角度思考。你不需要把所有文章都放進(jìn)去只需要告訴它這個(gè)網(wǎng)站是誰(shuí)。它主要提供什么價(jià)值。最值得讀的 5 到 15 個(gè)鏈接。簡(jiǎn)介部分建議控制在 3 到 5 句話(huà)內(nèi)。鏈接的錨文本不要太長(zhǎng)但也不要只寫(xiě)“點(diǎn)擊這里”。錨文本要能描述目標(biāo)內(nèi)容。比如“FastAPI 中文入門(mén)教程”就比“文章”更有價(jià)值。8.2 不要放入敏感信息很多人會(huì)把llms.txt理解為“給 AI 看的全部?jī)?nèi)容”于是把后臺(tái)地址、內(nèi)部 API、數(shù)據(jù)庫(kù)地址也放了進(jìn)去。這是非常危險(xiǎn)的做法。llms.txt是公開(kāi)文件任何人都能訪(fǎng)問(wèn)。里面只放你想公開(kāi)分享的鏈接和信息權(quán)限相關(guān)的內(nèi)容一律不要出現(xiàn)。同時(shí)不要生成任何包含用戶(hù)隱私或個(gè)人身份信息的自動(dòng)摘要。如果你用程序自動(dòng)生成必須做脫敏和過(guò)濾。8.3 日志監(jiān)控與異常告警llms.txt只是一個(gè)小文件但它能反映 AI 爬蟲(chóng)對(duì)你的站點(diǎn)關(guān)注度。建議單獨(dú)在訪(fǎng)問(wèn)日志中記錄該文件的狀態(tài)碼。比如使用 Nginx 的 map 或簡(jiǎn)單的 awk 過(guò)濾請(qǐng)求路徑將非 200 狀態(tài)碼發(fā)送到告警系統(tǒng)。這樣可以及時(shí)發(fā)現(xiàn)路徑失效、權(quán)限變更等問(wèn)題。一個(gè)簡(jiǎn)單的手動(dòng)監(jiān)控腳本思路#!/bin/bash urlhttps://example.com/llms.txt code$(curl -s -o /dev/null -w %{http_code} --max-time 10 $url) if [ $code ! 200 ]; then echo llms.txt 返回異常狀態(tài)碼: $code fi腳本可以放到定時(shí)任務(wù)里每天檢查一次。生產(chǎn)環(huán)境中建議在測(cè)試環(huán)境多次驗(yàn)證后再執(zhí)行避免頻繁請(qǐng)求對(duì)源站產(chǎn)生壓力。8.4 與站點(diǎn)改版聯(lián)動(dòng)當(dāng)你做網(wǎng)站改版、遷移域名或修改目錄結(jié)構(gòu)時(shí)很容易忘記更新llms.txt里的鏈接。建議把llms.txt納入發(fā)布清單和robots.txt、sitemap.xml一起檢查。如果網(wǎng)站使用了批量生成工具可以寫(xiě)一個(gè)簡(jiǎn)單腳本自動(dòng)抓取站點(diǎn)最新文章的標(biāo)題和 URL生成llms.txt。但要注意自動(dòng)化生成不要破壞文件頂部的固定簡(jiǎn)介和重點(diǎn)鏈接。比較合理的做法是把人工維護(hù)的“恒定部分”和程序生成的“最新文章部分”分開(kāi)最終合并輸出。8.5 不要為了抓取而不顧規(guī)范有些站點(diǎn)為了吸引 AI 爬蟲(chóng)會(huì)在llms.txt里堆滿(mǎn)關(guān)鍵詞或者編造不存在的鏈接。這樣做短期內(nèi)可能被某個(gè)爬蟲(chóng)多訪(fǎng)問(wèn)一次但長(zhǎng)期損害的是站點(diǎn)信譽(yù)。大模型廠(chǎng)商很可能會(huì)對(duì)低質(zhì)量?jī)?nèi)容做降權(quán)甚至直接忽略。所以llms.txt的使用應(yīng)當(dāng)遵循“真實(shí)、簡(jiǎn)潔、穩(wěn)定”的原則。所有鏈接都應(yīng)該可訪(fǎng)問(wèn)簡(jiǎn)介應(yīng)該和實(shí)際內(nèi)容匹配不能為了“AI 好看”而寫(xiě)一套和網(wǎng)頁(yè)內(nèi)容完全不一致的文字。9. 寫(xiě)在最后回到最初的困惑為什么llms.txt沒(méi)人抓取最直接的原因是它還不是一個(gè)所有爬蟲(chóng)默認(rèn)讀取的強(qiáng)制協(xié)議更像是一份“給 AI 提供的主動(dòng)合作文件”。你部署它相當(dāng)于在網(wǎng)站門(mén)口立了一塊清晰的指示牌但門(mén)口沒(méi)有專(zhuān)門(mén)負(fù)責(zé)讀指示牌的人。因此“沒(méi)被抓取”大概率不是配置失敗而是發(fā)現(xiàn)機(jī)制尚未成熟。下一步你可以做三件事再次檢查llms.txt的格式、路徑、響應(yīng)頭和緩存策略確保它時(shí)刻可訪(fǎng)問(wèn)。在首頁(yè)、sitemap 和技術(shù)社區(qū)外鏈中增加它的曝光讓爬蟲(chóng)有機(jī)會(huì)發(fā)現(xiàn)。持續(xù)更新內(nèi)容把這些內(nèi)容當(dāng)成一種長(zhǎng)期資產(chǎn)去維護(hù)。如果你已經(jīng)完成了這些還是遲遲等不到請(qǐng)求也不用過(guò)度焦慮。llms.txt才剛剛開(kāi)始被更多人討論早一點(diǎn)把基礎(chǔ)打扎實(shí)等到各類(lèi)模型廠(chǎng)商普遍支持的時(shí)候你的站點(diǎn)已經(jīng)比別人多走了一步。多嘗試一些網(wǎng)站觀察別人的格式和更新頻率也許你會(huì)找到更適合自己站點(diǎn)的做法。希望這篇文章能幫你理清思路如果你的llms.txt也遇到類(lèi)似的冷啟動(dòng)問(wèn)題不妨從今天開(kāi)始按照上面的清單逐項(xiàng)排查。