版robots.txt，電商數(shù)據(jù)授權(quán)新方案)
這次我們來(lái)看一個(gè)很有意思的協(xié)議提案Shelf Protocol作者把它直接定義為 Robots.txt for Commerce也就是“商業(yè)版 robots.txt”。這個(gè)名字起得很準(zhǔn)確因?yàn)樗哪繕?biāo)不是再做一套通用爬蟲(chóng)協(xié)議而是把 robots.txt 的思路遷移到電商和商業(yè)數(shù)據(jù)場(chǎng)景站點(diǎn)所有者可以通過(guò)一份機(jī)器可讀的策略文件聲明自己的商品數(shù)據(jù)、價(jià)格、庫(kù)存、優(yōu)惠信息允許誰(shuí)抓取、以什么目的使用、是否需要授權(quán)。如果你在做電商平臺(tái)、比價(jià)工具、AI 訓(xùn)練數(shù)據(jù)采集、第三方數(shù)據(jù)服務(wù)或爬蟲(chóng)治理這個(gè)項(xiàng)目值得仔細(xì)看一遍。它不是本地部署那類模型工具不挑顯卡、不占顯存本質(zhì)上是一個(gè)標(biāo)準(zhǔn)提案和基礎(chǔ)設(shè)施層的約定。本文會(huì)從協(xié)議動(dòng)機(jī)、與 robots.txt 的對(duì)比、部署思路、驗(yàn)證方法、自動(dòng)化接入、性能觀察和常見(jiàn)排查幾個(gè)方向展開(kāi)盡量把“能不能用、怎么用、怎么驗(yàn)證”講清楚。1. 核心能力速覽Shelf Protocol 目前屬于社區(qū)提案和標(biāo)準(zhǔn)討論階段從 Hacker News 上的展示內(nèi)容和命名方式來(lái)看它的核心能力可以整理成下面這張表能力項(xiàng)說(shuō)明協(xié)議類型面向商業(yè)數(shù)據(jù)的訪問(wèn)控制與授權(quán)聲明協(xié)議核心定位Robots.txt for Commerce解決電商數(shù)據(jù)抓取與使用授權(quán)問(wèn)題主要功能聲明商品價(jià)格、庫(kù)存、優(yōu)惠、商品描述等數(shù)據(jù)的使用條件適用對(duì)象電商平臺(tái)、比價(jià)站點(diǎn)、價(jià)格監(jiān)測(cè)服務(wù)、AI 數(shù)據(jù)采集方、數(shù)據(jù)治理平臺(tái)部署位置站點(diǎn)根目錄、.well-known目錄、HTTP 響應(yīng)頭或 DNS 記錄具體以項(xiàng)目文檔為準(zhǔn)數(shù)據(jù)格式預(yù)計(jì)為 JSON 或 YAML 一類機(jī)器可讀格式需要按實(shí)際項(xiàng)目確認(rèn)硬件要求無(wú)特殊硬件要求普通 Web 服務(wù)器和 CDN 邊緣節(jié)點(diǎn)即可承載是否支持一鍵啟動(dòng)不適用屬于 Web 協(xié)議基礎(chǔ)設(shè)施不需要本地安裝是否支持 API協(xié)議文件本身可作為機(jī)器可讀端點(diǎn)被調(diào)用是否支持批量任務(wù)適合對(duì)大量站點(diǎn)做批量策略采集和合規(guī)校驗(yàn)開(kāi)源狀態(tài)社區(qū)提案項(xiàng)目建議以倉(cāng)庫(kù) README 和討論帖為準(zhǔn)從材料來(lái)看這個(gè)項(xiàng)目的重點(diǎn)不是“阻止所有爬蟲(chóng)”而是建立一套“商業(yè)數(shù)據(jù)使用的君子協(xié)定”和可執(zhí)行聲明。這里需要先明確一個(gè)邊界Shelf Protocol 解決的是“聲明問(wèn)題”不是“防護(hù)問(wèn)題”。它告訴數(shù)據(jù)使用方哪些行為被允許、哪些行為需要授權(quán)但它本身不是一個(gè) WAF不能物理阻斷惡意抓取。實(shí)際落地時(shí)它需要配合訪問(wèn)控制、反爬策略、法律條款和審計(jì)機(jī)制一起使用。2. 適用場(chǎng)景與使用邊界2.1 適合誰(shuí)用Shelf Protocol 最適合下面幾類團(tuán)隊(duì)角色典型訴求Shelf Protocol 能做什么電商平臺(tái)不希望比價(jià)插件直接抓價(jià)格和庫(kù)存在協(xié)議文件中聲明價(jià)格數(shù)據(jù)是否允許抓取、是否允許轉(zhuǎn)售品牌方管控渠道價(jià)格透明度統(tǒng)一聲明商品數(shù)據(jù)使用條款比價(jià)工具需要合法合規(guī)地獲取商品信息通過(guò)協(xié)議文件判斷是否可以直接抓取、是否需要申請(qǐng)授權(quán)AI 數(shù)據(jù)服務(wù)商需要大規(guī)模商品數(shù)據(jù)做訓(xùn)練自動(dòng)識(shí)別數(shù)據(jù)使用邊界規(guī)避侵權(quán)風(fēng)險(xiǎn)合規(guī)與安全團(tuán)隊(duì)建立數(shù)據(jù)訪問(wèn)審計(jì)基線將協(xié)議文件作為企業(yè)級(jí)合規(guī)審查的組成部分2.2 能解決什么問(wèn)題過(guò)去電商網(wǎng)站只有兩個(gè)選擇要么全開(kāi)放讓所有爬蟲(chóng)隨便抓要么全封禁導(dǎo)致正常的比價(jià)、搜索、數(shù)據(jù)分析渠道也受影響。Shelf Protocol 試圖提供一個(gè)中間層你可以明確寫出“搜索引擎可以索引商品詳情頁(yè)”也可以寫“價(jià)格和庫(kù)存只允許授權(quán)合作伙伴調(diào)用”還可以寫“AI 公司需要單獨(dú)申請(qǐng)數(shù)據(jù)許可”。這套機(jī)制一旦被爬蟲(chóng)工具、瀏覽器插件、數(shù)據(jù)平臺(tái)和 AI 公司遵守就能從源頭降低數(shù)據(jù)糾紛。2.3 不適合什么場(chǎng)景需要注意Shelf Protocol 不適合作為唯一的反爬手段。理由很簡(jiǎn)單它依賴調(diào)用方主動(dòng)讀取和遵守。遇到不遵守協(xié)議的抓取者協(xié)議文件本身起不到攔截效果。需要防護(hù)的場(chǎng)景仍然要配合 IP 策略、訪問(wèn)頻率控制、滑塊驗(yàn)證、接口簽名、數(shù)據(jù)加密等手段。另外Shelf Protocol 也不是法律文書。它的表達(dá)能力再?gòu)?qiáng)也不能替代正式的數(shù)據(jù)授權(quán)協(xié)議、隱私政策和條款。2.4 合規(guī)與安全邊界涉及商品價(jià)格、庫(kù)存、用戶評(píng)價(jià)、銷量等數(shù)據(jù)時(shí)必須區(qū)分?jǐn)?shù)據(jù)是否屬于個(gè)人信息、是否屬于商業(yè)秘密、是否受反壟斷約束。商業(yè)數(shù)據(jù)的使用邊界不能只靠一個(gè)協(xié)議文件解決需要由法務(wù)和合規(guī)團(tuán)隊(duì)共同確定策略。如果協(xié)議聲明被用作排除競(jìng)爭(zhēng)的借口或者涉及價(jià)格協(xié)同可能引發(fā)反壟斷合規(guī)風(fēng)險(xiǎn)。這類問(wèn)題要特別謹(jǐn)慎不要用技術(shù)聲明的形式掩蓋商業(yè)策略上的合規(guī)缺陷。涉及用戶行為數(shù)據(jù)比如用戶點(diǎn)擊、購(gòu)買記錄時(shí)更要遵守個(gè)人信息保護(hù)相關(guān)法規(guī)不能通過(guò)協(xié)議文件繞開(kāi)用戶授權(quán)。3. 協(xié)議設(shè)計(jì)核心Robots.txt for Commerce 如何解決數(shù)據(jù)授權(quán)問(wèn)題要理解 Shelf Protocol最直接的方式是把 robots.txt 的機(jī)制搬過(guò)來(lái)看。傳統(tǒng) robots.txt 的規(guī)則很簡(jiǎn)單在站點(diǎn)根目錄放一個(gè)文本文件告訴爬蟲(chóng)哪些路徑可以抓、哪些路徑不能抓。它的工作模式是聲明式的站點(diǎn)說(shuō)了算爬蟲(chóng)自愿遵守。Shelf Protocol 本質(zhì)上延續(xù)了這個(gè)邏輯但擴(kuò)展了三個(gè)維度身份、資源、條件。維度robots.txtShelf Protocol 的擴(kuò)展方向身份靠 User-agent 區(qū)分爬蟲(chóng)類型可能擴(kuò)展為組織身份、用途身份比如“AI 訓(xùn)練爬蟲(chóng)”“比價(jià)插件”“學(xué)術(shù)研究”資源用路徑表達(dá) URL 范圍可能直接面向商業(yè)數(shù)據(jù)對(duì)象比如價(jià)格、庫(kù)存、促銷條件只有 allow 和 disallow可能支持“允許抓取但需要署名”“允許查看但不允許轉(zhuǎn)售”“需要付費(fèi)授權(quán)”等條件用一句話概括robots.txt 解決的是 Web 資源索引邊界Shelf Protocol 解決的是商業(yè)數(shù)據(jù)使用邊界。3.1 常見(jiàn)能力模塊從“商業(yè)數(shù)據(jù)授權(quán)聲明”這個(gè)目標(biāo)反推一個(gè)成熟的 Shelf Protocol 實(shí)現(xiàn)通常會(huì)包含以下模塊權(quán)限聲明這是最核心的模塊。站點(diǎn)聲明誰(shuí)可以訪問(wèn)哪些商業(yè)數(shù)據(jù)?？梢园磁老x(chóng)身份區(qū)分也可以按訪問(wèn)目的區(qū)分。典型聲明包括“允許搜索引擎索引商品標(biāo)題和描述”“禁止第三方工具抓取價(jià)格和庫(kù)存”。使用條件權(quán)限聲明只說(shuō)明“能不能拿”使用條件說(shuō)明“拿了之后能做什么”。常見(jiàn)條件包括非商業(yè)用途允許、商業(yè)用途需要署名、禁止整合轉(zhuǎn)售、禁止用于模型訓(xùn)練、需要先申請(qǐng) API Token。配額與頻率真實(shí)場(chǎng)景中同一份數(shù)據(jù)對(duì)不同消費(fèi)者的開(kāi)放頻率不同。Shelf Protocol 可能會(huì)支持聲明訪問(wèn)頻率上限和批量抓取限制避免正常授權(quán)和數(shù)據(jù)濫用之間的邊界模糊。歸屬要求站點(diǎn)所有者可以要求數(shù)據(jù)使用方在展示數(shù)據(jù)時(shí)附上來(lái)源鏈接或品牌標(biāo)識(shí)。這和學(xué)術(shù)引用的邏輯類似也是很多比價(jià)網(wǎng)站與品牌方爭(zhēng)議的焦點(diǎn)。聯(lián)系與授權(quán)通道聲明不能只告訴對(duì)方“不允許”還得告訴對(duì)方“如果你有正當(dāng)需求應(yīng)該去哪里申請(qǐng)”。所以協(xié)議中大概率會(huì)包含授權(quán)聯(lián)系入口比如授權(quán) API 地址、商務(wù)聯(lián)系人、申請(qǐng)表單地址。3.2 與 robots.txt 的定位關(guān)系一個(gè)常見(jiàn)誤區(qū)是Shelf Protocol 要取代 robots.txt。實(shí)際上不需要。兩者定位不同robots.txt 控制的是“搜索引擎爬蟲(chóng)對(duì) Web 資源的索引行為”核心是路徑級(jí)控制。Shelf Protocol 控制的是“商業(yè)數(shù)據(jù)的使用與授權(quán)”核心是數(shù)據(jù)級(jí)控制。一個(gè)合理的技術(shù)棧是站點(diǎn)同時(shí)部署 robots.txt 和 Shelf Protocol。robots.txt 繼續(xù)管搜索引擎爬蟲(chóng)Shelf Protocol 管商業(yè)數(shù)據(jù)抓取方和 AI 數(shù)據(jù)采集方。兩者形成互補(bǔ)關(guān)系而不是相互替代。3.3 關(guān)鍵機(jī)制機(jī)器可讀與人工可讀協(xié)議要能落地必須有非常好的機(jī)器可讀性。爬蟲(chóng)工具和數(shù)據(jù)處理平臺(tái)在請(qǐng)求商品頁(yè)面之前先讀取站點(diǎn)發(fā)布的協(xié)議文件然后根據(jù)規(guī)則決定是否繼續(xù)、是否需要走授權(quán)流程。同時(shí)站點(diǎn)運(yùn)營(yíng)人員也需要能看懂。所以協(xié)議文件的結(jié)構(gòu)應(yīng)該簡(jiǎn)潔字段命名要直觀。從 Robots.txt for Commerce 這個(gè)類比看Shelf Protocol 的目標(biāo)就是讓“不懂代碼的運(yùn)營(yíng)”也能理解“哪些數(shù)據(jù)被允許抓取”。4. 環(huán)境準(zhǔn)備與部署思路Shelf Protocol 不是本地軟件不需要安裝依賴也不需要 GPU。它更像一份約定你需要在站點(diǎn)服務(wù)器上提供一個(gè)可訪問(wèn)、可解析的策略文件。下面給出通用的部署思路具體路徑和字段以實(shí)際項(xiàng)目文檔為準(zhǔn)。4.1 前置條件準(zhǔn)備項(xiàng)說(shuō)明域名需要在主域名或指定子域上部署協(xié)議文件Web 服務(wù)器Nginx、Apache、靜態(tài)托管服務(wù)或 CDN 邊緣函數(shù)均可DNS 控制臺(tái)如果需要通過(guò) TXT 記錄做驗(yàn)證需要域名解析權(quán)限HTTPS建議強(qiáng)制開(kāi)啟協(xié)議文件涉及數(shù)據(jù)授權(quán)明文傳輸不合理測(cè)試工具curl、瀏覽器開(kāi)發(fā)者工具、Postman 或自寫腳本4.2 策略文件生成協(xié)議文件的核心是生成一份結(jié)構(gòu)化的策略聲明。這里給一個(gè)通用參考結(jié)構(gòu)字段命名不代表 Shelf Protocol 官方規(guī)范僅用于演示如何組織“權(quán)限、條件、聯(lián)系信息”{ protocol: shelf-protocol, version: 1.0, domain: example.com, issued_at: 2025-01-01T00:00:00Z, policy: { search_engine: { allow: true, path: [/products*] }, price_comparison: { allow: false, note: 需要授權(quán)后開(kāi)放 }, ai_training: { allow: false, note: 如需獲取數(shù)據(jù)請(qǐng)通過(guò)下方 address 申請(qǐng) }, authorized_partner: { allow: true, requires_token: true, token_endpoint: https://example.com/api/token } }, usage_terms: { attribution_required: true, resale_forbidden: true, rate_limit_per_minute: 60 }, contact: { authorization_url: https://example.com/data-license, email: data-accessexample.com } }實(shí)際字段需要按項(xiàng)目文檔確認(rèn)。上面這個(gè)結(jié)構(gòu)只是用于說(shuō)明“商業(yè)數(shù)據(jù)授權(quán)聲明”可以包含哪些信息。4.3 Nginx 部署示例假設(shè)你已經(jīng)生成好協(xié)議文件放在站點(diǎn)服務(wù)器的/var/www/example.com/.well-known/shelf.json可以通過(guò) Nginx 直接暴露server { listen 443 ssl; server_name example.com; location /.well-known/shelf.json { alias /var/www/example.com/.well-known/shelf.json; default_type application/json; add_header Cache-Control public, max-age3600; add_header X-Content-Type-Options nosniff; } location / { proxy_pass http://127.0.0.1:8080; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; } }這個(gè)配置做了三件事將協(xié)議文件以application/json類型返回。設(shè)置 1 小時(shí)緩存避免每次被爬蟲(chóng)請(qǐng)求都回源。開(kāi)啟nosniff避免瀏覽器或客戶端對(duì)內(nèi)容類型做錯(cuò)誤判斷。如果你的站點(diǎn)托管在純靜態(tài)服務(wù)上直接把文件傳到對(duì)應(yīng)目錄即可不需要額外服務(wù)端配置。4.4 邊緣函數(shù)動(dòng)態(tài)生成如果協(xié)議內(nèi)容會(huì)動(dòng)態(tài)變化也可以在 Cloudflare Workers、邊緣函數(shù)上動(dòng)態(tài)生成。這里給一個(gè)通用偽代碼export default { async fetch(request, env, ctx) { const url new URL(request.url); if (url.pathname /.well-known/shelf.json) { const policy await getShelfPolicy(); // 從 KV 或數(shù)據(jù)庫(kù)讀取 return new Response(JSON.stringify(policy), { headers: { Content-Type: application/json } }); } return new Response(Not Found, { status: 404 }); } };動(dòng)態(tài)生成的好處是可以按請(qǐng)求方身份或 IP 返回不同策略版本也可以隨時(shí)調(diào)整授權(quán)條件不需要改服務(wù)器文件。4.5 DNS 驗(yàn)證與聲明從協(xié)議標(biāo)準(zhǔn)化角度來(lái)看DNS TXT 記錄也是常見(jiàn)驗(yàn)證方式。它可以用于證明域名所有者認(rèn)可該協(xié)議也可以聲明協(xié)議文件當(dāng)前位置# 示例在 DNS 控制臺(tái)添加 TXT 記錄 # 主機(jī)記錄_shelf # 記錄值Shelf-Protocol v1.0; policyhttps://example.com/.well-known/shelf.json不同 DNS 服務(wù)商的操作方式不同但原理一致通過(guò) DNS 驗(yàn)證讓數(shù)據(jù)使用方先確認(rèn)協(xié)議真實(shí)性再讀取具體策略。5. 功能測(cè)試與效果驗(yàn)證部署完成后要驗(yàn)證協(xié)議文件的可用性和正確性。下面給出一套通用驗(yàn)證流程。5.1 測(cè)試目標(biāo)協(xié)議文件是否可以公開(kāi)訪問(wèn)。返回內(nèi)容類型是否正確。JSON 結(jié)構(gòu)是否能被正常解析。爬蟲(chóng)客戶端讀取后能否做出正確判斷。訪問(wèn)頻率和緩存是否符合預(yù)期。5.2 用 curl 驗(yàn)證訪問(wèn)# 請(qǐng)求協(xié)議文件輸出 HTTP 狀態(tài)頭和響應(yīng)體 curl -I https://example.com/.well-known/shelf.json # 輸出完整響應(yīng) curl https://example.com/.well-known/shelf.json預(yù)期結(jié)果HTTP 狀態(tài)碼為 200。Content-Type為application/json。響應(yīng)體包含完整的策略聲明結(jié)構(gòu)。如果返回 404檢查文件路徑、Nginx alias 路徑、靜態(tài)托管目錄是否正確。 如果返回 403檢查目錄權(quán)限或 WAF 規(guī)則是否誤攔截。5.3 用 Python 解析并輸出決策這里模擬一個(gè)爬蟲(chóng)工具讀取協(xié)議文件后判斷自己是否有權(quán)限訪問(wèn)商品價(jià)格數(shù)據(jù)。腳本結(jié)構(gòu)是通用示例實(shí)際字段需要按項(xiàng)目文檔調(diào)整import json import requests # 1. 讀取協(xié)議文件 url https://example.com/.well-known/shelf.json resp requests.get(url, timeout10) if resp.status_code ! 200: print(f協(xié)議文件獲取失敗HTTP {resp.status_code}) exit(1) # 2. 解析 JSON try: shelf resp.json() except json.JSONDecodeError: print(協(xié)議文件不是合法 JSON) exit(1) # 3. 按調(diào)用方身份查找策略 # 這里只是通用示例實(shí)際需要按項(xiàng)目字段調(diào)整 client_type price_comparison policy shelf.get(policy, {}).get(client_type) if policy is None: print(未找到當(dāng)前調(diào)用方策略默認(rèn)拒絕訪問(wèn)) exit(0) if policy.get(allow) is True: print(允許抓取商品價(jià)格數(shù)據(jù)) if policy.get(requires_token): print(需要先申請(qǐng)?jiān)L問(wèn) Token) else: print(禁止抓取商品價(jià)格數(shù)據(jù)請(qǐng)聯(lián)系授權(quán)入口申請(qǐng)) auth_url shelf.get(contact, {}).get(authorization_url) print(f授權(quán)申請(qǐng)地址{auth_url})判斷成功的標(biāo)準(zhǔn)能穩(wěn)定獲取協(xié)議文件。JSON 解析無(wú)異常。不同調(diào)用方身份返回不同策略結(jié)果。未知身份默認(rèn)拒絕而不是默認(rèn)放行。5.4 模擬多站點(diǎn)批量校驗(yàn)如果你做的是數(shù)據(jù)合規(guī)平臺(tái)需要批量檢查多個(gè)電商站點(diǎn)是否部署了協(xié)議文件?？梢杂媚_本批量處理import json import requests from concurrent.futures import ThreadPoolExecutor domains [ https://example1.com, https://example2.com, https://example3.com, ] def check_shelf(domain): paths [/.well-known/shelf.json, /shelf.txt] for path in paths: url domain path try: resp requests.get(url, timeout10) if resp.status_code 200: return {domain: domain, status: ok, content_type: resp.headers.get(Content-Type)} except requests.RequestException: continue return {domain: domain, status: not_found} with ThreadPoolExecutor(max_workers5) as executor: results list(executor.map(check_shelf, domains)) for result in results: print(json.dumps(result, ensure_asciiFalse))5.5 失敗場(chǎng)景判斷現(xiàn)象可能原因排查方式返回 404文件路徑不對(duì)檢查目錄結(jié)構(gòu)和 Nginx alias返回 403目錄權(quán)限或 WAF 攔截檢查服務(wù)日志和安全策略Content-Type 錯(cuò)誤服務(wù)器默認(rèn)類型不是 JSON顯式設(shè)置 default_typeJSON 解析失敗編輯器保存了 BOM 頭或格式錯(cuò)誤用 JSON 校驗(yàn)工具檢查爬蟲(chóng)不遵守協(xié)議協(xié)議還在推廣階段覆蓋率不夠配合 robots.txt 和訪問(wèn)控制使用6. 自動(dòng)化接入與協(xié)議文件調(diào)用的實(shí)踐Shelf Protocol 不提供傳統(tǒng)意義上的“本地啟動(dòng)”但它提供的協(xié)議文件本身就是機(jī)器可讀端點(diǎn)?？梢园选白x取協(xié)議文件—解析策略—執(zhí)行決策”當(dāng)成一個(gè)標(biāo)準(zhǔn)化接口流程接到自己的數(shù)據(jù)采集系統(tǒng)、合規(guī)平臺(tái)或?yàn)g覽器插件中。6.1 將協(xié)議文件作為接口使用協(xié)議文件本質(zhì)上是一種輕量級(jí)接口請(qǐng)求路徑固定返回格式固定狀態(tài)碼語(yǔ)義清晰。和傳統(tǒng) API 相比它有這些特點(diǎn)特點(diǎn)說(shuō)明公開(kāi)只讀通常不需要鑒權(quán)即可讀取適合前置判斷標(biāo)準(zhǔn)化路徑便于成為行業(yè)默認(rèn)約定低消耗靜態(tài)文件或邊緣函數(shù)資源開(kāi)銷小可緩存數(shù)據(jù)變化不頻繁時(shí)緩存友好6.2 curl 調(diào)用示例# 讀取協(xié)議文件并把響應(yīng)體保存到本地 curl -s https://example.com/.well-known/shelf.json -o shelf.json # 請(qǐng)求時(shí)帶 User-Agent便于站點(diǎn)識(shí)別調(diào)用方身份 curl -s https://example.com/.well-known/shelf.json \ -H User-Agent: MyDataCrawler/1.0 (contactexample.com)6.3 Python 批量接入示例面對(duì)數(shù)千個(gè)電商域名的接入場(chǎng)景可以先通過(guò)協(xié)議文件判斷授權(quán)狀態(tài)再執(zhí)行抓取。這里給出一個(gè)通用任務(wù)隊(duì)列示例import json import requests import time import csv # 目標(biāo)站點(diǎn)列表 targets [ {domain: https://example1.com, client_type: ai_training}, {domain: https://example2.com, client_type: price_comparison}, ] def get_policy_status(domain, client_type): shelf_url f{domain}/.well-known/shelf.json try: resp requests.get(shelf_url, timeout10) if resp.status_code ! 200: return shelf_missing policy resp.json().get(policy, {}).get(client_type, {}) if policy.get(allow): return allowed return denied except Exception: return error results [] for t in targets: status get_policy_status(t[domain], t[client_type]) results.append({domain: t[domain], client_type: t[client_type], status: status}) time.sleep(0.3) with open(shelf_check_result.csv, w, newline, encodingutf-8) as f: writer csv.DictWriter(f, fieldnames[domain, client_type, status]) writer.writeheader() writer.writerows(results) print(results)6.4 與數(shù)據(jù)治理平臺(tái)集成更工程化的做法是把 Shelf Protocol 校驗(yàn)納入數(shù)據(jù)采集環(huán)節(jié)數(shù)據(jù)采集任務(wù)啟動(dòng)前先請(qǐng)求目標(biāo)站點(diǎn)的協(xié)議文件。解析策略判斷當(dāng)前任務(wù)類型是否被允許。如果允許記錄本次采集依據(jù)的協(xié)議版本。如果拒絕任務(wù)進(jìn)入審核隊(duì)列由人工或法務(wù)判斷是否走授權(quán)流程。所有判斷結(jié)果落庫(kù)留作合規(guī)審計(jì)。通過(guò)這套流程數(shù)據(jù)團(tuán)隊(duì)就不再是“先抓再說(shuō)”而是“先查協(xié)議、再抓數(shù)據(jù)、全程留痕”。7. 資源占用與性能觀察Shelf Protocol 不是重協(xié)議性能壓力理論上很小但真實(shí)場(chǎng)景中的資源占用仍然要看部署方式。7.1 靜態(tài)文件部署開(kāi)銷如果協(xié)議文件是純靜態(tài) JSON文件大小通常只有幾 KB 到幾十 KB。對(duì) Web 服務(wù)器來(lái)說(shuō)這個(gè)開(kāi)銷可以忽略不計(jì)。實(shí)際觀察重點(diǎn)放在指標(biāo)觀察方式正常范圍參考響應(yīng)時(shí)間curl 觀察 Time Total靜態(tài)文件應(yīng)穩(wěn)定在幾十毫秒內(nèi)文件大小LS 或響應(yīng)體大小幾 KB 到幾十 KBHTTP 狀態(tài)碼訪問(wèn)日志統(tǒng)計(jì)200 占絕大多數(shù)緩存命中率CDN 控制臺(tái)或日志越高越好7.2 邊緣函數(shù)部署開(kāi)銷如果使用邊緣函數(shù)動(dòng)態(tài)生成協(xié)議文件資源占用取決于每次請(qǐng)求要執(zhí)行的計(jì)算和 IO。建議把動(dòng)態(tài)內(nèi)容盡量做成 KV 緩存避免每次回源數(shù)據(jù)庫(kù)。7.3 高峰流量與突發(fā)請(qǐng)求當(dāng)比價(jià)插件、AI 爬蟲(chóng)大規(guī)模上線時(shí)協(xié)議文件的請(qǐng)求量會(huì)同步上升。這時(shí)要重點(diǎn)觀察CDN 緩存命中率是否下降。源站是否出現(xiàn) 5xx 錯(cuò)誤。協(xié)議文件響應(yīng)時(shí)間是否劣化。一個(gè)穩(wěn)妥的策略是給協(xié)議文件設(shè)置較長(zhǎng)的緩存時(shí)間比如 1 小時(shí)到 24 小時(shí)。協(xié)議策略本身不會(huì)頻繁變化過(guò)度實(shí)時(shí)反而不利于生態(tài)穩(wěn)定。7.4 端口與進(jìn)程管理Shelf Protocol 不涉及本地服務(wù)因此不需要關(guān)注端口占用和進(jìn)程殘留。只需要注意 HTTPS 證書是否有效、CDN 節(jié)點(diǎn)是否覆蓋主流區(qū)域即可。8. 常見(jiàn)問(wèn)題與排查方法問(wèn)題現(xiàn)象可能原因排查方式解決方案請(qǐng)求協(xié)議文件返回 404文件路徑錯(cuò)誤或未部署檢查服務(wù)器文件目錄、Nginx 配置將文件放在正確路徑并重載配置返回 403服務(wù)器權(quán)限或 WAF 規(guī)則誤攔截檢查 Nginx/Apache 錯(cuò)誤日志、WAF 規(guī)則調(diào)整目錄權(quán)限添加放行規(guī)則返回 Content-Type 是 text/html服務(wù)器未識(shí)別 JSON 文件類型用 curl -I 查看響應(yīng)頭在服務(wù)器配置中強(qiáng)制指定 application/jsonJSON 無(wú)法解析文件編碼問(wèn)題或格式錯(cuò)誤用 JSON 校驗(yàn)工具檢查重新生成文件去掉 BOM 頭爬蟲(chóng)完全不讀取協(xié)議協(xié)議生態(tài)尚未普及查看訪問(wèn)日志確認(rèn)是否有爬蟲(chóng)訪問(wèn)配合 robots.txt、法律聲明和 API 鑒權(quán)使用CDN 緩存了舊策略Cache-Control 設(shè)置不恰當(dāng)檢查響應(yīng)頭中的緩存字段更新緩存設(shè)置必要時(shí)手動(dòng)清除DNS TXT 驗(yàn)證失敗記錄未生效或格式錯(cuò)誤使用 nslookup 或 dig 查詢檢查記錄名稱和值格式協(xié)議聲明與實(shí)際授權(quán)不一致運(yùn)營(yíng)人員和數(shù)據(jù)團(tuán)隊(duì)沒(méi)有對(duì)齊人工復(fù)核策略文件建立策略文件發(fā)布審核流程9. 最佳實(shí)踐與工程化落地建議9.1 與 robots.txt 疊加部署不要二選一Shelf Protocol 和 robots.txt 是互補(bǔ)關(guān)系。robots.txt 繼續(xù)留給搜索引擎爬蟲(chóng)用Shelf Protocol 用于商業(yè)數(shù)據(jù)使用方。兩者疊加部署覆蓋面更完整。9.2 策略文件發(fā)布要走變更流程商業(yè)數(shù)據(jù)授權(quán)策略屬于運(yùn)營(yíng)決策不應(yīng)該由工程師直接改完上線。建議參考這種做法運(yùn)營(yíng)或法務(wù)提出策略變更需求。平臺(tái)審核通過(guò)后生成新的策略文件。先在測(cè)試站點(diǎn)驗(yàn)證 JSON 格式和訪問(wèn)路徑?；叶劝l(fā)布到部分域名。觀察訪問(wèn)日志和授權(quán)申請(qǐng)量后全量上線。9.3 默認(rèn)拒絕顯式允許協(xié)議聲明最好遵循“未知即拒絕”原則。當(dāng)調(diào)用方身份不明確時(shí)默認(rèn)返回不允許訪問(wèn)。這樣可以避免策略漏洞。9.4 協(xié)議文件要帶上聯(lián)系方式一個(gè)只有“禁止”沒(méi)有“如何聯(lián)系”的協(xié)議很容易把正常的數(shù)據(jù)合作需求擋在門外。協(xié)議文件中應(yīng)該包含授權(quán)申請(qǐng)入口和聯(lián)系郵箱。9.5 監(jiān)控和日志審計(jì)建議對(duì)協(xié)議文件的訪問(wèn)日志做獨(dú)立分析記錄哪些爬蟲(chóng)在讀取協(xié)議、它們隨后是否訪問(wèn)了受限數(shù)據(jù)。這些日志可以作為審計(jì)材料也能幫助發(fā)現(xiàn)異常抓取行為。9.6 對(duì)調(diào)用方的合規(guī)提醒如果你是需要訪問(wèn)商業(yè)數(shù)據(jù)的調(diào)用方也要意識(shí)到協(xié)議文件中可能存在價(jià)格、庫(kù)存等敏感數(shù)據(jù)不能因?yàn)椤罢军c(diǎn)的協(xié)議文件允許讀取”就直接用于二次銷售或 AI 訓(xùn)練。技術(shù)上的允許不等同于法律上的授權(quán)。9.7 版權(quán)和使用邊界商品圖片、品牌 Logo、用戶生成的評(píng)論都可能涉及版權(quán)問(wèn)題。Shelf Protocol 只聲明數(shù)據(jù)使用權(quán)限不能替代圖片版權(quán)和商標(biāo)授權(quán)。凡是涉及人臉、個(gè)人信息、品牌素材的必須單獨(dú)核對(duì)授權(quán)。10. 總結(jié)與下一步Shelf Protocol 值得關(guān)注的核心點(diǎn)不是它能立刻解決所有數(shù)據(jù)抓取糾紛而是它提供了一個(gè)非常清晰的思路把 robots.txt 的聲明式邏輯從 Web 資源層擴(kuò)展到商業(yè)數(shù)據(jù)層。這個(gè)思路一旦成為行業(yè)共識(shí)后續(xù)演化出的標(biāo)準(zhǔn)配置、解析器、授權(quán)平臺(tái)會(huì)非常豐富。最先要驗(yàn)證的事情有兩個(gè)自己站點(diǎn)部署協(xié)議文件后正常爬蟲(chóng)和搜索引擎是否不受影響。數(shù)據(jù)使用方能否通過(guò)腳本正確解析協(xié)議并執(zhí)行授權(quán)判斷。最容易踩的坑也有兩個(gè)一是把協(xié)議文件當(dāng)作反爬工具期望它能攔截惡意請(qǐng)求二是字段和路徑?jīng)]有按實(shí)際項(xiàng)目文檔確認(rèn)導(dǎo)致自己造的協(xié)議文件不被社區(qū)工具識(shí)別。后續(xù)可以繼續(xù)關(guān)注這幾個(gè)方向Shelf Protocol 是否進(jìn)入標(biāo)準(zhǔn)化組織或開(kāi)源社區(qū)的統(tǒng)一維護(hù)。主流電商框架是否把協(xié)議文件生成邏輯內(nèi)置到后臺(tái)。比價(jià)工具和 AI 數(shù)據(jù)平臺(tái)是否開(kāi)始默認(rèn)讀取協(xié)議文件。是否出現(xiàn)基于協(xié)議文件的商業(yè)化授權(quán)市場(chǎng)。如果手頭有電商站點(diǎn)或數(shù)據(jù)合規(guī)平臺(tái)建議先把協(xié)議文件部署到測(cè)試環(huán)境寫一套解析腳本驗(yàn)證數(shù)據(jù)團(tuán)隊(duì)和業(yè)務(wù)團(tuán)隊(duì)是否能按這份聲明執(zhí)行。跑通之后你會(huì)更清楚它在真實(shí)業(yè)務(wù)里能承接到哪一層。這個(gè)項(xiàng)目不需要多高的技術(shù)門檻但它可能是未來(lái)商業(yè)數(shù)據(jù)合作的默認(rèn)規(guī)則之一。建議先收藏再動(dòng)手驗(yàn)證。 Shelf Protocol：商業(yè)版robots.txt，電商數(shù)據(jù)授權(quán)新方案
這次我們來(lái)看一個(gè)很有意思的協(xié)議提案Shelf Protocol作者把它直接定義為 Robots.txt for Commerce也就是“商業(yè)版 robots.txt”。這個(gè)名字起得很準(zhǔn)確因?yàn)樗哪繕?biāo)不是再做一套通用爬蟲(chóng)協(xié)議而是把 robots.txt 的思路遷移到電商和商業(yè)數(shù)據(jù)場(chǎng)景站點(diǎn)所有者可以通過(guò)一份機(jī)器可讀的策略文件聲明自己的商品數(shù)據(jù)、價(jià)格、庫(kù)存、優(yōu)惠信息允許誰(shuí)抓取、以什么目的使用、是否需要授權(quán)。如果你在做電商平臺(tái)、比價(jià)工具、AI 訓(xùn)練數(shù)據(jù)采集、第三方數(shù)據(jù)服務(wù)或爬蟲(chóng)治理這個(gè)項(xiàng)目值得仔細(xì)看一遍。它不是本地部署那類模型工具不挑顯卡、不占顯存本質(zhì)上是一個(gè)標(biāo)準(zhǔn)提案和基礎(chǔ)設(shè)施層的約定。本文會(huì)從協(xié)議動(dòng)機(jī)、與 robots.txt 的對(duì)比、部署思路、驗(yàn)證方法、自動(dòng)化接入、性能觀察和常見(jiàn)排查幾個(gè)方向展開(kāi)盡量把“能不能用、怎么用、怎么驗(yàn)證”講清楚。1. 核心能力速覽Shelf Protocol 目前屬于社區(qū)提案和標(biāo)準(zhǔn)討論階段從 Hacker News 上的展示內(nèi)容和命名方式來(lái)看它的核心能力可以整理成下面這張表能力項(xiàng)說(shuō)明協(xié)議類型面向商業(yè)數(shù)據(jù)的訪問(wèn)控制與授權(quán)聲明協(xié)議核心定位Robots.txt for Commerce解決電商數(shù)據(jù)抓取與使用授權(quán)問(wèn)題主要功能聲明商品價(jià)格、庫(kù)存、優(yōu)惠、商品描述等數(shù)據(jù)的使用條件適用對(duì)象電商平臺(tái)、比價(jià)站點(diǎn)、價(jià)格監(jiān)測(cè)服務(wù)、AI 數(shù)據(jù)采集方、數(shù)據(jù)治理平臺(tái)部署位置站點(diǎn)根目錄、.well-known目錄、HTTP 響應(yīng)頭或 DNS 記錄具體以項(xiàng)目文檔為準(zhǔn)數(shù)據(jù)格式預(yù)計(jì)為 JSON 或 YAML 一類機(jī)器可讀格式需要按實(shí)際項(xiàng)目確認(rèn)硬件要求無(wú)特殊硬件要求普通 Web 服務(wù)器和 CDN 邊緣節(jié)點(diǎn)即可承載是否支持一鍵啟動(dòng)不適用屬于 Web 協(xié)議基礎(chǔ)設(shè)施不需要本地安裝是否支持 API協(xié)議文件本身可作為機(jī)器可讀端點(diǎn)被調(diào)用是否支持批量任務(wù)適合對(duì)大量站點(diǎn)做批量策略采集和合規(guī)校驗(yàn)開(kāi)源狀態(tài)社區(qū)提案項(xiàng)目建議以倉(cāng)庫(kù) README 和討論帖為準(zhǔn)從材料來(lái)看這個(gè)項(xiàng)目的重點(diǎn)不是“阻止所有爬蟲(chóng)”而是建立一套“商業(yè)數(shù)據(jù)使用的君子協(xié)定”和可執(zhí)行聲明。這里需要先明確一個(gè)邊界Shelf Protocol 解決的是“聲明問(wèn)題”不是“防護(hù)問(wèn)題”。它告訴數(shù)據(jù)使用方哪些行為被允許、哪些行為需要授權(quán)但它本身不是一個(gè) WAF不能物理阻斷惡意抓取。實(shí)際落地時(shí)它需要配合訪問(wèn)控制、反爬策略、法律條款和審計(jì)機(jī)制一起使用。2. 適用場(chǎng)景與使用邊界2.1 適合誰(shuí)用Shelf Protocol 最適合下面幾類團(tuán)隊(duì)角色典型訴求Shelf Protocol 能做什么電商平臺(tái)不希望比價(jià)插件直接抓價(jià)格和庫(kù)存在協(xié)議文件中聲明價(jià)格數(shù)據(jù)是否允許抓取、是否允許轉(zhuǎn)售品牌方管控渠道價(jià)格透明度統(tǒng)一聲明商品數(shù)據(jù)使用條款比價(jià)工具需要合法合規(guī)地獲取商品信息通過(guò)協(xié)議文件判斷是否可以直接抓取、是否需要申請(qǐng)授權(quán)AI 數(shù)據(jù)服務(wù)商需要大規(guī)模商品數(shù)據(jù)做訓(xùn)練自動(dòng)識(shí)別數(shù)據(jù)使用邊界規(guī)避侵權(quán)風(fēng)險(xiǎn)合規(guī)與安全團(tuán)隊(duì)建立數(shù)據(jù)訪問(wèn)審計(jì)基線將協(xié)議文件作為企業(yè)級(jí)合規(guī)審查的組成部分2.2 能解決什么問(wèn)題過(guò)去電商網(wǎng)站只有兩個(gè)選擇要么全開(kāi)放讓所有爬蟲(chóng)隨便抓要么全封禁導(dǎo)致正常的比價(jià)、搜索、數(shù)據(jù)分析渠道也受影響。Shelf Protocol 試圖提供一個(gè)中間層你可以明確寫出“搜索引擎可以索引商品詳情頁(yè)”也可以寫“價(jià)格和庫(kù)存只允許授權(quán)合作伙伴調(diào)用”還可以寫“AI 公司需要單獨(dú)申請(qǐng)數(shù)據(jù)許可”。這套機(jī)制一旦被爬蟲(chóng)工具、瀏覽器插件、數(shù)據(jù)平臺(tái)和 AI 公司遵守就能從源頭降低數(shù)據(jù)糾紛。2.3 不適合什么場(chǎng)景需要注意Shelf Protocol 不適合作為唯一的反爬手段。理由很簡(jiǎn)單它依賴調(diào)用方主動(dòng)讀取和遵守。遇到不遵守協(xié)議的抓取者協(xié)議文件本身起不到攔截效果。需要防護(hù)的場(chǎng)景仍然要配合 IP 策略、訪問(wèn)頻率控制、滑塊驗(yàn)證、接口簽名、數(shù)據(jù)加密等手段。另外Shelf Protocol 也不是法律文書。它的表達(dá)能力再?gòu)?qiáng)也不能替代正式的數(shù)據(jù)授權(quán)協(xié)議、隱私政策和條款。2.4 合規(guī)與安全邊界涉及商品價(jià)格、庫(kù)存、用戶評(píng)價(jià)、銷量等數(shù)據(jù)時(shí)必須區(qū)分?jǐn)?shù)據(jù)是否屬于個(gè)人信息、是否屬于商業(yè)秘密、是否受反壟斷約束。商業(yè)數(shù)據(jù)的使用邊界不能只靠一個(gè)協(xié)議文件解決需要由法務(wù)和合規(guī)團(tuán)隊(duì)共同確定策略。如果協(xié)議聲明被用作排除競(jìng)爭(zhēng)的借口或者涉及價(jià)格協(xié)同可能引發(fā)反壟斷合規(guī)風(fēng)險(xiǎn)。這類問(wèn)題要特別謹(jǐn)慎不要用技術(shù)聲明的形式掩蓋商業(yè)策略上的合規(guī)缺陷。涉及用戶行為數(shù)據(jù)比如用戶點(diǎn)擊、購(gòu)買記錄時(shí)更要遵守個(gè)人信息保護(hù)相關(guān)法規(guī)不能通過(guò)協(xié)議文件繞開(kāi)用戶授權(quán)。3. 協(xié)議設(shè)計(jì)核心Robots.txt for Commerce 如何解決數(shù)據(jù)授權(quán)問(wèn)題要理解 Shelf Protocol最直接的方式是把 robots.txt 的機(jī)制搬過(guò)來(lái)看。傳統(tǒng) robots.txt 的規(guī)則很簡(jiǎn)單在站點(diǎn)根目錄放一個(gè)文本文件告訴爬蟲(chóng)哪些路徑可以抓、哪些路徑不能抓。它的工作模式是聲明式的站點(diǎn)說(shuō)了算爬蟲(chóng)自愿遵守。Shelf Protocol 本質(zhì)上延續(xù)了這個(gè)邏輯但擴(kuò)展了三個(gè)維度身份、資源、條件。維度robots.txtShelf Protocol 的擴(kuò)展方向身份靠 User-agent 區(qū)分爬蟲(chóng)類型可能擴(kuò)展為組織身份、用途身份比如“AI 訓(xùn)練爬蟲(chóng)”“比價(jià)插件”“學(xué)術(shù)研究”資源用路徑表達(dá) URL 范圍可能直接面向商業(yè)數(shù)據(jù)對(duì)象比如價(jià)格、庫(kù)存、促銷條件只有 allow 和 disallow可能支持“允許抓取但需要署名”“允許查看但不允許轉(zhuǎn)售”“需要付費(fèi)授權(quán)”等條件用一句話概括robots.txt 解決的是 Web 資源索引邊界Shelf Protocol 解決的是商業(yè)數(shù)據(jù)使用邊界。3.1 常見(jiàn)能力模塊從“商業(yè)數(shù)據(jù)授權(quán)聲明”這個(gè)目標(biāo)反推一個(gè)成熟的 Shelf Protocol 實(shí)現(xiàn)通常會(huì)包含以下模塊權(quán)限聲明這是最核心的模塊。站點(diǎn)聲明誰(shuí)可以訪問(wèn)哪些商業(yè)數(shù)據(jù)?？梢园磁老x(chóng)身份區(qū)分也可以按訪問(wèn)目的區(qū)分。典型聲明包括“允許搜索引擎索引商品標(biāo)題和描述”“禁止第三方工具抓取價(jià)格和庫(kù)存”。使用條件權(quán)限聲明只說(shuō)明“能不能拿”使用條件說(shuō)明“拿了之后能做什么”。常見(jiàn)條件包括非商業(yè)用途允許、商業(yè)用途需要署名、禁止整合轉(zhuǎn)售、禁止用于模型訓(xùn)練、需要先申請(qǐng) API Token。配額與頻率真實(shí)場(chǎng)景中同一份數(shù)據(jù)對(duì)不同消費(fèi)者的開(kāi)放頻率不同。Shelf Protocol 可能會(huì)支持聲明訪問(wèn)頻率上限和批量抓取限制避免正常授權(quán)和數(shù)據(jù)濫用之間的邊界模糊。歸屬要求站點(diǎn)所有者可以要求數(shù)據(jù)使用方在展示數(shù)據(jù)時(shí)附上來(lái)源鏈接或品牌標(biāo)識(shí)。這和學(xué)術(shù)引用的邏輯類似也是很多比價(jià)網(wǎng)站與品牌方爭(zhēng)議的焦點(diǎn)。聯(lián)系與授權(quán)通道聲明不能只告訴對(duì)方“不允許”還得告訴對(duì)方“如果你有正當(dāng)需求應(yīng)該去哪里申請(qǐng)”。所以協(xié)議中大概率會(huì)包含授權(quán)聯(lián)系入口比如授權(quán) API 地址、商務(wù)聯(lián)系人、申請(qǐng)表單地址。3.2 與 robots.txt 的定位關(guān)系一個(gè)常見(jiàn)誤區(qū)是Shelf Protocol 要取代 robots.txt。實(shí)際上不需要。兩者定位不同robots.txt 控制的是“搜索引擎爬蟲(chóng)對(duì) Web 資源的索引行為”核心是路徑級(jí)控制。Shelf Protocol 控制的是“商業(yè)數(shù)據(jù)的使用與授權(quán)”核心是數(shù)據(jù)級(jí)控制。一個(gè)合理的技術(shù)棧是站點(diǎn)同時(shí)部署 robots.txt 和 Shelf Protocol。robots.txt 繼續(xù)管搜索引擎爬蟲(chóng)Shelf Protocol 管商業(yè)數(shù)據(jù)抓取方和 AI 數(shù)據(jù)采集方。兩者形成互補(bǔ)關(guān)系而不是相互替代。3.3 關(guān)鍵機(jī)制機(jī)器可讀與人工可讀協(xié)議要能落地必須有非常好的機(jī)器可讀性。爬蟲(chóng)工具和數(shù)據(jù)處理平臺(tái)在請(qǐng)求商品頁(yè)面之前先讀取站點(diǎn)發(fā)布的協(xié)議文件然后根據(jù)規(guī)則決定是否繼續(xù)、是否需要走授權(quán)流程。同時(shí)站點(diǎn)運(yùn)營(yíng)人員也需要能看懂。所以協(xié)議文件的結(jié)構(gòu)應(yīng)該簡(jiǎn)潔字段命名要直觀。從 Robots.txt for Commerce 這個(gè)類比看Shelf Protocol 的目標(biāo)就是讓“不懂代碼的運(yùn)營(yíng)”也能理解“哪些數(shù)據(jù)被允許抓取”。4. 環(huán)境準(zhǔn)備與部署思路Shelf Protocol 不是本地軟件不需要安裝依賴也不需要 GPU。它更像一份約定你需要在站點(diǎn)服務(wù)器上提供一個(gè)可訪問(wèn)、可解析的策略文件。下面給出通用的部署思路具體路徑和字段以實(shí)際項(xiàng)目文檔為準(zhǔn)。4.1 前置條件準(zhǔn)備項(xiàng)說(shuō)明域名需要在主域名或指定子域上部署協(xié)議文件Web 服務(wù)器Nginx、Apache、靜態(tài)托管服務(wù)或 CDN 邊緣函數(shù)均可DNS 控制臺(tái)如果需要通過(guò) TXT 記錄做驗(yàn)證需要域名解析權(quán)限HTTPS建議強(qiáng)制開(kāi)啟協(xié)議文件涉及數(shù)據(jù)授權(quán)明文傳輸不合理測(cè)試工具curl、瀏覽器開(kāi)發(fā)者工具、Postman 或自寫腳本4.2 策略文件生成協(xié)議文件的核心是生成一份結(jié)構(gòu)化的策略聲明。這里給一個(gè)通用參考結(jié)構(gòu)字段命名不代表 Shelf Protocol 官方規(guī)范僅用于演示如何組織“權(quán)限、條件、聯(lián)系信息”{ protocol: shelf-protocol, version: 1.0, domain: example.com, issued_at: 2025-01-01T00:00:00Z, policy: { search_engine: { allow: true, path: [/products*] }, price_comparison: { allow: false, note: 需要授權(quán)后開(kāi)放 }, ai_training: { allow: false, note: 如需獲取數(shù)據(jù)請(qǐng)通過(guò)下方 address 申請(qǐng) }, authorized_partner: { allow: true, requires_token: true, token_endpoint: https://example.com/api/token } }, usage_terms: { attribution_required: true, resale_forbidden: true, rate_limit_per_minute: 60 }, contact: { authorization_url: https://example.com/data-license, email: data-accessexample.com } }實(shí)際字段需要按項(xiàng)目文檔確認(rèn)。上面這個(gè)結(jié)構(gòu)只是用于說(shuō)明“商業(yè)數(shù)據(jù)授權(quán)聲明”可以包含哪些信息。4.3 Nginx 部署示例假設(shè)你已經(jīng)生成好協(xié)議文件放在站點(diǎn)服務(wù)器的/var/www/example.com/.well-known/shelf.json可以通過(guò) Nginx 直接暴露server { listen 443 ssl; server_name example.com; location /.well-known/shelf.json { alias /var/www/example.com/.well-known/shelf.json; default_type application/json; add_header Cache-Control public, max-age3600; add_header X-Content-Type-Options nosniff; } location / { proxy_pass http://127.0.0.1:8080; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; } }這個(gè)配置做了三件事將協(xié)議文件以application/json類型返回。設(shè)置 1 小時(shí)緩存避免每次被爬蟲(chóng)請(qǐng)求都回源。開(kāi)啟nosniff避免瀏覽器或客戶端對(duì)內(nèi)容類型做錯(cuò)誤判斷。如果你的站點(diǎn)托管在純靜態(tài)服務(wù)上直接把文件傳到對(duì)應(yīng)目錄即可不需要額外服務(wù)端配置。4.4 邊緣函數(shù)動(dòng)態(tài)生成如果協(xié)議內(nèi)容會(huì)動(dòng)態(tài)變化也可以在 Cloudflare Workers、邊緣函數(shù)上動(dòng)態(tài)生成。這里給一個(gè)通用偽代碼export default { async fetch(request, env, ctx) { const url new URL(request.url); if (url.pathname /.well-known/shelf.json) { const policy await getShelfPolicy(); // 從 KV 或數(shù)據(jù)庫(kù)讀取 return new Response(JSON.stringify(policy), { headers: { Content-Type: application/json } }); } return new Response(Not Found, { status: 404 }); } };動(dòng)態(tài)生成的好處是可以按請(qǐng)求方身份或 IP 返回不同策略版本也可以隨時(shí)調(diào)整授權(quán)條件不需要改服務(wù)器文件。4.5 DNS 驗(yàn)證與聲明從協(xié)議標(biāo)準(zhǔn)化角度來(lái)看DNS TXT 記錄也是常見(jiàn)驗(yàn)證方式。它可以用于證明域名所有者認(rèn)可該協(xié)議也可以聲明協(xié)議文件當(dāng)前位置# 示例在 DNS 控制臺(tái)添加 TXT 記錄 # 主機(jī)記錄_shelf # 記錄值Shelf-Protocol v1.0; policyhttps://example.com/.well-known/shelf.json不同 DNS 服務(wù)商的操作方式不同但原理一致通過(guò) DNS 驗(yàn)證讓數(shù)據(jù)使用方先確認(rèn)協(xié)議真實(shí)性再讀取具體策略。5. 功能測(cè)試與效果驗(yàn)證部署完成后要驗(yàn)證協(xié)議文件的可用性和正確性。下面給出一套通用驗(yàn)證流程。5.1 測(cè)試目標(biāo)協(xié)議文件是否可以公開(kāi)訪問(wèn)。返回內(nèi)容類型是否正確。JSON 結(jié)構(gòu)是否能被正常解析。爬蟲(chóng)客戶端讀取后能否做出正確判斷。訪問(wèn)頻率和緩存是否符合預(yù)期。5.2 用 curl 驗(yàn)證訪問(wèn)# 請(qǐng)求協(xié)議文件輸出 HTTP 狀態(tài)頭和響應(yīng)體 curl -I https://example.com/.well-known/shelf.json # 輸出完整響應(yīng) curl https://example.com/.well-known/shelf.json預(yù)期結(jié)果HTTP 狀態(tài)碼為 200。Content-Type為application/json。響應(yīng)體包含完整的策略聲明結(jié)構(gòu)。如果返回 404檢查文件路徑、Nginx alias 路徑、靜態(tài)托管目錄是否正確。 如果返回 403檢查目錄權(quán)限或 WAF 規(guī)則是否誤攔截。5.3 用 Python 解析并輸出決策這里模擬一個(gè)爬蟲(chóng)工具讀取協(xié)議文件后判斷自己是否有權(quán)限訪問(wèn)商品價(jià)格數(shù)據(jù)。腳本結(jié)構(gòu)是通用示例實(shí)際字段需要按項(xiàng)目文檔調(diào)整import json import requests # 1. 讀取協(xié)議文件 url https://example.com/.well-known/shelf.json resp requests.get(url, timeout10) if resp.status_code ! 200: print(f協(xié)議文件獲取失敗HTTP {resp.status_code}) exit(1) # 2. 解析 JSON try: shelf resp.json() except json.JSONDecodeError: print(協(xié)議文件不是合法 JSON) exit(1) # 3. 按調(diào)用方身份查找策略 # 這里只是通用示例實(shí)際需要按項(xiàng)目字段調(diào)整 client_type price_comparison policy shelf.get(policy, {}).get(client_type) if policy is None: print(未找到當(dāng)前調(diào)用方策略默認(rèn)拒絕訪問(wèn)) exit(0) if policy.get(allow) is True: print(允許抓取商品價(jià)格數(shù)據(jù)) if policy.get(requires_token): print(需要先申請(qǐng)?jiān)L問(wèn) Token) else: print(禁止抓取商品價(jià)格數(shù)據(jù)請(qǐng)聯(lián)系授權(quán)入口申請(qǐng)) auth_url shelf.get(contact, {}).get(authorization_url) print(f授權(quán)申請(qǐng)地址{auth_url})判斷成功的標(biāo)準(zhǔn)能穩(wěn)定獲取協(xié)議文件。JSON 解析無(wú)異常。不同調(diào)用方身份返回不同策略結(jié)果。未知身份默認(rèn)拒絕而不是默認(rèn)放行。5.4 模擬多站點(diǎn)批量校驗(yàn)如果你做的是數(shù)據(jù)合規(guī)平臺(tái)需要批量檢查多個(gè)電商站點(diǎn)是否部署了協(xié)議文件?？梢杂媚_本批量處理import json import requests from concurrent.futures import ThreadPoolExecutor domains [ https://example1.com, https://example2.com, https://example3.com, ] def check_shelf(domain): paths [/.well-known/shelf.json, /shelf.txt] for path in paths: url domain path try: resp requests.get(url, timeout10) if resp.status_code 200: return {domain: domain, status: ok, content_type: resp.headers.get(Content-Type)} except requests.RequestException: continue return {domain: domain, status: not_found} with ThreadPoolExecutor(max_workers5) as executor: results list(executor.map(check_shelf, domains)) for result in results: print(json.dumps(result, ensure_asciiFalse))5.5 失敗場(chǎng)景判斷現(xiàn)象可能原因排查方式返回 404文件路徑不對(duì)檢查目錄結(jié)構(gòu)和 Nginx alias返回 403目錄權(quán)限或 WAF 攔截檢查服務(wù)日志和安全策略Content-Type 錯(cuò)誤服務(wù)器默認(rèn)類型不是 JSON顯式設(shè)置 default_typeJSON 解析失敗編輯器保存了 BOM 頭或格式錯(cuò)誤用 JSON 校驗(yàn)工具檢查爬蟲(chóng)不遵守協(xié)議協(xié)議還在推廣階段覆蓋率不夠配合 robots.txt 和訪問(wèn)控制使用6. 自動(dòng)化接入與協(xié)議文件調(diào)用的實(shí)踐Shelf Protocol 不提供傳統(tǒng)意義上的“本地啟動(dòng)”但它提供的協(xié)議文件本身就是機(jī)器可讀端點(diǎn)?？梢园选白x取協(xié)議文件—解析策略—執(zhí)行決策”當(dāng)成一個(gè)標(biāo)準(zhǔn)化接口流程接到自己的數(shù)據(jù)采集系統(tǒng)、合規(guī)平臺(tái)或?yàn)g覽器插件中。6.1 將協(xié)議文件作為接口使用協(xié)議文件本質(zhì)上是一種輕量級(jí)接口請(qǐng)求路徑固定返回格式固定狀態(tài)碼語(yǔ)義清晰。和傳統(tǒng) API 相比它有這些特點(diǎn)特點(diǎn)說(shuō)明公開(kāi)只讀通常不需要鑒權(quán)即可讀取適合前置判斷標(biāo)準(zhǔn)化路徑便于成為行業(yè)默認(rèn)約定低消耗靜態(tài)文件或邊緣函數(shù)資源開(kāi)銷小可緩存數(shù)據(jù)變化不頻繁時(shí)緩存友好6.2 curl 調(diào)用示例# 讀取協(xié)議文件并把響應(yīng)體保存到本地 curl -s https://example.com/.well-known/shelf.json -o shelf.json # 請(qǐng)求時(shí)帶 User-Agent便于站點(diǎn)識(shí)別調(diào)用方身份 curl -s https://example.com/.well-known/shelf.json \ -H User-Agent: MyDataCrawler/1.0 (contactexample.com)6.3 Python 批量接入示例面對(duì)數(shù)千個(gè)電商域名的接入場(chǎng)景可以先通過(guò)協(xié)議文件判斷授權(quán)狀態(tài)再執(zhí)行抓取。這里給出一個(gè)通用任務(wù)隊(duì)列示例import json import requests import time import csv # 目標(biāo)站點(diǎn)列表 targets [ {domain: https://example1.com, client_type: ai_training}, {domain: https://example2.com, client_type: price_comparison}, ] def get_policy_status(domain, client_type): shelf_url f{domain}/.well-known/shelf.json try: resp requests.get(shelf_url, timeout10) if resp.status_code ! 200: return shelf_missing policy resp.json().get(policy, {}).get(client_type, {}) if policy.get(allow): return allowed return denied except Exception: return error results [] for t in targets: status get_policy_status(t[domain], t[client_type]) results.append({domain: t[domain], client_type: t[client_type], status: status}) time.sleep(0.3) with open(shelf_check_result.csv, w, newline, encodingutf-8) as f: writer csv.DictWriter(f, fieldnames[domain, client_type, status]) writer.writeheader() writer.writerows(results) print(results)6.4 與數(shù)據(jù)治理平臺(tái)集成更工程化的做法是把 Shelf Protocol 校驗(yàn)納入數(shù)據(jù)采集環(huán)節(jié)數(shù)據(jù)采集任務(wù)啟動(dòng)前先請(qǐng)求目標(biāo)站點(diǎn)的協(xié)議文件。解析策略判斷當(dāng)前任務(wù)類型是否被允許。如果允許記錄本次采集依據(jù)的協(xié)議版本。如果拒絕任務(wù)進(jìn)入審核隊(duì)列由人工或法務(wù)判斷是否走授權(quán)流程。所有判斷結(jié)果落庫(kù)留作合規(guī)審計(jì)。通過(guò)這套流程數(shù)據(jù)團(tuán)隊(duì)就不再是“先抓再說(shuō)”而是“先查協(xié)議、再抓數(shù)據(jù)、全程留痕”。7. 資源占用與性能觀察Shelf Protocol 不是重協(xié)議性能壓力理論上很小但真實(shí)場(chǎng)景中的資源占用仍然要看部署方式。7.1 靜態(tài)文件部署開(kāi)銷如果協(xié)議文件是純靜態(tài) JSON文件大小通常只有幾 KB 到幾十 KB。對(duì) Web 服務(wù)器來(lái)說(shuō)這個(gè)開(kāi)銷可以忽略不計(jì)。實(shí)際觀察重點(diǎn)放在指標(biāo)觀察方式正常范圍參考響應(yīng)時(shí)間curl 觀察 Time Total靜態(tài)文件應(yīng)穩(wěn)定在幾十毫秒內(nèi)文件大小LS 或響應(yīng)體大小幾 KB 到幾十 KBHTTP 狀態(tài)碼訪問(wèn)日志統(tǒng)計(jì)200 占絕大多數(shù)緩存命中率CDN 控制臺(tái)或日志越高越好7.2 邊緣函數(shù)部署開(kāi)銷如果使用邊緣函數(shù)動(dòng)態(tài)生成協(xié)議文件資源占用取決于每次請(qǐng)求要執(zhí)行的計(jì)算和 IO。建議把動(dòng)態(tài)內(nèi)容盡量做成 KV 緩存避免每次回源數(shù)據(jù)庫(kù)。7.3 高峰流量與突發(fā)請(qǐng)求當(dāng)比價(jià)插件、AI 爬蟲(chóng)大規(guī)模上線時(shí)協(xié)議文件的請(qǐng)求量會(huì)同步上升。這時(shí)要重點(diǎn)觀察CDN 緩存命中率是否下降。源站是否出現(xiàn) 5xx 錯(cuò)誤。協(xié)議文件響應(yīng)時(shí)間是否劣化。一個(gè)穩(wěn)妥的策略是給協(xié)議文件設(shè)置較長(zhǎng)的緩存時(shí)間比如 1 小時(shí)到 24 小時(shí)。協(xié)議策略本身不會(huì)頻繁變化過(guò)度實(shí)時(shí)反而不利于生態(tài)穩(wěn)定。7.4 端口與進(jìn)程管理Shelf Protocol 不涉及本地服務(wù)因此不需要關(guān)注端口占用和進(jìn)程殘留。只需要注意 HTTPS 證書是否有效、CDN 節(jié)點(diǎn)是否覆蓋主流區(qū)域即可。8. 常見(jiàn)問(wèn)題與排查方法問(wèn)題現(xiàn)象可能原因排查方式解決方案請(qǐng)求協(xié)議文件返回 404文件路徑錯(cuò)誤或未部署檢查服務(wù)器文件目錄、Nginx 配置將文件放在正確路徑并重載配置返回 403服務(wù)器權(quán)限或 WAF 規(guī)則誤攔截檢查 Nginx/Apache 錯(cuò)誤日志、WAF 規(guī)則調(diào)整目錄權(quán)限添加放行規(guī)則返回 Content-Type 是 text/html服務(wù)器未識(shí)別 JSON 文件類型用 curl -I 查看響應(yīng)頭在服務(wù)器配置中強(qiáng)制指定 application/jsonJSON 無(wú)法解析文件編碼問(wèn)題或格式錯(cuò)誤用 JSON 校驗(yàn)工具檢查重新生成文件去掉 BOM 頭爬蟲(chóng)完全不讀取協(xié)議協(xié)議生態(tài)尚未普及查看訪問(wèn)日志確認(rèn)是否有爬蟲(chóng)訪問(wèn)配合 robots.txt、法律聲明和 API 鑒權(quán)使用CDN 緩存了舊策略Cache-Control 設(shè)置不恰當(dāng)檢查響應(yīng)頭中的緩存字段更新緩存設(shè)置必要時(shí)手動(dòng)清除DNS TXT 驗(yàn)證失敗記錄未生效或格式錯(cuò)誤使用 nslookup 或 dig 查詢檢查記錄名稱和值格式協(xié)議聲明與實(shí)際授權(quán)不一致運(yùn)營(yíng)人員和數(shù)據(jù)團(tuán)隊(duì)沒(méi)有對(duì)齊人工復(fù)核策略文件建立策略文件發(fā)布審核流程9. 最佳實(shí)踐與工程化落地建議9.1 與 robots.txt 疊加部署不要二選一Shelf Protocol 和 robots.txt 是互補(bǔ)關(guān)系。robots.txt 繼續(xù)留給搜索引擎爬蟲(chóng)用Shelf Protocol 用于商業(yè)數(shù)據(jù)使用方。兩者疊加部署覆蓋面更完整。9.2 策略文件發(fā)布要走變更流程商業(yè)數(shù)據(jù)授權(quán)策略屬于運(yùn)營(yíng)決策不應(yīng)該由工程師直接改完上線。建議參考這種做法運(yùn)營(yíng)或法務(wù)提出策略變更需求。平臺(tái)審核通過(guò)后生成新的策略文件。先在測(cè)試站點(diǎn)驗(yàn)證 JSON 格式和訪問(wèn)路徑?；叶劝l(fā)布到部分域名。觀察訪問(wèn)日志和授權(quán)申請(qǐng)量后全量上線。9.3 默認(rèn)拒絕顯式允許協(xié)議聲明最好遵循“未知即拒絕”原則。當(dāng)調(diào)用方身份不明確時(shí)默認(rèn)返回不允許訪問(wèn)。這樣可以避免策略漏洞。9.4 協(xié)議文件要帶上聯(lián)系方式一個(gè)只有“禁止”沒(méi)有“如何聯(lián)系”的協(xié)議很容易把正常的數(shù)據(jù)合作需求擋在門外。協(xié)議文件中應(yīng)該包含授權(quán)申請(qǐng)入口和聯(lián)系郵箱。9.5 監(jiān)控和日志審計(jì)建議對(duì)協(xié)議文件的訪問(wèn)日志做獨(dú)立分析記錄哪些爬蟲(chóng)在讀取協(xié)議、它們隨后是否訪問(wèn)了受限數(shù)據(jù)。這些日志可以作為審計(jì)材料也能幫助發(fā)現(xiàn)異常抓取行為。9.6 對(duì)調(diào)用方的合規(guī)提醒如果你是需要訪問(wèn)商業(yè)數(shù)據(jù)的調(diào)用方也要意識(shí)到協(xié)議文件中可能存在價(jià)格、庫(kù)存等敏感數(shù)據(jù)不能因?yàn)椤罢军c(diǎn)的協(xié)議文件允許讀取”就直接用于二次銷售或 AI 訓(xùn)練。技術(shù)上的允許不等同于法律上的授權(quán)。9.7 版權(quán)和使用邊界商品圖片、品牌 Logo、用戶生成的評(píng)論都可能涉及版權(quán)問(wèn)題。Shelf Protocol 只聲明數(shù)據(jù)使用權(quán)限不能替代圖片版權(quán)和商標(biāo)授權(quán)。凡是涉及人臉、個(gè)人信息、品牌素材的必須單獨(dú)核對(duì)授權(quán)。10. 總結(jié)與下一步Shelf Protocol 值得關(guān)注的核心點(diǎn)不是它能立刻解決所有數(shù)據(jù)抓取糾紛而是它提供了一個(gè)非常清晰的思路把 robots.txt 的聲明式邏輯從 Web 資源層擴(kuò)展到商業(yè)數(shù)據(jù)層。這個(gè)思路一旦成為行業(yè)共識(shí)后續(xù)演化出的標(biāo)準(zhǔn)配置、解析器、授權(quán)平臺(tái)會(huì)非常豐富。最先要驗(yàn)證的事情有兩個(gè)自己站點(diǎn)部署協(xié)議文件后正常爬蟲(chóng)和搜索引擎是否不受影響。數(shù)據(jù)使用方能否通過(guò)腳本正確解析協(xié)議并執(zhí)行授權(quán)判斷。最容易踩的坑也有兩個(gè)一是把協(xié)議文件當(dāng)作反爬工具期望它能攔截惡意請(qǐng)求二是字段和路徑?jīng)]有按實(shí)際項(xiàng)目文檔確認(rèn)導(dǎo)致自己造的協(xié)議文件不被社區(qū)工具識(shí)別。后續(xù)可以繼續(xù)關(guān)注這幾個(gè)方向Shelf Protocol 是否進(jìn)入標(biāo)準(zhǔn)化組織或開(kāi)源社區(qū)的統(tǒng)一維護(hù)。主流電商框架是否把協(xié)議文件生成邏輯內(nèi)置到后臺(tái)。比價(jià)工具和 AI 數(shù)據(jù)平臺(tái)是否開(kāi)始默認(rèn)讀取協(xié)議文件。是否出現(xiàn)基于協(xié)議文件的商業(yè)化授權(quán)市場(chǎng)。如果手頭有電商站點(diǎn)或數(shù)據(jù)合規(guī)平臺(tái)建議先把協(xié)議文件部署到測(cè)試環(huán)境寫一套解析腳本驗(yàn)證數(shù)據(jù)團(tuán)隊(duì)和業(yè)務(wù)團(tuán)隊(duì)是否能按這份聲明執(zhí)行。跑通之后你會(huì)更清楚它在真實(shí)業(yè)務(wù)里能承接到哪一層。這個(gè)項(xiàng)目不需要多高的技術(shù)門檻但它可能是未來(lái)商業(yè)數(shù)據(jù)合作的默認(rèn)規(guī)則之一。建議先收藏再動(dòng)手驗(yàn)證。