Crawl4AI 快速指南AI 數(shù)據(jù)抓取的網(wǎng)頁爬蟲3 個示例完成 Markdown 轉(zhuǎn)換【免費下載鏈接】crawl4ai Crawl4AI: Open-source LLM Friendly Web Crawler Scraper. Dont be shy, join here: https://discord.gg/jP8KfhDhyN項目地址: https://gitcode.com/GitHub_Trending/craw/crawl4ai假設(shè)你下午 3 點要給 RAG 流水線灌一批網(wǎng)頁語料只有 5 分鐘準備時間。Crawl4AI 是一個輸出對 LLM 友好的 Markdown 的 Python 網(wǎng)頁爬蟲下面用 3 個示例從安裝一路走到反爬處理——把頁面轉(zhuǎn)成 Markdown、清洗導(dǎo)航與彈窗、點按加載動態(tài)內(nèi)容最后留一條 crwl 命令方便隨時抽查。三行命令裝好 Crawl4AI 并跑通瀏覽器安裝一共三行第二行做安裝后初始化第三行做環(huán)境自檢pip install -U crawl4ai crawl4ai-setup crawl4ai-doctor自檢提示缺瀏覽器時用下面這條命令把 Chromium 和系統(tǒng)依賴一次裝齊python -m playwright install --with-deps chromium除穩(wěn)定版外還有三種常用裝法用途命令預(yù)發(fā)布版嘗新功能pip install crawl4ai --pre開發(fā)模式改源碼git clone https://gitcode.com/GitHub_Trending/craw/crawl4ai然后cd crawl4ai pip install -e .全量功能PDF、本地模型、embeddingpip install crawl4ai[all]不用寫 Python 也能先驗證環(huán)境這條命令直接抓一個頁面并輸出 Markdowncrwl https://en.wikipedia.org/wiki/Apple -o markdown最小 Python 爬蟲一次 arun 拿到 Markdown 結(jié)果下面這個腳本只做一件事抓一個 URL打印前 500 個字符的 Markdown。import asyncio from crawl4ai import AsyncWebCrawler async def main(): async with AsyncWebCrawler() as crawler: result await crawler.arun(urlhttps://en.wikipedia.org/wiki/Apple) if result.success: print(result.markdown.raw_markdown[:500]) if __name__ __main__: asyncio.run(main())arun返回的result是 CrawlResult常用字段有success是否成功、markdownMarkdownGenerationResult、metadata頁面標題、描述等 meta 信息、links與media頁面里收集的鏈接和媒體、redirected_url實際跳轉(zhuǎn)后的地址。raw_markdown 和 fit_markdown 的區(qū)別決定喂給 AI 的是哪一份result.markdown.raw_markdown是整頁轉(zhuǎn)換結(jié)果result.markdown.fit_markdown是精簡版去掉導(dǎo)航、頁腳之類的噪聲只留主體。直接print(result.markdown)等價于打印 raw_markdown。給 RAG 喂數(shù)據(jù)時一般用 fit_markdown省 token要控制精簡力度就去調(diào)下一節(jié)的過濾器參數(shù)。用 excluded_tags 和 remove_overlay_elements 去掉導(dǎo)航與 Cookie 彈窗下面這段配置排除三類標簽不轉(zhuǎn) Markdown并在取 HTML 前先移除 Cookie 彈窗這類覆蓋層from crawl4ai import BrowserConfig, CrawlerRunConfig, CacheMode browser_config BrowserConfig( headlessTrue, # 無頭模式 java_script_enabledTrue, # 執(zhí)行頁面 JS默認就是 True ) crawler_config CrawlerRunConfig( cache_modeCacheMode.BYPASS, # 本次不讀也不寫緩存 excluded_tags[nav, footer, aside], remove_overlay_elementsTrue, # 移除彈窗等覆蓋元素 page_timeout60000, # 導(dǎo)航超時單位毫秒 ) async with AsyncWebCrawler(configbrowser_config) as crawler: result await crawler.arun( urlhttps://en.wikipedia.org/wiki/Apple, configcrawler_config, )cache_mode共 5 種取值BYPASS本次讀寫全繞過、ENABLED正常讀寫、READ_ONLY、WRITE_ONLY、DISABLED完全禁用緩存。調(diào)試階段建議保持 BYPASS避免讀到上一次的舊頁面。用 PruningContentFilter 的閾值把 Markdown 再壓一遍下面給 Markdown 生成器掛上剪枝過濾器對文本塊逐段打分低于閾值的丟棄同時跳過鏈接轉(zhuǎn)換from crawl4ai.markdown_generation_strategy import DefaultMarkdownGenerator from crawl4ai.content_filter_strategy import PruningContentFilter crawler_config CrawlerRunConfig( cache_modeCacheMode.BYPASS, markdown_generatorDefaultMarkdownGenerator( content_filterPruningContentFilter( threshold0.48, # 固定閾值低于此分的塊被剪掉 threshold_typefixed, min_word_threshold0, ), options{ignore_links: True}, ), )0.48 是默認閾值如果發(fā)現(xiàn)正文也被剪掉了可以降到 0.30.4再對比fit_markdown的長度變化來定檔。動態(tài)頁面抓取js_code 點按加載 延時等渲染對于點按加載更多才出內(nèi)容的頁面注入一段 JS 找到按鈕并觸發(fā)點擊再用delay_before_return_html等渲染完成后才取 HTMLcrawler_config CrawlerRunConfig( cache_modeCacheMode.BYPASS, js_code const btn Array.from(document.querySelectorAll(button)) .find(b b.textContent.includes(Load More)); btn btn.click(); , delay_before_return_html2, # 取 HTML 前等 2 秒單位是秒 )用 css_selector 只提取目標區(qū)塊只要列表正文時css_selector會把轉(zhuǎn)換范圍限定到匹配的元素上Markdown 里就只有這些區(qū)塊的內(nèi)容crawler_config CrawlerRunConfig( cache_modeCacheMode.BYPASS, css_selector.wide-tease-item__description, )繞過反爬proxy_config 掛代理、user_agent 換指紋、magic 加模擬交互拿到 403 或人機驗證頁時按順序試先換 UA再掛代理最后開防檢測組合browser_config BrowserConfig( user_agentMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36, user_agent_moderandom, # 設(shè)為 random 時自動生成隨機 UA proxy_config{ server: http://proxy.example.com:8080, username: user, password: pass, }, ) crawler_config CrawlerRunConfig( magicTrue, # 自動處理彈窗等覆蓋層 simulate_userTrue, # 模擬鼠標移動與點擊 )?? 這里坑比較多proxy_config是BrowserConfig的參數(shù)不是CrawlerRunConfig的寫錯位置會靜默失效。踩坑記錄三則瀏覽器依賴缺失、動態(tài)頁面不全、被反爬攔截瀏覽器依賴缺失Chromium 起不來、報缺 so 庫時跑python -m playwright install --with-deps chromium再執(zhí)行crawl4ai-doctor復(fù)查。動態(tài)頁面內(nèi)容不全通常是渲染沒完成就取了 HTML。把delay_before_return_html秒調(diào)到 23或指定wait_untilnetworkidle等網(wǎng)絡(luò)靜默。被反爬攔截先上magicTruesimulate_userTrue不行再掛proxy_config并發(fā)爬取內(nèi)存吃緊時BrowserConfig(memory_saving_modeTrue)并關(guān)掉截圖這類用不到的功能。下一步可以做什么深度爬取BFS/DFS/最佳優(yōu)先逐頁擴展說明見PROGRESSIVE_CRAWLING.md源碼在crawl4ai/deep_crawling/目錄LLM 結(jié)構(gòu)化提取從 Markdown 里按 schema 抽取字段示例在docs/examples/llm_extraction_openai_pricing.pyDocker REST API 部署服務(wù)入口是deploy/docker/server.py部署說明見deploy/docker/README.md【免費下載鏈接】crawl4ai Crawl4AI: Open-source LLM Friendly Web Crawler Scraper. Dont be shy, join here: https://discord.gg/jP8KfhDhyN項目地址: https://gitcode.com/GitHub_Trending/craw/crawl4ai創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考