GitHub 雷达
首次出现 88 天前

unclecode/crawl4ai

1. Crawl4AI 是一个将任意网页自动转换为干净、结构化 Markdown 格式的开源爬虫,专为大语言模型(LLM)、RAG 系统和数据管道设计。 2. 项目基于 Python 构建,通过异步浏览器池、智能缓存、自适应页面解析和 CLI/Docker 双重部署实现高效提取。 3. 拥有超 69k 星的高人气,支持深度爬取、会话保持和零密钥部署,适用于大规模 LLM 数据采集与知识检索增强场景。

近 7 日
+1,718
累计 Star
83.8k
Fork
8,669
近 30 日
+5,216
Star 趋势 · 58 个采集点
+21%
6 月 23 日9 月 19 日
语言Python
分类工具/CLI
最近提交9 月 18 日
创建时间5 月 9 日
首次收录6 月 23 日 · 自动扫描
README 摘要
1. Crawl4AI 是一个将任意网页自动转换为干净、结构化 Markdown 格式的开源爬虫,专为大语言模型(LLM)、RAG 系统和数据管道设计。 2. 项目基于 Python 构建,通过异步浏览器池、智能缓存、自适应页面解析和 CLI/Docker 双重部署实现高效提取。 3. 拥有超 69k 星的高人气,支持深度爬取、会话保持和零密钥部署,适用于大规模 LLM 数据采集与知识检索增强场景。
中文摘要由 AI 生成,仅供参考。
在 GitHub 打开