GitHub 雷达
首次出现 88 天前
D4Vinci/Scrapling
Scrapling 是一个自适应网页抓取框架,能够处理从单个请求到大规模爬取的所有任务,并自动适应网站结构变化以重新定位元素。 主要技术栈基于 Python,提供多种抓取器(如 StealthyFetcher)绕过反爬系统,并支持异步并发、会话管理、自动代理轮换和命令行工具。 其亮点在于解析器能自动学习网站更新并重定位元素,内置绕过 Cloudflare Turnstile 等反爬机制,适合需要稳定、大规模数据采集且应对网站频繁变更的场景。
近 7 日
+2,156
累计 Star
82.1k
Fork
8,362
近 30 日
+7,167
Star 趋势 · 57 个采集点
+25%6 月 23 日9 月 19 日
语言Python
分类工具/CLI
最近提交9 月 18 日
创建时间10 月 14 日
首次收录6 月 23 日 · 自动扫描
README 摘要
Scrapling 是一个自适应网页抓取框架,能够处理从单个请求到大规模爬取的所有任务,并自动适应网站结构变化以重新定位元素。 主要技术栈基于 Python,提供多种抓取器(如 StealthyFetcher)绕过反爬系统,并支持异步并发、会话管理、自动代理轮换和命令行工具。 其亮点在于解析器能自动学习网站更新并重定位元素,内置绕过 Cloudflare Turnstile 等反爬机制,适合需要稳定、大规模数据采集且应对网站频繁变更的场景。
中文摘要由 AI 生成,仅供参考。
返回 GitHub 雷达在 GitHub 打开
D4Vinci/Scrapling
88 天前首次出现未被群岛收录Scrapling 是一个自适应网页抓取框架,能够处理从单个请求到大规模爬取的所有任务,并自动适应网站结构变化以重新定位元素。 主要技术栈基于 Python,提供多种抓取器(如 StealthyFetcher)绕过反爬系统,并支持异步并发、会话管理、自动代理轮换和命令行工具。 其亮点在于解析器能自动学习网站更新并重定位元素,内置绕过 Cloudflare Turnstile 等反爬机制,适合需要稳定、大规模数据采集且应对网站频繁变更的场景。
Python创建于 2024 年 10 月最近提交 2026 年 9 月
累计 Star
82.1k
近 7 日新增
+2,156
近 30 日新增
+7,167
Fork
8,362
Star 趋势
共 57 个采集点 · 近 30 日 +7,1672026-06-232026-09-18
项目介绍
由 AI 摘自仓库 READMEScrapling 是一个自适应网页抓取框架,能够处理从单个请求到大规模爬取的所有任务,并自动适应网站结构变化以重新定位元素。 主要技术栈基于 Python,提供多种抓取器(如 StealthyFetcher)绕过反爬系统,并支持异步并发、会话管理、自动代理轮换和命令行工具。 其亮点在于解析器能自动学习网站更新并重定位元素,内置绕过 Cloudflare Turnstile 等反爬机制,适合需要稳定、大规模数据采集且应对网站频繁变更的场景。
仓库信息
Topics
#ai#ai-scraping#automation#crawler#crawling#crawling-python#data#data-extraction#mcp#mcp-server#playwright#python
来自雷达
该项目由雷达自动扫描 GitHub 发现,含 Star 增速、提交活跃度与分类标签,中文摘要由 AI 生成。