GitHub 雷达
首次出现 88 天前

D4Vinci/Scrapling

Scrapling 是一个自适应网页抓取框架,能够处理从单个请求到大规模爬取的所有任务,并自动适应网站结构变化以重新定位元素。 主要技术栈基于 Python,提供多种抓取器(如 StealthyFetcher)绕过反爬系统,并支持异步并发、会话管理、自动代理轮换和命令行工具。 其亮点在于解析器能自动学习网站更新并重定位元素,内置绕过 Cloudflare Turnstile 等反爬机制,适合需要稳定、大规模数据采集且应对网站频繁变更的场景。

近 7 日
+2,156
累计 Star
82.1k
Fork
8,362
近 30 日
+7,167
Star 趋势 · 57 个采集点
+25%
6 月 23 日9 月 19 日
语言Python
分类工具/CLI
最近提交9 月 18 日
创建时间10 月 14 日
首次收录6 月 23 日 · 自动扫描
README 摘要
Scrapling 是一个自适应网页抓取框架,能够处理从单个请求到大规模爬取的所有任务,并自动适应网站结构变化以重新定位元素。 主要技术栈基于 Python,提供多种抓取器(如 StealthyFetcher)绕过反爬系统,并支持异步并发、会话管理、自动代理轮换和命令行工具。 其亮点在于解析器能自动学习网站更新并重定位元素,内置绕过 Cloudflare Turnstile 等反爬机制,适合需要稳定、大规模数据采集且应对网站频繁变更的场景。
中文摘要由 AI 生成,仅供参考。
在 GitHub 打开