返回 GitHub 雷达在 GitHub 打开
D4Vinci/Scrapling
42 天前首次出现未被群岛收录Scrapling 是一个自适应网页抓取框架,能够处理从单个请求到大规模爬取的所有任务,并自动适应网站结构变化以重新定位元素。 主要技术栈基于 Python,提供多种抓取器(如 StealthyFetcher)绕过反爬系统,并支持异步并发、会话管理、自动代理轮换和命令行工具。 其亮点在于解析器能自动学习网站更新并重定位元素,内置绕过 Cloudflare Turnstile 等反爬机制,适合需要稳定、大规模数据采集且应对网站频繁变更的场景。
Python创建于 2024 年 10 月最近提交 2026 年 7 月
累计 Star
72.3k
近 7 日新增
+870
近 30 日新增
+4,647
Fork
7,184
Star 趋势
共 17 个采集点 · 近 30 日 +4,6472026-06-232026-08-03
项目介绍
由 AI 摘自仓库 READMEScrapling 是一个自适应网页抓取框架,能够处理从单个请求到大规模爬取的所有任务,并自动适应网站结构变化以重新定位元素。 主要技术栈基于 Python,提供多种抓取器(如 StealthyFetcher)绕过反爬系统,并支持异步并发、会话管理、自动代理轮换和命令行工具。 其亮点在于解析器能自动学习网站更新并重定位元素,内置绕过 Cloudflare Turnstile 等反爬机制,适合需要稳定、大规模数据采集且应对网站频繁变更的场景。
仓库信息
Topics
#ai#ai-scraping#automation#crawler#crawling#crawling-python#data#data-extraction#mcp#mcp-server#playwright#python
来自雷达
该项目由雷达自动扫描 GitHub 发现,含 Star 增速、提交活跃度与分类标签,中文摘要由 AI 生成。