GitHub 雷达
首次出现 87 天前

binux/pyspider

1. 解决什么问题 / 是什么 一个功能强大的 Python 爬虫系统，提供从脚本编写、任务调度到结果展示的完整抓取方案。 2. 主要技术栈或实现方式 基于 Python 开发，支持 MySQL、MongoDB、Redis 等多种数据库与 RabbitMQ、Redis 等消息队列，并通过 WebUI 实现可视化的任务管理和脚本编辑。 3. 亮点或适用场景 拥有分布式架构、JavaScript 页面渲染和任务优先级/重试/定时等高级特性，适合需要大规模、复杂调度且需实时监控的爬虫项目。

近 7 日
+0
累计 Star
16.8k
Fork
3,625
近 30 日
+0
Star 趋势 · 7 个采集点
+0%
6 月 24 日7 月 18 日
语言Python
分类后端/服务端
最近提交5 月 1 日
创建时间2 月 22 日
首次收录6 月 24 日 · 自动扫描
README 摘要
1. 解决什么问题 / 是什么 一个功能强大的 Python 爬虫系统，提供从脚本编写、任务调度到结果展示的完整抓取方案。 2. 主要技术栈或实现方式 基于 Python 开发，支持 MySQL、MongoDB、Redis 等多种数据库与 RabbitMQ、Redis 等消息队列，并通过 WebUI 实现可视化的任务管理和脚本编辑。 3. 亮点或适用场景 拥有分布式架构、JavaScript 页面渲染和任务优先级/重试/定时等高级特性，适合需要大规模、复杂调度且需实时监控的爬虫项目。
中文摘要由 AI 生成,仅供参考。
在 GitHub 打开