返回 GitHub 雷达在 GitHub 打开
binux/pyspider
41 天前首次出现未被群岛收录1. 解决什么问题 / 是什么 一个功能强大的 Python 爬虫系统,提供从脚本编写、任务调度到结果展示的完整抓取方案。 2. 主要技术栈或实现方式 基于 Python 开发,支持 MySQL、MongoDB、Redis 等多种数据库与 RabbitMQ、Redis 等消息队列,并通过 WebUI 实现可视化的任务管理和脚本编辑。 3. 亮点或适用场景 拥有分布式架构、JavaScript 页面渲染和任务优先级/重试/定时等高级特性,适合需要大规模、复杂调度且需实时监控的爬虫项目。
Python创建于 2014 年 2 月最近提交 2024 年 5 月
累计 Star
16.8k
近 7 日新增
+0
近 30 日新增
+0
Fork
3,625
Star 趋势
共 7 个采集点 · 近 30 日 +02026-06-232026-07-18
项目介绍
由 AI 摘自仓库 README1. 解决什么问题 / 是什么
一个功能强大的 Python 爬虫系统,提供从脚本编写、任务调度到结果展示的完整抓取方案。
2. 主要技术栈或实现方式
基于 Python 开发,支持 MySQL、MongoDB、Redis 等多种数据库与 RabbitMQ、Redis 等消息队列,并通过 WebUI 实现可视化的任务管理和脚本编辑。
3. 亮点或适用场景
拥有分布式架构、JavaScript 页面渲染和任务优先级/重试/定时等高级特性,适合需要大规模、复杂调度且需实时监控的爬虫项目。
仓库信息
Topics
#crawler#python
来自雷达
该项目由雷达自动扫描 GitHub 发现,含 Star 增速、提交活跃度与分类标签,中文摘要由 AI 生成。