GitHub 雷达
首次出现 87 天前

spotify/luigi

1. 解决批处理流水线的依赖解析、工作流管理与可视化等常见问题,用于编排复杂的批量任务链。 2. 基于 Python 构建,任务依赖直接用 Python 代码定义,内置对 Hadoop、Hive、Spark 等大数据组件的集成支持。 3. 提供 Web 可视化界面查看依赖图和任务状态,适合需要长时间运行、包含数千个异构任务的复杂数据管道场景。

近 7 日
+0
累计 Star
18.7k
Fork
2,458
近 30 日
+0
Star 趋势 · 7 个采集点
+0%
6 月 24 日7 月 18 日
语言Python
分类后端/服务端
最近提交7 月 18 日
创建时间9 月 20 日
首次收录6 月 24 日 · 自动扫描
README 摘要
1. 解决批处理流水线的依赖解析、工作流管理与可视化等常见问题,用于编排复杂的批量任务链。 2. 基于 Python 构建,任务依赖直接用 Python 代码定义,内置对 Hadoop、Hive、Spark 等大数据组件的集成支持。 3. 提供 Web 可视化界面查看依赖图和任务状态,适合需要长时间运行、包含数千个异构任务的复杂数据管道场景。
中文摘要由 AI 生成,仅供参考。
在 GitHub 打开