返回 GitHub 雷达在 GitHub 打开
spotify/luigi
41 天前首次出现未被群岛收录1. 解决批处理流水线的依赖解析、工作流管理与可视化等常见问题,用于编排复杂的批量任务链。 2. 基于 Python 构建,任务依赖直接用 Python 代码定义,内置对 Hadoop、Hive、Spark 等大数据组件的集成支持。 3. 提供 Web 可视化界面查看依赖图和任务状态,适合需要长时间运行、包含数千个异构任务的复杂数据管道场景。
Python创建于 2012 年 9 月最近提交 2026 年 7 月
累计 Star
18.7k
近 7 日新增
+0
近 30 日新增
+0
Fork
2,458
Star 趋势
共 7 个采集点 · 近 30 日 +02026-06-232026-07-18
项目介绍
由 AI 摘自仓库 README1. 解决批处理流水线的依赖解析、工作流管理与可视化等常见问题,用于编排复杂的批量任务链。
2. 基于 Python 构建,任务依赖直接用 Python 代码定义,内置对 Hadoop、Hive、Spark 等大数据组件的集成支持。
3. 提供 Web 可视化界面查看依赖图和任务状态,适合需要长时间运行、包含数千个异构任务的复杂数据管道场景。
仓库信息
Topics
#hadoop#luigi#orchestration-framework#python#scheduling
来自雷达
该项目由雷达自动扫描 GitHub 发现,含 Star 增速、提交活跃度与分类标签,中文摘要由 AI 生成。