GitHub 雷达
黑马榜 · 第 8首次出现 7 天前

JustVugg/colibri

Colibri 是一个用纯 C 编写的轻量级推理引擎,让普通消费级硬件也能运行 744B 到 2.8T 参数的前沿 MoE 大模型。它把显存、内存和磁盘当作统一的多层推理层级,通过专家权重按需流式加载、JIT 式路由热度缓存、O_DIRECT 与双 SSD 条带化 I/O、以及 CPU/GPU/NUMA 异构协同执行来实现,每个模型家族对应一个 C 文件。亮点是零依赖、可本地私有运行超大模型并实时可视化专家路由,适合想在自有硬件上研究、测量和优化大模型推理的系统开发者与研究者。

近 7 日
+8,276
累计 Star
35.7k
Fork
3,746
近 30 日
+8,276
Star 趋势 · 8 个采集点
+30%
9 月 11 日9 月 18 日
语言C
分类AI/机器学习
最近提交9 月 17 日
创建时间7 月 1 日
首次收录9 月 11 日 · 自动扫描
README 摘要
Colibri 是一个用纯 C 编写的轻量级推理引擎,让普通消费级硬件也能运行 744B 到 2.8T 参数的前沿 MoE 大模型。它把显存、内存和磁盘当作统一的多层推理层级,通过专家权重按需流式加载、JIT 式路由热度缓存、O_DIRECT 与双 SSD 条带化 I/O、以及 CPU/GPU/NUMA 异构协同执行来实现,每个模型家族对应一个 C 文件。亮点是零依赖、可本地私有运行超大模型并实时可视化专家路由,适合想在自有硬件上研究、测量和优化大模型推理的系统开发者与研究者。
中文摘要由 AI 生成,仅供参考。
在 GitHub 打开