JustVugg/colibri
Colibri 是一个用纯 C 编写的轻量级推理引擎,让普通消费级硬件也能运行 744B 到 2.8T 参数的前沿 MoE 大模型。它把显存、内存和磁盘当作统一的多层推理层级,通过专家权重按需流式加载、JIT 式路由热度缓存、O_DIRECT 与双 SSD 条带化 I/O、以及 CPU/GPU/NUMA 异构协同执行来实现,每个模型家族对应一个 C 文件。亮点是零依赖、可本地私有运行超大模型并实时可视化专家路由,适合想在自有硬件上研究、测量和优化大模型推理的系统开发者与研究者。
JustVugg/colibri
7 天前首次出现未被群岛收录Colibri 是一个用纯 C 编写的轻量级推理引擎,让普通消费级硬件也能运行 744B 到 2.8T 参数的前沿 MoE 大模型。它把显存、内存和磁盘当作统一的多层推理层级,通过专家权重按需流式加载、JIT 式路由热度缓存、O_DIRECT 与双 SSD 条带化 I/O、以及 CPU/GPU/NUMA 异构协同执行来实现,每个模型家族对应一个 C 文件。亮点是零依赖、可本地私有运行超大模型并实时可视化专家路由,适合想在自有硬件上研究、测量和优化大模型推理的系统开发者与研究者。
Star 趋势
共 8 个采集点 · 近 30 日 +8,276项目介绍
由 AI 摘自仓库 READMEColibri 是一个用纯 C 编写的轻量级推理引擎,让普通消费级硬件也能运行 744B 到 2.8T 参数的前沿 MoE 大模型。它把显存、内存和磁盘当作统一的多层推理层级,通过专家权重按需流式加载、JIT 式路由热度缓存、O_DIRECT 与双 SSD 条带化 I/O、以及 CPU/GPU/NUMA 异构协同执行来实现,每个模型家族对应一个 C 文件。亮点是零依赖、可本地私有运行超大模型并实时可视化专家路由,适合想在自有硬件上研究、测量和优化大模型推理的系统开发者与研究者。
仓库信息
该项目由雷达自动扫描 GitHub 发现,含 Star 增速、提交活跃度与分类标签,中文摘要由 AI 生成。