返回 GitHub 雷达在 GitHub 打开
microsoft/BitNet
42 天前首次出现未被群岛收录BitNet 是微软推出的 1-bit 大语言模型官方推理框架,旨在解决传统大模型在本地设备上运行时的计算和能耗瓶颈。主要技术栈基于 C++ 实现,并利用查找表方法优化内核,支持在 CPU 和 GPU 上进行快速且无损的 1.58 位模型推理。其亮点在于在 ARM 和 x86 CPU 上实现了最高 6.17 倍的推理加速和 82.2% 的能耗降低,甚至能在单 CPU 上以接近人类阅读速度运行百亿参数模型,非常适合边缘设备和本地化部署场景。
C++创建于 2024 年 8 月最近提交 2026 年 7 月
累计 Star
39.8k
近 7 日新增
+23
近 30 日新增
+229
Fork
3,660
Star 趋势
共 16 个采集点 · 近 30 日 +2292026-06-232026-08-03
项目介绍
由 AI 摘自仓库 READMEBitNet 是微软推出的 1-bit 大语言模型官方推理框架,旨在解决传统大模型在本地设备上运行时的计算和能耗瓶颈。主要技术栈基于 C++ 实现,并利用查找表方法优化内核,支持在 CPU 和 GPU 上进行快速且无损的 1.58 位模型推理。其亮点在于在 ARM 和 x86 CPU 上实现了最高 6.17 倍的推理加速和 82.2% 的能耗降低,甚至能在单 CPU 上以接近人类阅读速度运行百亿参数模型,非常适合边缘设备和本地化部署场景。
仓库信息
来自雷达
该项目由雷达自动扫描 GitHub 发现,含 Star 增速、提交活跃度与分类标签,中文摘要由 AI 生成。