GitHub 雷达
首次出现 88 天前

microsoft/BitNet

BitNet 是微软推出的 1-bit 大语言模型官方推理框架,旨在解决传统大模型在本地设备上运行时的计算和能耗瓶颈。主要技术栈基于 C++ 实现,并利用查找表方法优化内核,支持在 CPU 和 GPU 上进行快速且无损的 1.58 位模型推理。其亮点在于在 ARM 和 x86 CPU 上实现了最高 6.17 倍的推理加速和 82.2% 的能耗降低,甚至能在单 CPU 上以接近人类阅读速度运行百亿参数模型,非常适合边缘设备和本地化部署场景。

近 7 日
+40
累计 Star
40.3k
Fork
3,733
近 30 日
+169
Star 趋势 · 56 个采集点
+2%
6 月 23 日9 月 19 日
语言C++
分类AI/机器学习
最近提交7 月 27 日
创建时间8 月 5 日
首次收录6 月 23 日 · 自动扫描
README 摘要
BitNet 是微软推出的 1-bit 大语言模型官方推理框架,旨在解决传统大模型在本地设备上运行时的计算和能耗瓶颈。主要技术栈基于 C++ 实现,并利用查找表方法优化内核,支持在 CPU 和 GPU 上进行快速且无损的 1.58 位模型推理。其亮点在于在 ARM 和 x86 CPU 上实现了最高 6.17 倍的推理加速和 82.2% 的能耗降低,甚至能在单 CPU 上以接近人类阅读速度运行百亿参数模型,非常适合边缘设备和本地化部署场景。
中文摘要由 AI 生成,仅供参考。
在 GitHub 打开