GitHub 雷达
首次出现 88 天前
microsoft/BitNet
BitNet 是微软推出的 1-bit 大语言模型官方推理框架,旨在解决传统大模型在本地设备上运行时的计算和能耗瓶颈。主要技术栈基于 C++ 实现,并利用查找表方法优化内核,支持在 CPU 和 GPU 上进行快速且无损的 1.58 位模型推理。其亮点在于在 ARM 和 x86 CPU 上实现了最高 6.17 倍的推理加速和 82.2% 的能耗降低,甚至能在单 CPU 上以接近人类阅读速度运行百亿参数模型,非常适合边缘设备和本地化部署场景。
近 7 日
+40
累计 Star
40.3k
Fork
3,733
近 30 日
+169
Star 趋势 · 56 个采集点
+2%6 月 23 日9 月 19 日
语言C++
分类AI/机器学习
最近提交7 月 27 日
创建时间8 月 5 日
首次收录6 月 23 日 · 自动扫描
README 摘要
BitNet 是微软推出的 1-bit 大语言模型官方推理框架,旨在解决传统大模型在本地设备上运行时的计算和能耗瓶颈。主要技术栈基于 C++ 实现,并利用查找表方法优化内核,支持在 CPU 和 GPU 上进行快速且无损的 1.58 位模型推理。其亮点在于在 ARM 和 x86 CPU 上实现了最高 6.17 倍的推理加速和 82.2% 的能耗降低,甚至能在单 CPU 上以接近人类阅读速度运行百亿参数模型,非常适合边缘设备和本地化部署场景。
中文摘要由 AI 生成,仅供参考。
返回 GitHub 雷达在 GitHub 打开
microsoft/BitNet
88 天前首次出现未被群岛收录BitNet 是微软推出的 1-bit 大语言模型官方推理框架,旨在解决传统大模型在本地设备上运行时的计算和能耗瓶颈。主要技术栈基于 C++ 实现,并利用查找表方法优化内核,支持在 CPU 和 GPU 上进行快速且无损的 1.58 位模型推理。其亮点在于在 ARM 和 x86 CPU 上实现了最高 6.17 倍的推理加速和 82.2% 的能耗降低,甚至能在单 CPU 上以接近人类阅读速度运行百亿参数模型,非常适合边缘设备和本地化部署场景。
C++创建于 2024 年 8 月最近提交 2026 年 7 月
累计 Star
40.3k
近 7 日新增
+40
近 30 日新增
+169
Fork
3,733
Star 趋势
共 56 个采集点 · 近 30 日 +1692026-06-232026-09-18
项目介绍
由 AI 摘自仓库 READMEBitNet 是微软推出的 1-bit 大语言模型官方推理框架,旨在解决传统大模型在本地设备上运行时的计算和能耗瓶颈。主要技术栈基于 C++ 实现,并利用查找表方法优化内核,支持在 CPU 和 GPU 上进行快速且无损的 1.58 位模型推理。其亮点在于在 ARM 和 x86 CPU 上实现了最高 6.17 倍的推理加速和 82.2% 的能耗降低,甚至能在单 CPU 上以接近人类阅读速度运行百亿参数模型,非常适合边缘设备和本地化部署场景。
仓库信息
来自雷达
该项目由雷达自动扫描 GitHub 发现,含 Star 增速、提交活跃度与分类标签,中文摘要由 AI 生成。