antirez/ds4
DwarfStar是一个专为DeepSeek V4 Flash和PRO等模型设计的本地推理引擎，解决在个人消费级硬件上高效运行大模型的问题，而非通用的GGUF运行器。它主要使用C语言实现，支持Metal、CUDA和ROCm后端，并基于llama.cpp和GGML的生态构建，但不直接链接GGML。其亮点在于针对特定模型深度优化，支持SSD流式加载、多GPU张量并行和流水线并行，可在MacBook、DGX Spark等设备上运行，甚至能将旧款CUDA显卡服务器变为多用户LLM服务，同时项目鼓励用户利用AI编码代理进行个性化修改和性能调优。
antirez/ds4
47 天前首次出现未被群岛收录DwarfStar是一个专为DeepSeek V4 Flash和PRO等模型设计的本地推理引擎，解决在个人消费级硬件上高效运行大模型的问题，而非通用的GGUF运行器。它主要使用C语言实现，支持Metal、CUDA和ROCm后端，并基于llama.cpp和GGML的生态构建，但不直接链接GGML。其亮点在于针对特定模型深度优化，支持SSD流式加载、多GPU张量并行和流水线并行，可在MacBook、DGX Spark等设备上运行，甚至能将旧款CUDA显卡服务器变为多用户LLM服务，同时项目鼓励用户利用AI编码代理进行个性化修改和性能调优。
Star 趋势
共 3 个采集点 · 近 30 日 +824项目介绍
由 AI 摘自仓库 READMEDwarfStar是一个专为DeepSeek V4 Flash和PRO等模型设计的本地推理引擎，解决在个人消费级硬件上高效运行大模型的问题，而非通用的GGUF运行器。它主要使用C语言实现，支持Metal、CUDA和ROCm后端，并基于llama.cpp和GGML的生态构建，但不直接链接GGML。其亮点在于针对特定模型深度优化，支持SSD流式加载、多GPU张量并行和流水线并行，可在MacBook、DGX Spark等设备上运行，甚至能将旧款CUDA显卡服务器变为多用户LLM服务，同时项目鼓励用户利用AI编码代理进行个性化修改和性能调优。
仓库信息
该项目由雷达自动扫描 GitHub 发现，含 Star 增速、提交活跃度与分类标签，中文摘要由 AI 生成。