GitHub 雷达
首次出现 88 天前

tensorzero/tensorzero

TensorZero 是一个开源的 LLMOps 平台,它将 LLM 网关、可观测性、评估、优化和实验功能统一到一个工具中。 主要技术栈基于 Rust 语言实现,提供高性能的统一 API 网关,支持与 OpenAI SDK、OpenTelemetry 以及所有主流 LLM 提供商集成。 其亮点在于极低的延迟(p99 小于 1 毫秒)和高吞吐量(每秒超过 1 万次查询),适用于从初创公司到财富 10 强企业的大规模 LLM 应用开发、部署和优化场景。

近 7 日
+3
累计 Star
11.7k
Fork
949
近 30 日
+24
Star 趋势 · 8 个采集点
+0%
6 月 23 日7 月 18 日
语言Rust
分类AI/机器学习
最近提交6 月 11 日
创建时间7 月 17 日
首次收录6 月 23 日 · 自动扫描
README 摘要
TensorZero 是一个开源的 LLMOps 平台,它将 LLM 网关、可观测性、评估、优化和实验功能统一到一个工具中。 主要技术栈基于 Rust 语言实现,提供高性能的统一 API 网关,支持与 OpenAI SDK、OpenTelemetry 以及所有主流 LLM 提供商集成。 其亮点在于极低的延迟(p99 小于 1 毫秒)和高吞吐量(每秒超过 1 万次查询),适用于从初创公司到财富 10 强企业的大规模 LLM 应用开发、部署和优化场景。
中文摘要由 AI 生成,仅供参考。
在 GitHub 打开