
OpenLIT AI 是一个基于 OpenTelemetry 标准的开源平台,主要为生成式 AI 和大型语言模型应用提供可观测性、监控与评估能力。
它通过自动插桩收集 LLM 请求的元数据、性能指标和成本信息,并提供分布式追踪、仪表盘可视化及错误分析功能。
支持多种集成方式。可通过安装 SDK 进行少量代码调用,或在 Kubernetes 环境中使用 Operator 实现零代码监控注入。
支持自托管部署,例如通过 Docker Compose 或 Kubernetes 进行部署,也支持云原生部署模式。
平台内置评估框架,支持对提示词、模型及端到端应用进行效果评估,可分析输出内容的相关质量指标。
根据其开源协议信息,它是一个采用 Apache-2.0 许可证的开源项目,可供用户免费使用与部署。

Langfuse AI 是一个开源的 LLM 工程与运维平台,旨在帮助开发团队构建、监控、调试和优化基于大语言模型的应用。它通过提供应用追踪、提示词管理、质量评估和成本分析等功能,提升 AI 应用的开发效率和可观测性。

Evidently AI 是一个专注于机器学习与大型语言模型评估、测试与监控的开源平台,帮助数据科学家和工程师确保AI系统在生产环境中的质量与可靠性。

Adaline AI 是一款专注于大型语言模型应用开发与管理的协作平台,帮助团队高效开发、优化和部署基于LLM的AI解决方案。

Openlayer AI 是一个统一的 AI 治理与可观测性平台,旨在帮助企业安全、合规地构建、测试、部署和监控机器学习与大语言模型系统,提升部署信心与运维效率。

LangWatch AI 是一个面向 AI 开发团队的 LLMOps 平台,专注于为 AI Agent 和大语言模型应用提供测试、评估、监控与优化功能,旨在帮助团队构建可靠、可测试的 AI 系统,覆盖从开发到生产的全流程。
OpenMeter 是一款开源的实时用量计量与计费平台,帮助 AI、API 及 SaaS 公司实现基于使用量的定价模式,加速服务货币化进程。

Freeplay AI 是一款面向企业AI工程团队的开发与运维平台,专注于帮助团队高效构建、测试、监控和优化基于大语言模型的应用程序。平台通过提供协作开发、生产可观测性及持续优化工具,旨在标准化开发流程,提升AI应用的可靠性与迭代效率。

WhyLabs AI 是一个专注于AI可观测性与安全的平台,旨在为生产环境中的机器学习模型和生成式AI应用提供监控、保护与优化能力,帮助团队管理AI系统的性能与风险。
Laminar AI 是一个开源的 AI 工程化与可观测性平台,帮助开发者构建、监控、评估和优化基于大型语言模型的应用程序与智能体。

Langtrace AI 是一款开源的可观测性与评估平台,帮助开发者监控、调试和优化基于大语言模型的应用,从而将AI原型转化为可靠的企业级产品。