Confident AI 是一个专注于大语言模型评估与可观测性的平台,其核心为开源框架DeepEval,旨在帮助团队测试、监控和优化LLM应用的性能。
平台主要提供LLM自动化评估与基准测试、生产环境可观测性与监控、端到端回归测试以及实时评估与警报等功能。
主要面向需要构建和部署LLM应用的工程师、数据科学家、产品负责人以及质量保障团队。
平台采用免费增值模式,其核心评估框架DeepEval开源免费,云平台提供增强功能,具体费用信息需参考其官方定价页面。
平台提供数据隔离与权限管理等能力,用户可参考其隐私政策与服务条款了解具体的数据处理与安全措施。
平台可无缝集成主流LLM开发框架如LangChain、LlamaIndex,并支持通过API与CI/CD流程进行连接。

Langfuse AI 是一个开源的 LLM 工程与运维平台,旨在帮助开发团队构建、监控、调试和优化基于大语言模型的应用。它通过提供应用追踪、提示词管理、质量评估和成本分析等功能,提升 AI 应用的开发效率和可观测性。
Together AI 是一个 AI 原生云平台,为开发者和企业提供全栈基础设施,用于构建和运行生成式 AI 应用。平台提供从模型获取、定制、训练到高性能部署的完整工具链,旨在加速 AI 应用开发并优化成本效益。

Evidently AI 是一个专注于机器学习与大型语言模型评估、测试与监控的开源平台,帮助数据科学家和工程师确保AI系统在生产环境中的质量与可靠性。

Openlayer AI 是一个统一的 AI 治理与可观测性平台,旨在帮助企业安全、合规地构建、测试、部署和监控机器学习与大语言模型系统,提升部署信心与运维效率。
透光AI(Transluce)是一款专注于提升AI系统可解释性与安全性的开源研究工具,帮助研究人员和开发者理解、调试及监控AI模型内部行为,推动负责任AI的发展。

Future AGI 是一个面向企业的 LLM 可观测性与评估优化平台,专注于帮助开发者和企业提升 AI 应用(特别是智能体)的准确性、可靠性与性能。该平台集构建、评估、优化与观测功能于一体,旨在通过自动化工具加速高精度 AI 应用的开发与部署周期。

Entelligence AI 是一款面向工程团队的 AI 驱动代码审查平台,通过自动化审查、文档生成与团队洞察,全面提升代码质量与开发效率。

Freeplay AI 是一款面向企业AI工程团队的开发与运维平台,专注于帮助团队高效构建、测试、监控和优化基于大语言模型的应用程序。平台通过提供协作开发、生产可观测性及持续优化工具,旨在标准化开发流程,提升AI应用的可靠性与迭代效率。
LLM深度AI是一个专注于AI驱动研究与智能体工作流的平台,通过集成多模型和本地化数据处理,为用户提供可定制的智能对话体验。

MAIHEM是一家专注于AI质量保障的企业级平台,通过AI代理自动化测试与监控,帮助技术团队提升大型语言模型应用的安全性、性能与合规性。