
OpenLIT AI es una plataforma de código abierto basada en el estándar OpenTelemetry, dedicada a proporcionar observabilidad, monitoreo y evaluación para aplicaciones de IA generativa y grandes modelos de lenguaje (LLMs).
Recoge automáticamente metadatos, métricas de rendimiento y costos de las solicitudes de LLM mediante instrumentación automática, y ofrece trazas distribuidas, visualización de tableros e análisis de errores.
Soporta múltiples métodos de integración. Se puede iniciar con pocas líneas de código instalando el SDK, o en entornos Kubernetes usar un Operator para una monitorización sin código.
Soporta despliegue on-premise, por ejemplo mediante Docker Compose o Kubernetes, y también admite modos de despliegue nativo en la nube.
La plataforma incluye un marco de evaluación que admite evaluar indicaciones, modelos y aplicaciones de extremo a extremo, y analizar métricas de calidad de las salidas.
Según su licencia de código abierto, es un proyecto de código abierto bajo la licencia Apache 2.0, disponible para uso y despliegue gratuitos.

Langfuse AI es una plataforma de ingeniería y operaciones de LLM de código abierto, diseñada para ayudar a los equipos de desarrollo a construir, monitorear, depurar y optimizar aplicaciones basadas en modelos de lenguaje grandes. Ofrece funciones como rastreo de aplicaciones, gestión de prompts, evaluación de calidad y análisis de costos, con el objetivo de mejorar la productividad en el desarrollo y la observabilidad de las aplicaciones de IA.

Evidently AI es una plataforma de código abierto centrada en la evaluación, prueba y monitoreo de modelos de aprendizaje automático y de grandes modelos de lenguaje (LLM), diseñada para garantizar la calidad, seguridad y fiabilidad de los sistemas de IA en entornos de producción.