
OpenLIT AI é uma plataforma de código aberto baseada no padrão OpenTelemetry, projetada para aplicações de IA generativa e de grandes modelos de linguagem, oferecendo observabilidade, monitoramento e avaliação.
Ele coleta automaticamente metadados, métricas de desempenho e informações de custo das solicitações de LLM por meio de instrumentação automática, além de oferecer rastreamento distribuído, visualização em dashboards e análise de erros.
Oferece várias opções de integração. Pode-se utilizar o SDK para exigir poucas alterações no código ou usar o Operator no Kubernetes para monitoramento sem código.
Suporta implantação self-hosted, por exemplo, via Docker Compose ou Kubernetes, além de modos de implantação nativas na nuvem.
A plataforma inclui um framework de avaliação, que suporta avaliar prompts, modelos e aplicações de ponta a ponta, analisando métricas de qualidade das saídas.
De acordo com o seu licenciamento de código aberto, é um projeto de código aberto sob a licença Apache 2.0, oferecido gratuitamente para uso e implantação.

Langfuse AI é uma plataforma de código aberto para engenharia e operação de LLMs, destinada a ajudar equipes de desenvolvimento a construir, monitorar, depurar e otimizar aplicações baseadas em grandes modelos de linguagem. Ela oferece rastreamento de aplicações, gerenciamento de prompts, avaliação de qualidade e análise de custos, aumentando a eficiência de desenvolvimento e a observabilidade de aplicações de IA.

Evidently AI é uma plataforma de código aberto focada em avaliação, teste e monitoramento de aprendizado de máquina e grandes modelos de linguagem, ajudando cientistas de dados e engenheiros a garantir a qualidade e confiabilidade dos sistemas de IA em produção.