OpenLIT AI est une plateforme open source basée sur la norme OpenTelemetry, fournissant l'observabilité, la surveillance et l'évaluation pour les applications d'IA générative et les modèles de langage à grande échelle (LLM).
Elle collecte automatiquement les métadonnées, les métriques de performance et les coûts des requêtes LLM via une instrumentation automatique, et propose traçage distribué, tableaux de bord et analyse des erreurs.
OpenLIT AI propose plusieurs modes d'intégration : via l'installation du SDK pour un faible code, ou via un Operator Kubernetes pour une surveillance sans code.
Il prend en charge le déploiement en self-hosting, par exemple via Docker Compose ou Kubernetes, et aussi le déploiement cloud-native.
La plateforme intègre un cadre d'évaluation permettant d'évaluer l'efficacité des prompts, des modèles et des applications de bout en bout, et d'analyser des indicateurs de qualité des sorties.
Selon sa licence open source, c'est un projet sous licence Apache 2.0, utilisable et déployable gratuitement.
Langfuse AI est une plateforme open source d’ingénierie et d’exploitation des LLM (grands modèles de langage), conçue pour aider les équipes de développement à construire, surveiller, déboguer et optimiser les applications basées sur des grands modèles de langage. Elle offre des fonctionnalités telles que le traçage des applications, la gestion des prompts, l’évaluation de la qualité et l’analyse des coûts, afin d’améliorer l’efficacité du développement et l’observabilité des applications IA.
Evidently AI est une plateforme open source dédiée à l’évaluation, aux tests et à la surveillance des modèles d'apprentissage automatique et des grands modèles de langage, aidant les scientifiques des données et les ingénieurs à garantir la qualité et la fiabilité des systèmes d'IA en production.
