
LiteLLM est un outil open source d'accès et d'intégration unifiés pour les grands modèles de langage (LLM). En tant que passerelle IA, il vise à simplifier l'appel, la gestion et l'exploitation de plus de 100 LLM via des interfaces normalisées, réduisant la complexité de l'intégration multi-modèles.
LiteLLM prend en charge plus de 100 fournisseurs de LLM, dont OpenAI, Anthropic, Google Gemini, AWS Bedrock, Azure OpenAI, Cohere, Mistral, Ollama et les modèles disponibles sur Hugging Face.
LiteLLM offre une surveillance centralisée des coûts, permettant de suivre la consommation et les dépenses en tokens par modèle, projet et équipe, avec des alertes budgétaires et des quotas. Il peut aussi optimiser les coûts grâce au caching des requêtes et au routage intelligent.
LiteLLM offre des déploiements flexibles : directement intégré dans le code via le SDK Python, ou déployé en tant que serveur proxy autonome dans le cloud ou sur site via Docker, Helm ou Terraform sur Kubernetes.
Si votre application utilise uniquement un seul fournisseur de modèle, introduire LiteLLM peut augmenter une complexité d'architecture inutile. Il est plutôt destiné aux équipes et entreprises de taille moyenne à grande qui nécessitent une utilisation flexible de multiples modèles, une gouvernance centralisée ou un contrôle des coûts.
LiteLLM intègre des mécanismes de routage intelligent et de basculement. Lorsque le modèle principal est indisponible, atteint une limite de débit ou rencontre un time-out, il bascule automatiquement vers un modèle de secours prédéfini pour garantir la continuité et la résilience du service.

Vellum AI est une plateforme de développement de bout en bout destinée aux équipes produit centrées IA, spécialisée dans les agents intelligents et le développement d'applications d'IA. La plateforme propose des orchestrations de workflows visuels, de l’ingénierie de prompts, des tests et évaluations multi-modèles, afin d’aider les utilisateurs à passer de l’idée à l’environnement de production et à concevoir, tester et déployer plus efficacement des applications basées sur de grands modèles linguistiques.
AnythingLLM est une application de bureau tout-en-un développée par Mintplex Labs, intégrant des conversations autour de documents, un agent intelligent basé sur l'IA et la capacité d’exécuter des modèles locaux. Elle aide les utilisateurs à interagir de manière intelligente avec leurs documents personnels ou d'équipe sans configuration complexe, et prend en charge des déploiements locaux ou cloud flexibles, en mettant l'accent sur la confidentialité des données et les besoins de personnalisation.