LiteLLM
LiteLLM 是一個開源的 AI 網關平台，透過標準化介面統一存取與管理超過 100 種大型語言模型，協助開發者與企業團隊簡化整合、控制成本並提升運維效能。
評分:
訪問官網5
AI 網關大型語言模型統一介面LLM 成本管理多模型代理伺服器開源模型路由工具企業級 AI 運維平台
LiteLLM 主要功能
提供與 OpenAI 相容的統一 API 介面，支援呼叫超過 100 種主流與本地大型語言模型。
內建智慧路由與故障轉移機制，可依據策略自動選擇模型並確保服務可用性。
LiteLLM 適用場景
平台團隊為內部大量開發者集中管理對不同 LLM 供應商的存取權限與成本。
在進行多模型 A/B 測試或需要平衡成本與效能時，用於智慧路由與切換模型。
LiteLLM 常見問題
QLiteLLM 是什麼，主要用來做什麼？
LiteLLM 是一個開源的大型語言模型（LLM）統一訪問與整合工具，它作為 AI 網關，旨在透過標準化介面簡化對超過 100 種 LLM 的呼叫、管理與運維，降低多模型整合的複雜度。
QLiteLLM 支援哪些大型語言模型？
LiteLLM 支援超過 100 個 LLM 提供商，包括 OpenAI、Anthropic、Google Gemini、AWS Bedrock、Azure OpenAI、Cohere、Mistral、Ollama 以及 Hugging Face 上的模型等。
