
Portkey AI 是面向生成式 AI 開發者的企業級 LLMOps 平台,旨在為大規模 AI 應用提供生產級基礎設施,協助團隊安全且高效地構建與管理 AI 應用。
主要提供統一的 AI 網關、全棧可觀測性與監控、安全治理與管控、提示詞與工作流管理等功能,涵蓋從模型整合到運維監控的全流程。
適用於生成式 AI 團隊、應用開發者、平台工程團隊以及需要統一治理企業級 AI 應用的組織,特別是那些需要管理多個 LLM 模型和提供商的專案。
平台提供雲端托管服務,包含免費層與按量計費方案,同時也提供開源版本供本地私有化部署,具體費用結構建議參考官方定價頁面。
平台提供金鑰管理、存取控制、工作區隔離等功能,並支援 PII 去識別等安全護欄,具體的安全措施與合規資訊建議查閱官方文件。
透過統一的 AI 網關,平台支援接入與管理超過 1600 個大型語言模型及提供商,簡化多模型整合的工作。
通常需要註冊帳號並建立工作區,然後透過 Portkey SDK 或配置現有框架(如 LangChain)將應用請求導向 Portkey 網關端點,具體步驟請參考官方入門指南。
平台透過智慧路由、語義快取、細緻化成本監控與歸因等功能,為使用者提供成本優化的工具與洞察,協助管理 AI 應用的支出。
Abacus.AI 是一個面向企業和專業人士的一體化 AI 平台,整合了資料科學、機器學習和生成式 AI 能力。它透過統一的介面提供多種 AI 模型存取、自動化工作流程建構以及企業級應用開發支援,旨在幫助使用者簡化 AI 應用的構建與部署流程。

LiteLLM 是一個開源的 AI 網關平台,透過標準化介面統一存取與管理超過 100 種大型語言模型,協助開發者與企業團隊簡化整合、控制成本並提升運維效能。

OrqAI 是一個面向企業的生成式 AI 協作平台,協助團隊建構、測試、部署與管理生產級 AI 智能體與 LLM 應用,加速從原型到市場的交付過程。

Freeplay AI 是一個面向企業 AI 工程團隊的開發與運維平台,專注於協助團隊高效構建、測試、監控與優化基於大型語言模型的應用程式。平台透過提供協作開發、生產可觀測性及持續優化工具,旨在標準化開發流程,提升 AI 應用的可靠性與迭代效率。
Helicone AI 是一款開源的 AI 網關與 LLM 可觀測性平臺,協助開發者監控、優化與部署基於大型語言模型的 AI 應用,提升應用的可靠性與成本效益。

Prompteus AI 是一個企業級生成式 AI 編排平台,透過統一的工作流程、模型管理與合規控管,協助團隊與組織建構、治理與擴展可靠的智慧應用。
QueryPie AI 是一個企業級 AI 平台,旨在幫助企業以較低成本實現 AI 轉型。它提供從策略諮詢到定制化 AI 智能體開發的全流程解決方案,支援統一管理多種大型語言模型,並整合企業現有的雲端服務與資料,協助自動化業務流程與提升決策效率。

LangWatch AI 是一個面向 AI 開發團隊的 LLMOps 平台,專注於為 AI Agent 與大型語言模型應用提供測試、評估、監控與優化功能,旨在協助團隊建構可靠、可測試的 AI 系統,覆蓋從開發到生產的整個流程。

Klu AI 是一個專注於 LLMOps(大型語言模型運維)的整合平台,旨在幫助企業團隊高效地設計、部署、優化和監控基於大型語言模型(LLM)的應用程式,提供從原型驗證到生產部署的端到端解決方案。

Potpie AI 是一個開源 AI 代理平臺,透過建立程式碼知識圖譜來建立定製化智慧體,自動化程式碼分析、測試與開發任務,顯著提升工程效率。