OpenLIT AI là một nền tảng nguồn mở dựa trên chuẩn OpenTelemetry, chủ yếu cung cấp khả năng quan sát, giám sát và đánh giá cho các ứng dụng AI tổng hợp và mô hình ngôn ngữ lớn.
Nó thu thập siêu dữ liệu, chỉ số hiệu suất và chi phí cho các yêu cầu LLM bằng cách tự động tiêm instrumentation và cung cấp theo dõi phân tán, bảng điều khiển trực quan và phân tích lỗi.
Hỗ trợ nhiều cách tích hợp. Có thể cài đặt SDK để tích hợp với ít mã, hoặc dùng Operator trên Kubernetes để triển khai giám sát mà không cần mã.
Hỗ trợ triển khai tự lưu trữ, ví dụ qua Docker Compose hoặc Kubernetes, cũng như triển khai theo kiểu đám mây-native.
Nền tảng tích hợp khung đánh giá, hỗ trợ đánh giá hiệu quả của lời nhắc, mô hình và ứng dụng từ đầu tới cuối, có thể phân tích các chỉ tiêu chất lượng đầu ra.
Theo giấy phép nguồn mở, nó là dự án mở với Apache-2.0, người dùng có thể tự do sử dụng và triển khai.
Langfuse AI là một nền tảng mã nguồn mở về kỹ thuật và vận hành LLM, nhằm hỗ trợ các đội ngũ phát triển xây dựng, giám sát, gỡ lỗi và tối ưu các ứng dụng dựa trên mô hình ngôn ngữ lớn. Nền tảng cung cấp các chức năng như theo dõi ứng dụng, quản lý prompts và phiên bản, đánh giá chất lượng và phân tích chi phí để tăng hiệu quả phát triển và khả năng quan sát của ứng dụng AI.
Evidently AI là một nền tảng mã nguồn mở chuyên về đánh giá, kiểm tra và giám sát học máy và các mô hình ngôn ngữ lớn (LLM), giúp nhà khoa học dữ liệu và kỹ sư đảm bảo chất lượng và độ tin cậy của hệ thống AI trong môi trường sản xuất.
Adaline AI là một nền tảng hợp tác tập trung vào phát triển và quản lý các ứng dụng dựa trên mô hình ngôn ngữ lớn, giúp các nhóm làm việc phát triển, tối ưu và triển khai các giải pháp AI dựa trên LLM một cách hiệu quả.
Openlayer AI là một nền tảng quản trị AI và quan sát tập trung, nhằm giúp doanh nghiệp xây dựng, kiểm thử, triển khai và giám sát hệ thống học máy và mô hình ngôn ngữ lớn một cách an toàn và tuân thủ, tăng tự tin khi triển khai và hiệu quả vận hành。
LangWatch AI là nền tảng LLMOps dành cho các đội ngũ phát triển AI, tập trung cung cấp các chức năng kiểm thử, đánh giá, giám sát và tối ưu cho AI Agent và các ứng dụng mô hình ngôn lớn, giúp các đội ngũ xây dựng hệ thống AI đáng tin cậy, có thể kiểm thử được và bao quát toàn bộ quy trình từ phát triển đến sản xuất.
OpenMeter là một nền tảng mã nguồn mở đo lường lưu lượng và tính phí theo thời gian thực, giúp các công ty AI, API và SaaS triển khai mô hình định giá dựa trên mức sử dụng và đẩy nhanh quá trình thương mại hóa dịch vụ.
Freeplay AI là một nền tảng phát triển và vận hành dành cho các đội ngũ kỹ thuật AI trong doanh nghiệp, tập trung vào hỗ trợ nhóm xây dựng, kiểm thử, giám sát và tối ưu các ứng dụng dựa trên mô hình ngôn ngữ lớn. Nền tảng cung cấp công cụ phát triển hợp tác, quan sát sản xuất và tối ưu liên tục nhằm chuẩn hóa quy trình phát triển và nâng cao độ tin cậy cũng như tốc độ lặp lại của ứng dụng AI.
WhyLabs AI là một nền tảng quan sát và an toàn AI, tập trung vào giám sát, bảo vệ và tối ưu hóa các mô hình học máy và ứng dụng AI tổng hợp đang vận hành trong môi trường sản xuất, giúp các nhóm quản lý hiệu suất và rủi ro của hệ thống AI.
Laminar AI là một nền tảng mã nguồn mở về kỹ thuật AI và quan sát, giúp các nhà phát triển xây dựng, giám sát, đánh giá và tối ưu các ứng dụng và tác nhân dựa trên mô hình ngôn ngữ lớn.
Langtrace AI là một nền tảng quan sát và đánh giá mã nguồn mở, giúp các nhà phát triển giám sát, gỡ lỗi và tối ưu các ứng dụng dựa trên mô hình ngôn ngữ lớn, từ đó biến nguyên mẫu AI thành sản phẩm doanh nghiệp đáng tin cậy.