Ragas là một khung đánh giá RAG nguồn mở, được thiết kế để tự động đánh giá, giám sát và cải thiện hiệu suất của hệ thống sinh tổng hợp có bổ sung truy vấn, giúp các nhà phát triển chuyển từ kiểm tra chủ quan sang quy trình đánh giá có hệ thống và có thể đo lường được。
Ragas đánh giá chủ yếu ở hai chiều: truy vấn/truy xuất và sinh nội dung. Các chỉ số cốt lõi gồm độ chính xác ngữ cảnh, tỉ lệ lấy lại (recall), mức độ liên quan, và độ trung thực của câu trả lời cùng với mức độ liên quan, phủ rộng các điểm chất lượng chính của hệ thống RAG.
Ragas cung cấp tích hợp với các framework RAG phổ biến như LangChain, LlamaIndex, có thể cài đặt bằng pip và tham khảo tài liệu/ API chính thức để tích hợp nhanh vào dự án hiện tại để đánh giá.
Đánh giá cần một tập dữ liệu bao gồm câu hỏi người dùng, câu trả lời do hệ thống sinh ra, ngữ cảnh được truy xuất và đáp án mẫu (nếu có), đảm bảo dữ liệu khớp đúng. Hình thức cụ thể tham khảo tài liệu chính thức.
Khung lõi của Ragas là nguồn mở và có thể lấy từ GitHub. Nhóm cũng cung cấp các chức năng cấp doanh nghiệp, hợp tác và dịch vụ tư vấn trả phí, liên hệ qua trang chủ để biết thêm.
Phù hợp với mọi nhà phát triển, kỹ sư thuật toán, nhóm nghiên cứu và doanh nghiệp đang xây dựng, tối ưu hoặc triển khai hệ thống RAG, đặc biệt những tình huống yêu cầu đánh giá khách quan, có thể lặp lại hiệu suất của ứng dụng LLM.
LangChain là một framework và hệ sinh thái mã nguồn mở dành cho các agent AI, nhằm giúp các nhà phát triển xây dựng, quan sát, đánh giá và triển khai các agent AI đáng tin cậy. Nó cung cấp khung lõi, công cụ phối hợp, nền tảng giám sát phát triển và công cụ xây dựng ít mã để hỗ trợ toàn bộ chu trình phát triển, tối ưu hóa và vận hành sản xuất ứng dụng AI.
RagaAI là nền tảng chuyên đánh giá và gỡ lỗi vòng đời đầy đủ cho AI Agent, thông qua kiểm thử tự động, quản trị dữ liệu và xây dựng luồng công việc, giúp doanh nghiệp triển khai quy mô lớn các ứng dụng AI đáng tin cậy và chất lượng cao.
