Chonkie AI

Chonkie AI là một thư viện công cụ Python nhẹ tập trung vào phân mảnh văn bản và tiền xử lý dữ liệu, chủ yếu cung cấp hạ tầng cho các ứng dụng như Truy vấn tăng cường (RAG).

Các chức năng chính gồm: phân mảnh văn bản đa dạng, tích hợp với cơ sở dữ liệu vector, giao diện mô hình AI tương thích OpenAI API và chuỗi công cụ tiền xử lý dữ liệu, giúp nhà phát triển xử lý văn bản hiệu quả.

Phù hợp với các nhà phát triển cần xây dựng ứng dụng RAG, hệ thống đối thoại, tóm tắt văn bản hoặc phân tích tài liệu trong các dự án NLP.

Hỗ trợ phân mảnh với kích thước cố định, phân mảnh theo nội dung (theo câu hoặc theo từ) và các phương pháp phân mảnh nâng cao dựa trên độ tương đồng ngữ nghĩa.

Thông qua các giao diện trừu tượng được cung cấp, đơn giản hóa kết nối và trao đổi dữ liệu với các cơ sở dữ liệu vector như Chroma, Qdrant, đồng thời hỗ trợ xuất JSON.

Theo thông tin công khai, Chonkie AI hiện là sản phẩm miễn phí, nhà phát triển có thể cài đặt qua PyPI.

Hỗ trợ các mô hình tương thích với OpenAI API và các mô hình như VoyageAI dùng cho nhúng và phân mảnh ngữ nghĩa.

Thông tin cài đặt, tài liệu và mã nguồn có thể tìm thấy trên trang dự án PyPI và kho GitHub.