Moshi AI

Moshi AI (Moshi AI) được phát triển bởi Phòng thí nghiệm Kyutai, là một mô hình đối thoại đa phương thức nguồn mở và thời gian thực, nổi bật với khả năng giao tiếp giọng nói song công, cho phép người dùng và AI cùng nói chuyện, mang lại trải nghiệm đối thoại thời gian thực tự nhiên và mượt mà.

Các chức năng chính bao gồm đối thoại giọng nói thời gian thực hai chiều; kết hợp thông tin đa phương tiện (âm thanh, văn bản, hình ảnh) để xử lý đa phương thức; nhận diện ngữ điệu và sinh giọng nói có cảm xúc; hỗ trợ nhiều phong cách giọng nói được định sẵn và mã nguồn mở cho phép triển khai tại chỗ ngoại tuyến, bảo vệ quyền riêng tư và dữ liệu.

Có, Moshi AI có phiên bản lượng hóa 4-bit, được hỗ trợ triển khai và chạy offline tại chỗ trên MacBook có chip M1 hoặc GPU tiêu dùng có 24GB VRAM.

Moshi AI là dự án nguồn mở, mã nguồn, mô hình tiền huấn luyện và báo cáo công nghệ đều được công khai miễn phí, người dùng có thể tự triển khai. Việc sử dụng chủ yếu liên quan tới tài nguyên tính toán tại địa phương, không có chi phí sử dụng trực tiếp.

Moshi AI đạt độ trễ end-to-end rất thấp, xử lý âm thanh có độ trễ khoảng 80 ms, tổng độ trễ tương tác khoảng 200 ms, đảm bảo đối thoại thời gian thực mượt mà.

Phù hợp với các nhà phát triển có nền tảng kỹ thuật, nhà nghiên cứu, và những người cần tích hợp chức năng tương tác thoại theo thời gian thực cho các ứng dụng như trợ lý thông minh, dịch vụ chăm sóc khách hàng và nội dung sáng tạo.