Nexa AI

Nexa AI là một nền tảng tập trung vào triển khai và tối ưu hóa mô hình AI ở phía biên (thiết bị), cung cấp thư viện mô hình, công cụ phát triển và SDK, nhằm giúp các nhà phát triển vận hành ứng dụng AI trên thiết bị tại chỗ một cách hiệu quả.

Chủ yếu hướng tới các nhà phát triển, đội ngũ công nghệ doanh nghiệp, nhà nghiên cứu AI và những người có nhu cầu về quyền riêng tư và chức năng ngoại tuyến, để triển khai và vận hành mô hình AI trên thiết bị.

Thông tin liên quan nên tham khảo bảng giá chính thức. Nền tảng thường cung cấp thư viện mô hình và công cụ nguồn mở; hình thức dịch vụ và chi phí cụ thể tùy thuộc thông tin mới nhất từ nhà cung cấp.

Octopus là dòng mô hình nhỏ được Nexa AI tự nghiên cứu, có quy mô tham số nhỏ, tập trung vào các tác vụ như gọi hàm, được thiết kế để chạy hiệu quả trên các thiết bị có tài nguyên giới hạn.

Cấu trúc công nghệ của nó hỗ trợ suy diễn AI trên thiết bị người dùng, dữ liệu không cần tải lên đám mây, mang lại giải pháp cho các ứng dụng chú trọng quyền riêng tư.

Nexa AI chủ yếu tối ưu cho triển khai ở biên, bị giới hạn bởi sức mạnh tính toán của một thiết bị đơn lẻ, có thể không phù hợp với các nhiệm vụ cần sức mạnh tính toán quy mô lớn hoặc đòi hỏi huấn luyện/suy diễn phức tạp trên đám mây.

Nhà phát triển có thể truy cập Model Hub để lấy các mô hình được tối ưu, dùng SDK và ví dụ mã để tích hợp vào ứng dụng, nhằm cung cấp chức năng AI tại chỗ trên các nền tảng như iOS, Android.

Nexa AI hỗ trợ triển khai trên nhiều loại phần cứng, gồm điện thoại, máy tính để bàn và các thiết bị nhúng như Raspberry Pi, đồng thời hỗ trợ tăng tốc bằng CPU, GPU và NPU.