Flyte

Flyte là một nền tảng điều phối luồng công việc nguồn mở và tối ưu cho Kubernetes, được thiết kế để điều phối và quản lý các pipeline xử lý dữ liệu phức tạp, học máy và phân tích.

Chủ yếu là các nhà khoa học dữ liệu, kỹ sư ML, kỹ sư dữ liệu và các nhóm phát triển cần xây dựng và quản lý các workflow sản xuất có thể mở rộng và có thể tái hiện.

Người dùng thường cần hiểu containerization (như Docker) và các khái niệm cơ bản về Kubernetes, đồng thời thành thạo Python hoặc các ngôn ngữ được hỗ trợ để định nghĩa workflow.

Flyte cung cấp phiên bản OSS miễn phí cho người dùng tự triển khai, đồng thời cũng có nền tảng quản lý doanh nghiệp được quản lý mang tên Union.

Flyte hỗ trợ gốc Python, Java và Scala thông qua SDK, đồng thời cho phép sử dụng bất kỳ ngôn ngữ lập trình nào thông qua container để định nghĩa tác vụ.

Nền tảng đảm bảo tính tái hiện của workflow thông qua quản lý phiên bản tự động, ghi nhận thực thi bất biến và theo dõi nguồn gốc dữ liệu.

Flyte được thiết kế native cho Kubernetes, cung cấp kiểm tra kiểu mạnh mẽ, đa người dùng và định nghĩa workflow bằng mã, thường được dùng cho các pipeline ML/dữ liệu phức tạp.

Việc triển khai nền tảng Flyte nguồn mở đòi hỏi người dùng thiết lập Kubernetes và các thành phần liên quan trên hạ tầng của riêng bạn hoặc đám mây. Nền tảng cũng cung cấp dịch vụ được quản lý (hosted) để đơn giản hóa vận hành.

Flyte chủ yếu được thiết kế cho xử lý batch và điều phối workflow, như ETL và huấn luyện mô hình, không phải dành cho xử lý luồng thời gian thực.