Flyte

Flyte はオープンソースでクラウドネイティブなワークフローオーケストレーションプラットフォームで、主に複雑なデータ処理・機械学習・分析パイプラインの編成と管理に用いられます。

データサイエンティスト、機械学習エンジニア、データエンジニア、そして拡張性があり再現性のある本番ワークフローの構築・管理を必要とする開発チームが主な対象です。

通常、Docker などのコンテナ化と Kubernetes の基本概念を理解し、Python などサポートされている言語でワークフローを定義できることが望まれます。

Flyte はユーザーが自分でデプロイできる OSS の無料版を提供しています。一方、Union というエンタープライズ向けのホスティング型商用プラットフォームも提供しています。

Flyte は SDK を通じて Python・Java・Scala をネイティブにサポートします。また、コンテナを介して任意のプログラミング言語でタスクを定義することも可能です。

このプラットフォームは自動バージョン管理、不可変な実行記録、データの系統追跡などの機能を通じて、ワークフローの追跡と再現を可能にします。

FlyteはKubernetesネイティブ設計で、より強力な型チェック、多租戶サポート、コード中心のワークフロー定義を提供します。複雑なML/データパイプラインに適しています。

オープンソース版のデプロイは、ユーザー自身のオンプレミスまたはクラウド基盤上で Kubernetes や関連コンポーネントを設定する必要があります。運用を簡素化するためのマネージドサービスも提供しています。

Flyte は主にバッチ処理タスクとワークフローのオーケストレーションを目的として設計されており、ETL やモデル学習などを想定しています。リアルタイムストリーム処理向けの構築には適していません。