Dagster

Dagsterは、データアセットを中心に据えたモデルを通じて、チームがデータおよびAIパイプラインを構築・スケジュール・監視できるモダンなオープンソースのデータオーケストレーションプラットフォームです。

主にデータエンジニア、データプラットフォームエンジニア、フルスタックデータサイエンティスト、機械学習エンジニア、データアナリスト、そしてDevOps／プラットフォームエンジニアを想定しています。

Airflowはタスクスケジューリングを中心に設計された汎用ワークフロー向けです。Dagsterはデータアセット中心の設計で、データ系譜、可観測性、開発体験、アセットガバナンスに重きを置いています。

Dagsterは機能を備えたオープンソース版を無償で提供しています。加えて、チーム向けや企業向けの強化機能・サポートを含む有償版（Dagster CloudやDagster+など）を提供しています。

主にPythonの知識が必要です。コアはPythonで宣言的に記述しますので、データエンジニアリングやデータ処理の基本概念に慣れているとスムーズに使えます。

ローカル開発環境、Dockerコンテナ、Kubernetesクラスタ、サーバーレス環境など多様な環境でのデプロイと実行をサポートします。

オープンソースプラットフォームとして、外部接続を管理するためのリソース抽象などを提供します。具体的なセキュリティやコンプライアンスの実践は、利用者のデプロイ設定やインフラ構成に依存します。

pipでdagsterとdagitをインストールし、スキャフォールドコマンドなどでプロジェクトを初期化します。その後、アセット、オペレーション、ジョブを定義してパイプラインを作成し、DagitのUIで管理・監視します。

Dagsterのコア設計はバッチ処理とデータアセットのオーケストレーションに重点を置いています。高スループットかつ低レイテンシが要求されるリアルタイムストリーム処理には、通常はApache Flinkなどの専用ストリーム処理システムと組み合わせて利用されます。