Dagster

Dagster 提供功能完整的开源免费版本。同时提供名为 Dagster Cloud 或 Dagster+ 的专业/企业版本，包含团队协作、增强部署、企业支持等付费服务。

主要需要 Python 编程知识，因为其核心使用 Python 进行声明式开发。熟悉数据工程或相关数据处理概念将更有帮助。

支持在本地开发环境、Docker 容器、Kubernetes 集群以及无服务器架构等多种环境中进行部署和执行。

作为开源平台，Dagster 提供了资源抽象来管理外部连接。具体的安全和合规实践取决于用户自身的部署配置与基础设施。

可以通过 pip 安装 dagster 和 dagit 包，使用脚手架命令初始化项目，然后通过定义资产、操作和作业来构建流水线，并通过 Dagit UI 进行管理和监控。

Dagster 的核心设计侧重于批处理和数据资产编排。对于高吞吐、低延迟的实时流处理，通常需要与专门的流处理系统（如 Apache Flink）配合使用。