Dagster

Dagster es una plataforma moderna de orquestación de datos de código abierto que, mediante un modelo centrado en activos de datos, facilita la construcción, programación y monitorización de pipelines de datos e IA.

Principalmente ingenieros de datos, ingenieros de plataformas de datos, científicos de datos full‑stack, ingenieros de machine learning, analistas de datos y equipos de DevOps/plataforma.

Airflow se centra en la programación de tareas y flujos genéricos; Dagster pone el foco en los activos de datos, el linaje, la observabilidad, la experiencia de desarrollo y la gobernanza de activos.

Dagster ofrece una versión abierta y gratuita con todas las funcionalidades básicas. Además existen versiones profesionales/empresariales (por ejemplo Dagster Cloud o Dagster+) con características premium como colaboración en equipo, despliegues avanzados y soporte empresarial de pago.

Se requiere principalmente conocimiento de Python, ya que el desarrollo declarativo se realiza en Python. Familiaridad con conceptos de ingeniería de datos ayuda a acelerar la adopción.

Soporta desarrollo local, contenedores Docker, clústeres Kubernetes y arquitecturas serverless, entre otros entornos de ejecución.

Como plataforma open source, Dagster ofrece abstracciones de recursos para gestionar conexiones externas. Las prácticas de seguridad y cumplimiento dependen de la configuración y la infraestructura del usuario.

Instala los paquetes dagster y dagit via pip, inicializa un proyecto con los comandos de scaffolding, define assets, ops y jobs para construir tus pipelines y gestiona y supervisa todo desde la UI Dagit.

El diseño central de Dagster está orientado al procesamiento por lotes y la orquestación de activos. Para streamings de alta capacidad y baja latencia, suele complementarse con sistemas especializados de procesamiento de flujos (por ejemplo Apache Flink).