Dagster

Dagster 는 데이터 자산을 핵심으로 하는 현대적인 오픈 소스 데이터 오케스트레이션 플랫폼으로, 팀이 데이터 및 AI 파이프라인을 구축, 스케줄링, 모니터링하도록 돕습니다.

주요 사용자는 데이터 엔지니어, 데이터 플랫폼 엔지니어, 풀스택 데이터 사이언티스트, ML 엔지니어, 데이터 애널리스트 및 DevOps/플랫폼 엔지니어 등입니다.

Airflow 는 태스크 스케줄링을 핵심으로 일반 워크플로에 적합하고, Dagster 는 데이터 자산을 중심으로 데이터 계보, 가시성, 개발 경험 및 자산 거버넌스를 더 중점으로 합니다.

Dagster 는 기능이 모두 포함된 오픈 소스 무료 버전을 제공합니다. 동시에 Dagster Cloud 또는 Dagster+로 불리는 전문/기업 버전이 있어 팀 협업, 강화된 배포, 기업 지원 등 유료 서비스를 제공합니다.

주로 파이썬 프로그래밍 지식이 필요합니다. 핵심은 파이썬으로 선언형 개발을 수행하기 때문입니다. 데이터 엔지니어링 또는 관련 데이터 처리 개념에 익숙하면 도움이 됩니다.

로컬 개발 환경, Docker 컨테이너, Kubernetes 클러스터 및 서버리스 아키텍처 등 다양한 환경에서 배포 및 실행을 지원합니다.

오픈 소스 플랫폼으로 Dagster 는 외부 연결 관리를 위한 리소스 추상화를 제공합니다. 구체적인 보안 및 규정 준수는 사용자의 배포 구성과 인프라에 따라 다릅니다.

pip 로 dagster 와 dagit 패키지를 설치하고, 스캐폴딩 명령으로 프로젝트를 초기화한 뒤, 자산, 연산(작업) 및 작업(job)을 정의해 파이프라인을 구축하고 Dagit UI 로 관리 및 모니터링합니다.

Dagster 의 핵심 설계는 배치 처리 및 데이터 자산 오케스트레이션에 중점을 둡니다. 높은 처리량과 저지연의 실시간 스트리밍 처리에는 일반적으로 Apache Flink 와 같은 전문 스트림 처리 시스템과의 연계가 필요합니다.