Flyte

Flyte는 복잡한 데이터 처리, 머신러닝, 분석 파이프라인을 오케스트레이션하고 관리하기 위해 설계된 오픈소스 Kubernetes 네이티브 워크플로 플랫폼입니다.

주로 데이터 사이언티스트, 머신러닝 엔지니어, 데이터 엔지니어 및 확장 가능하고 재현 가능한 프로덕션 워크플로를 구축·운영하는 개발팀을 대상으로 합니다.

일반적으로 Docker 같은 컨테이너화 개념과 Kubernetes 기본 지식이 필요하며, 워크플로 정의를 위해 Python 등 지원되는 프로그래밍 언어에 익숙한 것이 도움이 됩니다.

Flyte는 자체 배포 가능한 오픈소스(OSS) 버전을 무료로 제공합니다. 또한 'Union'이라는 이름의 기업용 관리형 상용 서비스도 제공합니다.

Flyte는 SDK를 통해 Python, Java, Scala를 네이티브로 지원하며, 컨테이너 방식을 이용하면 사실상 어떤 언어로도 작업을 정의할 수 있습니다.

자동 버전 관리, 변경 불가능한 실행 기록 및 데이터 계보 추적 기능을 통해 워크플로를 되돌리거나 동일한 결과를 재현할 수 있도록 지원합니다.

Flyte는 Kubernetes 네이티브로 설계되어 타입 검사, 멀티테넌시 지원, 코드 중심의 워크플로 정의를 강조하며 복잡한 ML·데이터 파이프라인에 적합합니다. 반면 Airflow는 전통적으로 스케줄링 중심의 워크플로 도구입니다.

오픈소스 버전은 사용자가 자체 클러스터에 Kubernetes 및 관련 컴포넌트를 설정해야 하므로 준비가 필요합니다. 운영 부담을 줄이려면 관리형 서비스 옵션을 이용할 수 있습니다.

Flyte는 주로 ETL, 모델 학습 등 배치 처리와 워크플로 오케스트레이션에 초점을 맞춰 설계되었습니다. 실시간 스트리밍 전용 처리에는 최적화되어 있지 않습니다.