Workflow Orchestration3 Workflow Orchestration (3) - Dagstar Dagstar란? Dagster는 데이터 파이프라인을 관리하고 실행하는데 특화된 Python 기반 오픈소스 라이브러리로, asset 기반의 워크플로 오케스트레이션으로 동작한다. 특히 데이터 계보, 옵저빌리티, 선언적 프로그래밍 모델에 대해 높은 용이성을 제공하는 툴이다. 유료 버전인 Dagster+와 자체 인프라에 오픈소스를 배포하는 Dagster OSS 아키텍처를 활용할 수 있다. 이외에도 Hybrid 방식을 통해 클라우드와 온프레미스 방식을 같이 채용할 수도 있다.시작하기 Dagster는 Python 패키지 형태의 프로젝트를 생성하여 사용할 수 있다. 간단한 생성을 위해 CLI를 제공하기에 이를 통해 Python 패키지 구성이 쉽게 가능하다. . ├── pyproject.toml ├── README.. 2026. 1. 4. Workflow Orchestration (2) - n8n n8n이란? 노드 기반 워크플로 자동화 플랫폼으로, GUI를 통해 노코드 기반으로 다양한 서비스와 어플리케이션을 연결하여 워크플로를 구축할 수 있다. (1)에서 살펴본 Airflow는 데이터 처리 워크플로가 메인이라면, n8n은 서비스 간 연동 및 자동화가 주요한 관심사로 볼 수 있다.n8n의 장점 n8n은 오픈소스 기반으로 동작하며, JavaScript 코드를 직접 작성하여 개인이 필요한 노드를 필요하에 구현하여 사용할 수 있는 자유도를 제공한다. 뿐만 아니라 셀프 호스팅 기능을 통해 직접 설치하여 사용할 수 있다.데이터 흐름 n8n 워크플로에서 데이터는 노드 간을 이동하며 처리된다. 트리거 노드에서 시작되어 연이어 전달되고, 자동화 작업을 수행할 수 있다.Splitting (데이터 분기)if 노드 :.. 2026. 1. 3. Workflow Orchestration (1) - Airflow 워크플로 오케스트레이션에 대해 학습이 필요하다는 생각이 들었고, 단순히 Airflow면 오케이라는 생각이었다. 막상 시작하려니 Airflow만 있는 것은 당연히 아니었기에 이왕 공부하는 김에 연관 있는 툴에 대해 관심이 생겼다. 그래서 이번엔 워크플로 오케스트레이션들에 대해 학습을 순차적으로 해보기로 했다. 그렇지만 실제 사용 방법이나 호출 방법에 대한 학습은 프로젝트 등을 진행하면서 전부 공부하는 것이 좋다고 생각해, 우선 전체적인 개념이나 아키텍처 위주로 공부할 생각에 있다.Airflow란? Apache Airflow는 오픈소스 워크플로 관리 플랫폼으로 데이터 처리 작업을 자동화하고 관리하는 도구. 프로그래밍 방식으로 데이터 파이프라인을 작성, 스케줄링, 모니터링할 수 있다. 주로 ETL이나 ELT .. 2026. 1. 3. 이전 1 다음