커스텀 패키지1 [Apache Airflow 기반의 데이터 파이프라인] 커스텀 컴포넌트 빌드 커스텀 컴포넌트 빌드 커스텀 훅 빌드하기 커스텀 오퍼레이터 빌드하기 커스텀 센서 빌드하기 컴포넌트 패키징하기 커스텀 컴포넌트 빌드 Airflow의 강점 중 하나는 여러 유형의 시스템들 간의 작업을 조율할 때 쉽게 확장할 수 있다. (SageMaker 기반 머신러닝 모델 학습, ECSOpserator 사용해서 ECS기반 작업가능) 그러나, Airflow가 지원하지 않는 시스템에서 태스크 실행해야 할 수 있다. 또한 태스크 중 PythonOperator를 사용하여 구현할 수 있지만 수많은 단순 반복적인 코드가 필요하여, 여러 DAG에서 사용하기 힘든경우가 발생한다. 이 때문에 Airflow 에서 특정 시스템에서 작업이 실행되어야 할 때, 이를 위한 오퍼레이터를 개발하여 빌드해 왔었다. Airflow에서 커스.. 2024. 2. 21. 이전 1 다음 반응형
