log1 [Apache Airflow 기반의 데이터 파이프라인]운영환경에서 Airflow 관리 아키텍처 설치 방식 메타스토어 스케줄러 익스큐터 설치 프로세스 로그 확인 메트릭 시각화 및 모니터링 아키텍처 최소 구성 요건 : 웹 서버 → 데이터베이스 ← 스케줄러 → DAGs 웹 서버 Airflow 프로세스 Airflow2에서 웹 서버는 데이터베이스에서 DAG 읽어내므로 DAG 파일 액세스 필요 없음 파이프라인의 현재 상태에 대한 정보를 시각적으로 표시 사용자가 DAG 트리거 같은 특정 태스크 수행할 수 있도록 관리 스케줄러 Airflow 프로세스 DAG 정의가 있는 폴더에 엑세스할 수 있어야 함 DAG 파일 구문 분석, 비트 및 조각 추출, 메타 스토어에 저장 실행할 태스크 결정 및 대기열에 배치 대기 상태의 태스크 가져오기 및 실행 데이터베이스 웹 서버 및 스케줄러의 메타 데이터를 저장하는 별도의.. 2024. 2. 27. 이전 1 다음 반응형
