docker3 [데이터엔지니어] 실리콘 밸리에서 날아온 엔지니어링 스타터 키트 Week3 3주차 주요내용 1. 데이터 파이프라인? 2. Airflow 소개 및 구성 3. 데이터 파이프라인을 만들 때 고려할 점 4. Backfill이란? 데이터 파이프라인이란? 데이터 엔지니어링에서의 Data Pipeline은 전체적인 ETL 프로세스를 의미한다. ETL (Extract, Trasform, Load): 데이터 시스템 밖에 있는 데이터를 가져오는 방법에 대한 이야기이다. (Data Pipeline = ETL = Data Workflow = DAG(Directed Acyclic graph)) → 이걸 하는게 데이터 엔지니어의 역량이다. ELT : 데이터 시스템 내부에 이미 들어와 있는 데이터를 조합해서 깨끗한 데이터를 만드는 과정 (T라고도 함) → CTAS를 서비스로 만드는게 dbt이다. 데이터 .. 2023. 9. 5. 레코드 가져오는 SQL 함수 fetchone? fetchall? SQL fetchone 함수 fetchone 함수 개념 예제 주요 메모 사항 📔 SQL fetchone 개념 PostgreSQL 데이터베이스와 같은 데이터베이스에서 SQL 쿼리를 실행한 결과로 반환된 레코드 중 첫 번째 레코드를 가져오는 메서드나 함수입니다. 주로 파이썬과 같은 프로그래밍 언어에서 데이터베이스 연동을 할 때 사용됩니다. 예제 # 커서 생성 cursor = conn.cursor() # 쿼리 실행 query = "SELECT 컬럼1, 컬럼2 FROM 테이블이름 WHERE 조건;" cursor.execute(query) # 데이터 가져오기 row = cursor.fetchone() if row: 컬럼1값 = row[0] 컬럼2값 = row[1] print("컬럼1 값:", 컬럼1값) print.. 2023. 8. 30. [Docker] 도커에 대해 알아보자! Docker? 도커의 주 목적은 서버환경을 격리하기 위해 사용한다. 이를 독립된 환경에서 격리하는 기능을 통해 프로그램 간 의존성 이슈 또는 버전 이슈가 생기지 않도록 도와준다. 의존성 이슈 : 서로 다른 시스템이지만 같은 디렉토리를 공유할 수 있다. 버전 이슈 : 프로그램은 한 서버에 한 버전만 설치할 수 없기 때문에, 때에 따라서 호환이 되지 않는 경우가 발생할 수 있다. 또한, 뒤에서 설명할 것이지만 도커는 컨테이너로 격리시키기에 여러 가지 서버 기능을 비교적 가볍고 안전하게 운용할 수 있다. Container 도커는 사실 얼굴마담이고, 핵심은 컨테이너에 있다고 봐도 무방하다. 컨테이너는 개발에 상당히 용이한 특징을 가지고 있다. 몇가지 특성을 이야기 하자면... 컨테이너로 완전히 격리되어 발생하는.. 2023. 8. 30. 이전 1 다음 반응형
