OLTP2 [데이터엔지니어] 실리콘 밸리에서 날아온 엔지니어링 스타터 키트 Week6 6주차 주요내용 OLTP 테이블 복사하기 Backfill 실행하기 Summary 테이블 만들기 (ELT) MySQL(OLTP) 테이블 복사하기 서비스 운영을 위한 데이터를 MySQL에 적재해놓는다. OLTP(Online Transaction Process) : 서비스를 운영하는데 필요한 최소한의 정보등록 → OLAP(Online Analytical Process) : 데이터 분석과 데이터 프로세싱을 위한 DB구축 MySQL .nps 데이터를 Redshift nps 데이터에 적재하는 두가지 방법 MySQL에서 레코드 하나씩 읽어온 다음에 INSERT 로 루프돌면서 적재시키기 upsert가 지원이 되지 않고 INSERT/UPDATE 과정을 두번 거쳐야하기 때문에 오래걸림 COPY를 통해 UPSERT를 구현 .. 2023. 10. 11. [데이터엔지니어] 실리콘 밸리에서 날아온 엔지니어링 스타터 키트 Week1 1주차 주요내용 요즘 커리어 트랜드에 대한 인사이트(마인드셋) 데이터 도메인에 대한 전반적인 이야기 데이터 웨어하우스에 관하여 (AWS Redshift & SQL) 요즘의 커리어란? 커리어 사다리? : 아래 위의 직선적인 변화만 있었음 요즘에는 커리어 정글짐: 다양한 방향성 (옆, 위, 아래, …) 다른 역할 시도해보기 (리드 역할, 매니저 역할..) 전문성 & 안정성에 대해 다시한번 생각해보기 → 결과지향적인 사람이 되어라 내가 맡은 일을 성공으로 이루는 방향(경험)이 나를 단단하게 만든다. 배움의 전형적인 패턴 가장 중요한 것은 버티는 힘 → 이걸 즐겨야 한다. 내가 뭘 모르는지 생각해봐야 함 → 내가 어디서 막혔는지 (나 또는 주변에) 구체적으로 질문할 수 있나? 잘 하는 사람 보고 기죽지 않기 →.. 2023. 8. 21. 이전 1 다음 반응형
