Kafka2 [Kafka] 브로커, 토픽, 주키퍼 브로커 + 토픽 카프카 브로커 카프카 클러스터는 다수의 브로커(서버)들로 구성되어 있다. 각각의 브로커는 정수형ID로 구분된다. 각 브로커는 특정한 토픽 파티션만 포함된다. 임의의 브로커에 연결된 이후(부트스트랩 브로커라고도 불림) 전체의 클러스터에 연결하게 된다. 브로커와 토픽 토픽-A 는 3개의 파티션을 가지고 있다고 간주하고, 토픽-B는 2개의 파티션을 가지고 있다고 간주하자 토픽 파티션은 모든 브로커에 걸쳐 분산되게 된다. 브로커에 토픽-B 데이터가 존재하지 않아도 가져야 할 데이터만 가지고 있기 때문에 정상이라고 볼 수있다. 이는 카프카 스케일을 이루고, 수평적 스케일링이라고 부른다. 카프카 브로커의 전개 카프카의 각각의 브로커는 "부트스트랩 서버"라고도 불린다. 하나의 브로커에만 연결이 된다면.. 2024. 3. 21. [Kafka] 카프카 토픽, 프로듀서, 컨슈머 토픽, 파티션 그리고 오프셋 토픽 : 특정한 스트림 데이터를 의미한다. 데이터베이스 테이블과 유사함(제한사항 없는) 토픽을 제한없이 설정할 수 있다. 이름으로 구분되고 어떠한 메세지 포멧(binary, avro, parquet...)을 지원한다. 메세지의 순서를 데이터 스트림 이라고 한다. 참고로, 토픽을 쿼리할 수 없다. 카프카 프로듀서를 통해 데이터를 보내고 컨슈머를 통해 데이터를 읽는 식으로는 가능하다. 파티션과 오프셋 토픽은 파티션으로 분리된다. 각 파티션은 순서대로 정렬되어 나타난다. 각 파티션에 있는 메세지는 서로다른 파티션마다 incremental id를 가진다. 이를 오프셋이라고 한다. 데이터가 한번 파티션에 기록된다면 변경이 불가능하다. 주의해야하는 사항 파티션에 데이터가 기록이 된다면,.. 2024. 3. 19. 이전 1 다음 반응형
