해싱1 [Kafka] 카프카 토픽, 프로듀서, 컨슈머 토픽, 파티션 그리고 오프셋 토픽 : 특정한 스트림 데이터를 의미한다. 데이터베이스 테이블과 유사함(제한사항 없는) 토픽을 제한없이 설정할 수 있다. 이름으로 구분되고 어떠한 메세지 포멧(binary, avro, parquet...)을 지원한다. 메세지의 순서를 데이터 스트림 이라고 한다. 참고로, 토픽을 쿼리할 수 없다. 카프카 프로듀서를 통해 데이터를 보내고 컨슈머를 통해 데이터를 읽는 식으로는 가능하다. 파티션과 오프셋 토픽은 파티션으로 분리된다. 각 파티션은 순서대로 정렬되어 나타난다. 각 파티션에 있는 메세지는 서로다른 파티션마다 incremental id를 가진다. 이를 오프셋이라고 한다. 데이터가 한번 파티션에 기록된다면 변경이 불가능하다. 주의해야하는 사항 파티션에 데이터가 기록이 된다면,.. 2024. 3. 19. 이전 1 다음 반응형
