[Kafka] 명령어

topic

topic 생성

• partitions
  • 파티션 개수 지정
  • 최소 개수는 1
  • 이 옵션 지정 없다면 config/server.properties의 num.partitions 옵션값을 따른다
• replication-factor
  • 토픽의 파티션을 복제할 개수(1은 복제하지 않음)
  • 최소 설정은 1, 최대 설정은 카프카 브로커 수
  • 지정하지 않으면 설정 파일의 default.replication.factor 값을 따른다.
• retention.ms
  • 토픽의 데이터 유지시간
  • 172800000ms는 2일이 지난 토픽을 삭제한다는 뜻.

kafka-topics.sh \
    --bootstrap-server kafka-1:9091 \
    --topic hello-kafka \
    --create \
    --partitions 3 \
    --replication-factor 1 \
    --config retention.ms=172800000

topic 옵션 변경

kafka-topics.sh \
    --bootstrap-server kafka-1:9091 \
    --topic hello-kafka \
    --alter \
    --partitions 4

kafka-configs.sh \
    --bootstrap-server kafka-1:9091 \
    --entity-type topics \
    --entity-name hello-kafka \
    --alter \
    --add-config retention.ms=86400000

topic 목록 조회

kafka-topics.sh \
    --bootstrap-server kafka-1:9091 \
    --list

topic 상세 조회

kafka-topics.sh \
    --bootstrap-server kafka-1:9091 \
    --topic hello-kafka \
    --describe

topic 삭제

kafka-topics.sh \
    --bootstrap-server kafka-1:9091 \
    --topic hello-kafka \
    --delete

producer

키가 없는 record 추가

• 아래 명령어 입력 후 아무 텍스트 입력

kafka-console-producer.sh \
    --bootstrap-server kafka-1:9091 \
    --topic hello-kafka

키가 있는 record 추가

• 아래 명령어 입력 후 key:value 형태의 텍스트 입력

kafka-console-producer.sh \
    --bootstrap-server kafka-1:9091 \
    --topic hello-kafka \
    --property "parse.key=true" \
    --property "key.separator=:"

consumer

키가 없는 record 조회

• -from-beginning: 토픽에 추가된 첫 데이터부터 조회

kafka-console-consumer.sh \
    --bootstrap-server kafka-1:9091 \
    --topic hello-kafka \
    --group hello-group \
    --from-beginning

키가 있는 record 조회

kafka-console-consumer.sh \
    --bootstrap-server kafka-1:9091 \
    --topic hello-kafka \
    --group hello-group \
    --from-beginning \
    --property print.key=true \
    --property key.separator=":"

consumer-group

consumer-group 목록 조회

kafka-consumer-groups.sh \
    --bootstrap-server kafka-1:9091 \
    --list

consumer-group 상세 조회

kafka-consumer-groups.sh \
    --bootstrap-server kafka-1:9091 \
    --group hello-group \
    --describe