Kafka快速入门系列(3) | Kafka常用脚本介绍及简单的shell操作

华为云博客 技术博客 12448 27

  本篇博主带来的是Kafka常用脚本介绍及简单的shell操作。

目录

一. Kafka常用脚本

  至于怎样查看脚本，我们可以查看Kafka/bin目录，下图标记即为常用的脚本
1

  • 1.kafka-topics.sh：对topic进行增删改查
  • 2.kafka-server-start.sh：启动脚本
  • 3.kafka-server-stop.sh：关闭脚本
  • 4.kafka-consumer-groups.sh：展示所有的消费者组的信息 ，消费者消费的分区也会在这个脚本内显示出来
  • 5.kafka-reassign-partitions.sh：重新分配partitions
  • 6.kafka-preferred-replica-election.sh：每个partitions leader的重新分配
  • 7.kafka-console-consumer.sh：消费者控制台 / 常用测试
  • 8.kafka-console-producer.sh：生产者控制台 / 常用测试

二. 简单的shell操作

  • 1. 查看当前服务器中的所有topic
[bigdata@hadoop002 kafka]$ bin/kafka-topics.sh --zookeeper hadoop002:2181 --list
  • 1
  • 2. 创建topic
[bigdata@hadoop002 kafka]$ bin/kafka-topics.sh --zookeeper hadoop002:2181 --create --replication-factor 3 --partitions 1 --topic first
Created topic "first".
[bigdata@hadoop002 kafka]$ bin/kafka-topics.sh --zookeeper hadoop002:2181 --create  --replication-factor 2 --partitions 3 --topic second

// 再次查看
[bigdata@hadoop002 kafka]$ bin/kafka-topics.sh --zookeeper hadoop002:2181 --list
first
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 选项说明：

–topic 定义topic名
–replication-factor 定义副本数
–partitions 定义分区数

  • 3. 查看topic详细信息
[bigdata@hadoop002 kafka]$ bin/kafka-topics.sh --zookeeper hadoop002:2181 --describe --topic second
  • 1

2

  • 3. 修改topic分区个数(只能能加不能减少否则会报错)

① 如果减少会报错

[bigdata@hadoop002 kafka]$ bin/kafka-topics.sh --zookeeper hadoop002:2181 --alter --topic second --partitions 2 // 再次以两个为例
  • 1

3
② 正确写法

[bigdata@hadoop002 kafka]$ bin/kafka-topics.sh --zookeeper hadoop002:2181 --alter --topic second --partitions 5
  • 1
  • 2

  这时我们再次查看
4
这时，有的同学会问配置的文件存储在哪个位置。不知道同学们还记不记得配置Kafka时，有一个logs文件夹。我们要的东西就存储在那里。
5

  • 4. 删除topic
[bigdata@hadoop002 kafka]$ bin/kafka-topics.sh --zookeeper hadoop002:2181 --delete --topic second
  • 1

  需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。

  • 5. 发送消息
[bigdata@hadoop002 kafka]$ bin/kafka-console-producer.sh --broker-list hadoop002:9092 --topic second
  • 1
  • 2
  • 6. 接收信息
[bigdata@hadoop002 kafka]$ bin/kafka-console-consumer.sh --zookeeper hadoop102:2181 --from-beginning --topic second
  • 1

  --from-beginning：会把first主题中以往所有的数据都读取出来。根据业务场景选择是否增加该配置。

6

  • 7. 查看正在生产者的信息
[bigdata@hadoop003 kafka]$ bin/kafka-consumer-groups.sh --bootstrap-server hadoop002:9092 --list

// 显示详细信息
[bigdata@hadoop003 kafka]$ bin/kafka-consumer-groups.sh --bootstrap-server hadoop002:9092 --describe --group console-consumer-xxxxx
  • 1
  • 2
  • 3
  • 4

  本次的分享就到这里了,

11

   看 完 就 赞 ， 养 成 习 惯 ！ ！ ！ \color{#FF0000}{看完就赞，养成习惯！！！} 看完就赞，养成习惯！！！^ _ ^ ❤️ ❤️ ❤️
  码字不易，大家的支持就是我坚持下去的动力。点赞后不要忘了关注我哦！

文章来源: buwenbuhuo.blog.csdn.net，作者：不温卜火，版权归原作者所有，如需转载，请联系作者。

原文链接：buwenbuhuo.blog.csdn.net/article/details/105936350

（完）