消息队列Kafka管理工具KafkaManager

阿里云KafkaManager官方帮助文档 https://help.aliyun.com/knowledge_detail/56933.html

kafkaManager是由Yahoo开源的一个Kafka管理工具,提供的主要功能如下:

  • 方便的集群状态监控(包括Topics,Consumers,Offsets,Brokers,ReplicaDistribution,PartitionDistribution)
  • 方便选择你想要的分区副本
  • 配置分区任务,包括选择使用哪些Brokers
  • 可以对分区任务重分配
  • 提供不同的选项来创建Topic(不同版本配置上有所不同)
  • 删除Topic(仅仅支持0.8.2以上版本并且注意在BrokerConfig中设置delete.topic.enable=trueinbrokerconfig)
  • Topiclist会指明哪些topic被删除
  • 批量产生分区任务并且和多个Topic和Brokers关联
  • 批量运行多个主题对应的多个分区
  • 向已经存在的主题中添加分区
  • 对已经存在的Topic修改配置

操作说明
1、在阿里云列表页面,点击操作列的“KafkaManager”可跳转至当前阿里云的KafkaManager页面。

2.点击顶部导航的“Cluster-AddCluster”添加Kafka阿里云信息。

3.在“AddCluster”页面,设置“ClusterName”和“ClusterZookeeperHosts”,点击“SAVE”进行保存,然后通过点击“Gotoclusterview”查看阿里云相关信息。

  • ClusterName:尽量和阿里云名称保持一致,可方便的进行kafka阿里云管理。
  • ClusterZookeeperHosts:zookeeper地址,通过在阿里云列表页面点击阿里云名称进入详情页获取,不同地址之间用英文符号“,”隔开。
  • 点击阿里云名称进入详情页面,可查看“Topic”和“Brokers”。
  • Topic管理

1).新建Topic

点击上方Topic下拉菜单,点击Create填写相应参数创建topic,主要参数说明如下:

参数说明TopicTopic名称,用户自定义即可PatitionsTopic的分区数,≥1,适当的分区数可以提高吞吐量ReplicationFactor副本数,用于保障kafka的高可用

2).查看Topic

点击Topic后的数字,可进行topic列表的查看。

在Topic列表页,可查看Topic名称、分区数、Broker数、副本数等相关信息。

点击Topic名称,可进一步查看具体信息。

3).重新分区

在Topic具体信息页面,点击“GeneratePartitionAssignments”可完成相应Topic和Broker的重新分区。

4).增加分区

在Topic具体信息页面,点击“AddPartitions”可增加分区。

参数说明DeleteTopic删除TopicReassignPartitions平衡集群负载,可为assignedreplica中选举一个新的leader,还可改变partition中的assignedreplicaAddPartitions增加分区UpdateConfigTopic配置信息更新ManualPartitionAssignments手动为每个分区下的副本分配broker,如下如,完成后点击SavePartitionAssigment即可CreatePartitionAssignments系统自动为每个分区下的副本分配broker请注意:Partitions中数目为分区后的总数,其应大于现有分区数。

  • Broker管理

点击Broker后的数字,可查看集群id、Host、端口等列表信息。

在列表信息页面,点击相应id号,可查看其详细信息及其对应的Topic等信息。

  • Consumer管理

1).ConsumerGroup查看

集群列表页面点击顶部“Consumers”可查看ConsumerGroup相关信息。点击ConsumerGroup列表的某个组,会显示这个ConsumerGroup中在消耗的Topic列表,包括分区覆盖率,和总延迟量。

2).Consumer查看

进入ConsumerGroup列表页,点击某个Topic名称可以详细查看此Topic的具体Consumer,包括数据总量、消费进度、延迟量等。