阿里云KafkaManager官方帮助文档 https://help.aliyun.com/knowledge_detail/56933.html
kafkaManager是由Yahoo开源的一个Kafka管理工具,提供的主要功能如下:
- 方便的集群状态监控(包括Topics,Consumers,Offsets,Brokers,ReplicaDistribution,PartitionDistribution)
- 方便选择你想要的分区副本
- 配置分区任务,包括选择使用哪些Brokers
- 可以对分区任务重分配
- 提供不同的选项来创建Topic(不同版本配置上有所不同)
- 删除Topic(仅仅支持0.8.2以上版本并且注意在BrokerConfig中设置delete.topic.enable=trueinbrokerconfig)
- Topiclist会指明哪些topic被删除
- 批量产生分区任务并且和多个Topic和Brokers关联
- 批量运行多个主题对应的多个分区
- 向已经存在的主题中添加分区
- 对已经存在的Topic修改配置
操作说明
1、在阿里云列表页面,点击操作列的“KafkaManager”可跳转至当前阿里云的KafkaManager页面。
2.点击顶部导航的“Cluster-AddCluster”添加Kafka阿里云信息。
3.在“AddCluster”页面,设置“ClusterName”和“ClusterZookeeperHosts”,点击“SAVE”进行保存,然后通过点击“Gotoclusterview”查看阿里云相关信息。
- ClusterName:尽量和阿里云名称保持一致,可方便的进行kafka阿里云管理。
- ClusterZookeeperHosts:zookeeper地址,通过在阿里云列表页面点击阿里云名称进入详情页获取,不同地址之间用英文符号“,”隔开。
- 点击阿里云名称进入详情页面,可查看“Topic”和“Brokers”。
- Topic管理
1).新建Topic
点击上方Topic下拉菜单,点击Create填写相应参数创建topic,主要参数说明如下:
参数说明TopicTopic名称,用户自定义即可PatitionsTopic的分区数,≥1,适当的分区数可以提高吞吐量ReplicationFactor副本数,用于保障kafka的高可用
2).查看Topic
点击Topic后的数字,可进行topic列表的查看。
在Topic列表页,可查看Topic名称、分区数、Broker数、副本数等相关信息。
点击Topic名称,可进一步查看具体信息。
3).重新分区
在Topic具体信息页面,点击“GeneratePartitionAssignments”可完成相应Topic和Broker的重新分区。
4).增加分区
在Topic具体信息页面,点击“AddPartitions”可增加分区。
参数说明DeleteTopic删除TopicReassignPartitions平衡集群负载,可为assignedreplica中选举一个新的leader,还可改变partition中的assignedreplicaAddPartitions增加分区UpdateConfigTopic配置信息更新ManualPartitionAssignments手动为每个分区下的副本分配broker,如下如,完成后点击SavePartitionAssigment即可CreatePartitionAssignments系统自动为每个分区下的副本分配broker请注意:Partitions中数目为分区后的总数,其应大于现有分区数。
- Broker管理
点击Broker后的数字,可查看集群id、Host、端口等列表信息。
在列表信息页面,点击相应id号,可查看其详细信息及其对应的Topic等信息。
- Consumer管理
1).ConsumerGroup查看
集群列表页面点击顶部“Consumers”可查看ConsumerGroup相关信息。点击ConsumerGroup列表的某个组,会显示这个ConsumerGroup中在消耗的Topic列表,包括分区覆盖率,和总延迟量。
2).Consumer查看
进入ConsumerGroup列表页,点击某个Topic名称可以详细查看此Topic的具体Consumer,包括数据总量、消费进度、延迟量等。