阿里云消息队列Kafka

阿里云消息队列Kafka是基于ApacheKafka的分布式发布订阅消息队列服务,广泛应用于日志收集、流式数据处理、在线和离线分析等场景,致力于为用户提供分布式、高吞吐、可扩展的全托管服务。

以下为阿里云消息队列Kafka中使用到的概念及其解释,可供你参考。

消息

传递的数据对象,主要由四部分构成:offset(偏移量)、key、value、timestamp(插入时间),其中offset和timestamp在kafka阿里云中产生,key/value在producer发送数据的时候产生。

代理者

Kafka阿里云中的一个节点对应一个Broker,是一个物理概念。

主题(Topic)

Kafka上的消息类型被称为Topic,消息根据Topic进行归类。一个Topic由一个或多个Partition组成,存储于一个或多个Broker上。

分区

Kafka上的消息数据的最小单位,一个Topic可以包含多个分区。在数据的产生和消费过程中,不需要关注数据具体存储的Partition在那个Broker上,只需要指定Topic即可,由Kafka负责将数据和对应的Partition进行关联。

生产者

负责将数据发送到Kafka对应Topic的进程。

消费者

负责从对应Topic获取数据的进程

消费者组

每个consumer都属于一个特定的group组,一个group组可以包含多个Consumer。