阿里云消息队列Kafka介绍

Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性。Kafka基于发布/订阅模式,支持生产者和消费者异步解耦,被广泛应用于运用于大数据领域的日志收集、监控数据聚合、流式数据处理等业务场景。
Broker:
 
消息队列 Kafka 集群包含一个或多个消息处理服务器,该服务器被称为 Broker。
 
Topic:
 
每条发布到消息队列 Kafka 集群的消息都有一个主题,这个主题被称为 Topic。通过 Topic 可以对消息进行分类。每个 Topic 可以由一个或多个分区(Partition)组成,存储于一个或多个 Broker 上。
 
Partition:
 
分区,topic中的数据分割为一个或多个partition,kafka以partition作为分配单元
 
Producer:
 
消息发布者,也称为消息生产者,负责生产并发送消息到 Kafka Broker。
 
Consumer:
 
消息订阅者,也称为消息消费者,负责向 Kafka Broker 读取消息并进行消费。
 
Consumer Group:
 
一类 Consumer 的标识,这类 Consumer 通常接收并消费同一类消息,且消费逻辑一致。Consumer Group 和 Topic 的关系是 N:N,同一个 Consumer Group 可以订阅多个 Topic,同一个 Topic 也可以被多个 Consumer Group 订阅。