消息队列Kafka是什么?应用场景有哪些?

阿里云消息队列Kafka(E-Kafka)是一款基于开源社区版Kafka(V0.10.1.1)的高吞吐量、高可扩展性、分布式的云端消息中间件服务,支持流式和批量数据处理,广泛应用于日志聚合、流计算处理、数据中转等大数据应用场景。阿里云提供全托管服务,用户无需部署运维,更专业、更可靠、更安全。

产品功能
实例释放
如果已订购的实例不再需要,可以将其释放,以避免继续产生费用。
 
Topic管理
通过创建不同的Topic数以及变更Topic内分区数可以调整Kafka服务吞吐量,实现不同业务场景下吞吐量和可用性之间的最佳平衡。
 
认证鉴权
提供基于Kerberos和Ranger的认证鉴权和权限控制,实现用户访问控制以及对Topic等资源的生产消费权限的控制。

产品优势
无缝兼容
完全兼容开源社区Kafka,基于现有的开源Apache Kafka代码,业务无需任何改造即可无缝迁移快速上云,开箱即用。

完全托管
提供专业可靠的云端全托管服务,拥有专业的且经验丰富的运维团队,用户订购服务后直接使用,专注于自身业务即可,无需关注底层部署和运维。

高可靠性
采用分布式集群架构,避免单点故障对业务造成的影响,保障数据安全可靠和业务稳定不中断。
 
应用场景
日志聚合
场景简介:
对于用户数较大的平台,如热门购物平台,每天都会产生大量的用户日志,运营、运维等团队需要对整体日志数据进行统计分析,海量日志的快速收集和可靠存储对后续的日志整合和计算分析十分重要。
解决方案:
Kafka可作为日志收集中心,将平台用户的日志快速采集至集群,并通过集群的校验、容错能力,构建安全可靠的日志存储系统,为后续日志分析处理提供有力支撑。
方案特点:
批量提交消息和压缩消息,性能优越,业务侧无感知。
高可用架构,确保日志数据安全可靠。
弹性扩缩容,高可扩展性,灵活高效地解决扩展需求。
 
流计算处理
场景简介:
股市走向分析、气象数据测控、网站监控分析等领域,通常数据产生快、实时性强且数据流大,很难将数据统一采集到指定数据库后再处理,传统数据处理架构无法满足实时流计算需求。
解决方案:
Kafka与Storm/Spark等流计算引擎相结合,在数据流动的过程中实时采集和处理数据,并根据业务需求进行计算分析,把结果保存或者分发给需要的组件进行展示或二次加工。
方案特点:
高吞吐高性能,轻松采集海量实时数据。
高可用架构,确保采集数据安全可靠。
对接专业流计算引擎,精准计算、快速响应。
 
数据中转
场景简介:
不同的业务维度往往需要不同的数据处理方式,如存储、搜索、实时流计算、批量计算等,因此在Kafka中存储的同一份数据需要传到多个专用系统中。
解决方案:
Kafka可作为数据中转枢纽,对上游生产的同一份数据通过多路转发导入不同的系统中,满足不同的业务需求。
方案特点:
基于开源Apache Kafka生态,无缝对接上下游系统。
高可用架构,确保中转数据安全可靠。
支持流式和批量处理,满足多维度数据分析需求。