阿里云实时计算产品介绍

实时计算是一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理场景。实时计算产品彻底规避繁重的底层流式处理逻辑开发工作,助力企业向实时化、智能化大数据计算升级转型。

产品定位

目前实时计算适用应用场景

. 实时的网络点击PV、UV统计。

. 统计交通卡口平均时间段内(例如平均每5分钟)的车流量。

. 水利大坝的压力数据的统计和展现。

. 网络支付中涉及金融盗窃固定行为规则的告警。
名词解释 项目空间(Project)

项目空间是实时计算Flink最基本的业务组织单元,是您管理任务、资源、人员的基本单元。您可以选择创建项目,也可以加入其它Project中,每个项目空间支持多人协作。
任务(Job)

类似Hadoop Job,一个实时计算的任务描述了一个完整的流式数据处理业务逻辑,是流式计算的基础业务单元。
Flink SQL

不同于诸多开源的提供非常底层的、编程API的流式数据处理系统,实时计算提供更加高层、更加面向业务化的Flink SQL(标准SQL语法上提供了关于流式处理的语法扩展)。Flink SQL能够方便数据开发人员使用标准化的SQL,完成流式数据计算加工的业务流程。因此,实时计算适合更大众的数据分析人员快速、方便地完成一个流式数据处理业务。
UDF

实时计算支持UDF函数。类似于Hive UDF函数,实时计算提供了标准化的流式数据处理能力同时,对于部分业务特殊自定义处理逻辑,建议您使用UDF函数表达。目前支持Java的UDF函数扩展。
资源

当前UDF函数仅支持使用Java语言表达,对于您上传的每个Jar,实时计算定义为一个Resource。
实时数据采集

广义的数据采集指,将数据从数据产生方收集并传输进入到大数据处理引擎的过程。在实时计算,实时数据采集已形成产品化功能,您仅需在页面上配置数据源和目标即可,目前支持MySQL数据库的实时采集。

数据存储

实时计算定义为一种轻量级计算引擎,本身几乎不带有任何业务数据存储系统。均是使用外部数据存储作为数据来源和数据目的端进行使用。实时计算将数据存储均定义为外部的数据存储。例如,将MySQL作为结果表,那么MySQL即是实时计算的一类DataStore。

目前支持流式输入有

Kafka

支持静态输入表有

MySQL

支持输出表有

MySQL
数据加工

流式计算的开发过程(编写Flink SQL的过程)定义为数据加工。实时计算提供一整套包括开发的在线IDE、实时数

据采集等工具,服务流式数据加工过程。
数据运维

实时计算作业的在线运维定义为数据运维。实时计算提供一整套管控平台,方便您进行流式数据的运维管控。