阿里云实时计算开发使用流程

案例场景说明

本文通过经典电商案例,帮助您了解阿里云实时计算流式作业开发流程。

实时电商案例介绍
实时销量销量作为电商营销的重要环节,受到越来越多的关注。为了保证在同时满足数据的正确性和实效性的前提下,在流式的数据里做实时销量监控。实时计算通过消费Kafka中数据源表接入的数据,实时计算销售数据源中销售总额,并写入至结果表中进行存储,方便第三方系统进行调用。

步骤一:准备工作
一、产品订购
1.进入实时计算产品介绍,开始订购产品;
2.进入订购流程,填写实例基础信息;
3.选择产品规格,确定订购价格;
4.提交订单,付款,系统开通相应实例;
5.进入实例控制台,进入实时计算产品。

二、实例管理 
说明:
一个主账号可订购多个实例(即多套流计算集群),用户可通过点击实例李名称,进入实时计算产品中;
主账号订购产品后,子账号便也可以进入实时计算中,进行实时采集/实时任务开发;
 
三、项目组空间
 
1.创建项目

2.将子账号添加至项目

说明:
 
主账号:实时计算产品的租户所有者、租户管理员,拥有集群内所有项目的最高权限;
 
子账号:实时计算产品的普通用户,需主账号添加至项目后采用使用权限;
 
添加子账号至项目并分配角色:可分配项目管理员、数据开发给子账号,具有相应的功能权限
 
四、接入数据源
1.接入实时采集任务需要采集的源库、消息队列Kafka、FlinkSQL计算时需要的维表库、目标库;
 
2.输入相应数据库连接地址,测试连通性;
 
3.数据源成功添加。

步骤二:实时采集
以实时电商案例数据源表存储为例,介绍如何准备数据源表存储并将其实时采集到Kafka内等待消费。
一、数据源表创建
在MySQL数据库通过建表语句创建数据源表。

二、数据源接入
1. 登陆 实时计算Streaming-实时计算模块
 
2. 选择目标项目,点击 数据开发,进入项目。
 
3. 点击 数据源 - 新增数据源 ,弹出 添加数据源 窗口如下:
 
4. 填写相关内容,* 为必填项。
 
5. 填写完毕后,可点击 测试连通性 尝试连接数据库。提示"数据源连接正常"后,可点击 确认 保存数据源。
 
三、创建实时采集任务
静态关系数据库中的数据通过实时采集任务可转化为Kafka内的数据流,从而进入Flinkx被消费。
 
1. 在 数据开发 页面,点击创建任务 ,创建 实时采集 任务如下:

2. 数据源类型选择 MySQLBinLog ,选择实时采集的数据源表,并配置相关参数;

3. 指向目标Kafka的某一Topic(后续FlinkSQL任务中会调用这一Topic);

4. 根据需求配置速率,默认不修改;

5. 再次浏览所有配置内容,确认无误后点击 保存 即完成实时采集任务配置。

步骤三:数据开发
以实时电商案例数据源表存储为例,为您介绍如何创建FlinkSQL数据开发任务,正确消费Kafka中的流数据并写入至目标结果表。

操作流程
1. 在 数据开发 页面,点击 创建任务 ,创建 FlinkSQL 任务如下:
2. 点击右侧工具栏中 源表 ,填入相应 实时采集 配置,并对Kafka中数据流进行字段映射:
 
-- 源表字段配置--
 
after_event_id int as event_id
 
after_id varchar as id
 
after_buy_id varchar as buy_id
 
after_goods_type varchar as goods_type
 
after_pay_time timestamp as pay_time
 
after_buy_amount double as buy_amount
 
after_but_way varchar as buy_way

3. 点击 结果表 ,存储类型选择 MySQL ,选择相应的数据源和表,手动填写映射表名称。点击 导入全部字段 ,完成结果表的字段映射。

4. 点击 IDE区域 ,在任务编辑页面输入如下SQL代码,完成FlinkSQL开发:
 
INSERT INTO singal_stream_simple_target
 
SELECT SUM(buy_amount) AS totalsale,
 
            pay_time as pay_time
 
FROM singal_stream_simple_source

5. 再次浏览所有配置内容,确认无误后点击 保存 即完成数据开发任务配置。

步骤四:任务上线及运维
任务上线及运维
以实时电商案例数据源表存储为例,为您介绍如何将开发环境中配置完毕的实时采集、数据开发任务提交至生产环境并对其进行运维管理。

操作流程
1. 选择目标任务,点击右上角 提交 按键,在弹出窗口中填写备注,点击 确定 按键。
2. 点击右上角 运维 按键,跳转至 任务运维 页面,查看当前任务状态。

3. 点击 提交 按键。等待片刻后,任务状态变为 运行中 ,任务上线完毕。
 
4. 点击 任务名称 ,右侧弹出抽屉窗口,您可以查看任务的数据曲线,运行日志等详情内容。
 
5. 在 告警 中,点击 添加告警 按键,可创建不同触发方式的告警设置。