阿里云实时计算数据曲线

登陆数据曲线页面

1.登录阿里云实时计算

2.选择目标项目,点击运维中心,进入任务运维。

3.在任务运维列表点击 任务名称,在弹出的抽屉窗口中,默认展示数据曲线分页。

在数据曲线中,实时计算提供了当前任务的核心指标概览页面。您可以通过数据曲线对任务的运行情况进行一键式的诊断。
Failover

Failover曲线显示当前Job出现Failover(错误或者异常)的频率。计算方法为当前Failover时间点的前1分钟

内出现Failover的累计次数除以60。(例如 ,最近1分钟Failover了一次,Failover的值为1/60=0.01667。)
业务延时

为了全面的了解实时计算全链路的时效状况和作业的性能,实时计算提供业务延时这一指标。业务延迟 =

当前系统时间???当前系统处理的最后一条数据的事件时间(Event time)。如果后续没有数据再进入上游

存储,由于当前系统时间在不断往前推进,业务延时也会随之逐渐增大。

实时计算是分布式计算框架,业务延时首先是针对Source的单个分区(Shard/Partition等)进行计算,然后汇报所有分区中的最大值呈现到前端页面上,因此前端页面上显示的汇聚后的数据间隔时间并不精确等于业务延时???数据滞留时间。

如果Source中的某个分区没有新的数据,将会导致业务延迟逐渐增大。

目前底层算法实现时,当数据间隔时间小于10秒时,会将数据间隔时间设置为0,进行上报。
各Source的TPS数据输入

对实时计算作业所有的流式数据输入进行统计,记录每秒读取数据源表的Block的数,让您直观的了解数据存储TPS(Transactions Per Second)的情况。与TPS不同,RPS(Record Per Second)是读取数据源TPS 的Block数解析后的数据,单位是条/秒。(例如,日志服务,1秒读取5个LogGroup,那么TPS=5,如果每个LogGroup解析出来8个日志记录,那么一共解析出40个日志记录,RPS=40。)
各Sink的数据输出

对实时计算作业所有的数据输出(并非是流式数据存储,而是全部数据存储)做出进行统计,让您直观的了解数据存储RPS(Record Per Second)的情况。通常,在系统运维过程中,如果出现没有数据输出的情况,除了检查上游是否存在数据输入,同样要检查下游是否真的存在数据输出。
各Source的RPS数据输入

对实时计算作业所有的流式数据输入进行统计,让您直观的了解数据存储RPS(Record Per Second)情况。通常,在系统运维过程中,如果出现没有数据输出的情况,需要查看该值,判断是否数据源输出数据存在异常。
各Source的数据流量输入

对实时计算作业所有的流式数据输入进行统计,记录每秒读取输入源表的流量的统计,让您直观的了解数据流量BPS(Byte Per Second)情况。
各Source的脏数据

为您显示实时计算Source各时间段脏数据条数。
WaterMark内容

具体参数说明如下:

数据迟到丢弃TPS

每秒丢弃晚于Watermark时间到达Window的数据的数量。

数据迟到累计丢弃数

累计丢弃晚于Watermark时间到达Window的数据的数量。