阿里云实时计算配置HDFS数据源
本节介绍如何在阿里云实时计算中配置HDFS数据源。
操作步骤
1.登陆实时计算Streaming实时计算Streaming,进入 实时计算 模块。
2.进入数据源,单击 新增数据源。
3.在 新增数据源 弹窗中,选择数据类型为 HDFS 。
4.填写HDFS数据源的各配置项。
5.点击 测试连通性。
6.测试连通性通过后,点击 确定,即可完成HDFS数据源的配置。
配置 说明
数据源名称 只能由中文、字母、数字和下划线组成,长度无限制。 数据源描述 对数据源进行简单描述,长度无限制。 defaultFS
defaultFS信息,示例格式:hdfs://host:post
高可用配置
补充高可用配置参数,可以使实时计算Streaming访问高可用模式下的HDFS数据源,高可用配置的示例如下:
"hadoopConfig":
关于HDFS高可用的更多信息可参考 Hadoop官方文档
开启Kerberos认证
上传文件前,请在控制台开启SFTP服务。