阿里云服务器如何与对象存储OSS交互连接
如何与OSS交互
准备工作
- 开通AccessKey。
- 在创建阿里云服务器时,打开对象存储开关。
- 在阿里云大服务器所在的区域已创建对象存储。
HDFS文件上传至对象存储
- 远程登陆至阿里云
- 终端用户切换至hadoop用户
-
执行命令
{hadoop_home}/bin/hadoopfs-cphdfs:///{hdfs_directory}/{hdfs-file}s3a://{oss-bucket-name}/{oss-file}参数说明:{hadoop_home}:hadoop服务根目录:/data0/hadoop-2.7.4(阿里云大数据处理分析集群版本:阿里云大数据处理分析2.0.0){hdfs_directory}:hdfs文件目录路径{hdfs-file}:hdfs文件名{oss-bucket-name}:对象存储空间名称{oss-file}:对象存储文件名 对象存储文件下载至HDFS
- 远程登陆至阿里云
- 终端用户切换至hadoop
-
执行命令
{hadoop_home}/bin/hadoopfs-cps3a://{oss-bucket-name}/{oss-file}hdfs:///{hdfs_directory}/{hdfs-file}参数说明:{hadoop_home}:hadoop服务根目录,参考表1{oss-bucket-name}:对象存储空间名称{oss-file}:对象存储文件名{hdfs_directory}:hdfs文件目录路径{hdfs-file}:hdfs文件名