阿里云服务器如何与对象存储OSS交互连接

如何与OSS交互

准备工作

  • 开通AccessKey。
  • 在创建阿里云服务器时,打开对象存储开关。
  • 在阿里云大服务器所在的区域已创建对象存储。

HDFS文件上传至对象存储

  • 远程登陆至阿里云
  • 终端用户切换至hadoop用户
  • 执行命令

    {hadoop_home}/bin/hadoopfs-cphdfs:///{hdfs_directory}/{hdfs-file}s3a://{oss-bucket-name}/{oss-file}参数说明:{hadoop_home}:hadoop服务根目录:/data0/hadoop-2.7.4(阿里云大数据处理分析集群版本:阿里云大数据处理分析2.0.0){hdfs_directory}:hdfs文件目录路径{hdfs-file}:hdfs文件名{oss-bucket-name}:对象存储空间名称{oss-file}:对象存储文件名

    对象存储文件下载至HDFS

  • 远程登陆至阿里云
  • 终端用户切换至hadoop
  • 执行命令{hadoop_home}/bin/hadoopfs-cps3a://{oss-bucket-name}/{oss-file}hdfs:///{hdfs_directory}/{hdfs-file}参数说明:{hadoop_home}:hadoop服务根目录,参考表1{oss-bucket-name}:对象存储空间名称{oss-file}:对象存储文件名{hdfs_directory}:hdfs文件目录路径{hdfs-file}:hdfs文件名