华为云数据库迁移解决方案

下载采集器
华为云迁移服务 采集客户端用于收集源库基本信息,比如 Schema、SQL、存储过程、事务、触发器等。并提供数据脱敏、压力控制等安全措施,在采集期间保护数据库资源。
1、登录华为云迁移服务控制台,进入数据库分析的采集器下载页面。
 
2、根据需要分析的源端数据库所在服务器的操作系统类型,按需选择“下载采集器”对应的数据库采集器文件。
 
3、网络:需要能够连接到Oracle数据库。
 
4、机器:安装数据库采集器的机器要求CPU 2c、内存8g、硬盘至少100g空余及更高配置。
 
5、操作系统:确认安装数据库采集器的机器操作系统。根据实际的操作系统,下载对应版本的华为云迁移服务客户端到本地并解压缩即可。登录 华为云迁移服务 控制台,进入数据库分析首页。数据库采集器的介绍和下载页面,点击“下载采集器”可以进入数据库采集器详情页面。
 
运行环境
支持本地部署及ByPass旁挂部署2种方式,因此对部署的运行环境具有相应的要求:
 
1、系统:64位操作系统版本RedHat 6.X、RedHat 7.X、CentOS 6.X、CentOS 7.X、WinServer2008-2016。
 
2、网络:只需可连接到 Oracle 数据库的机器即可。
 
3、规格:安装采集器的节点最低配置要求为CPU 2c、内存8g、100g存储空间。
 
采集器配置

Linux操作系统下采集器配置及使用
一、安装:
 
1.解压tar.gz包并执行./华为云迁移服务CLI.Linux.el?.stable01.bin

2.配置文件/etc/华为云迁移服务.conf
 
[public]
 
life_time =                         # 采集生命周期,程序从start启动开始至生成enc采集文件的程序生命周期。必要参数(默认为7),单位是整数或小数天(不支持负数)
 
limit_cpu = 80              # CPU阈值,必要参数,超过则不采集,单位是百分值
 
limit_iops = 50000             # IO阈值,必要参数,超过则不采集,单位是整数次
 
listen_host =               # 旁挂机器ip,非必要参数,开通旁挂见步骤3
 
[oracle]
 
sql_load_time =                 # SQL语句首次加载时间。必要参数,正整数。如果不修改,默认是采集器第一次安装时间,不支持格式更改
 
health_time =                      # 用于在Alert日志中前推固定天数检索数据库异常报错信息,该参数必须为正整数天数
 
sys_password =                 # sys用户密码,必要参数
 
users =                        # 采集用户,必要参数

3.若需要开通旁挂功能,需要手工配置ssh免密
 
# 假设两台机器为192.168.1.100,192.168.1.200
 
# 在192.168.1.100机器上执行以下指令,除密码外均直接敲击回车换行
 
# ssh-keygen -t rsa
 
# ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.1.200
 
# 在192.168.1.200机器上执行以下指令,除密码外均直接敲击回车换行
 
# ssh-keygen -t rsa
 
# ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.1.100

二、使用:
 
1.启动数据采集服务,采集周期为配置文件中life_time的时长;
 
dam_collect start

2.执行start以后,通过pause指令暂停本次采集周期内的数据收集任务;
 
dam_collect pause

3.执行continue以后,通过continue指令继续执行本次采集周期内的数据收集任务;
 
dam_collect continue

4.执行start采集任务以后,通过finish指令主动结束本次数据采集任务并跳出life_time的采集周期循环;
 
dam_collect finish

5.采集任务执行过程中可以通过abort指令主动终止采集任务并清理本次采集周期内生成的临时文件;
 
dam_collect abort

6.通过run指令手动触发一次数据收集,该执行不能在数据任务采集期间执行;
 
dam_collect run

7.查看当前采集任务的执行进度;
 
dam_collect status

8.启动采集任务的守护进程,如需关闭需要手动kill进程。
 
dam_daemon 

三、采集:
 
采集周期到期或者执行dam_collect_run可以在/root下
 
1.生成加密数据华为云迁移服务_INFO.enc
 
2.保留原始数据华为云迁移服务_INFO.zip

四、卸载:
 
1.dam_collect finish && dam_collect abort(此步骤会立即停止收集,并清除已收集文件)
 
2.rm -f /usr/local/bin/dam_*
 
3.rm -rf /root/华为云迁移服务*
 
4.rm -f /etc/华为云迁移服务.conf

Linux配置操作步骤如下:
 
1、配置文件路径为\etc\华为云迁移服务,再根据说明文档输入配置参数(必要参数未填写无法正常运行)。
 
2、输入相关命令即可运行采集器。

Windows操作系统下采集器配置及使用
 
一、安装:
 
1.解压并安装华为云迁移服务CLI.windows.stable01.exe

2.配置文件C:\华为云迁移服务\etc\华为云迁移服务.conf
 
[public]
 
life_time =                   # 采集生命周期,程序从start启动开始至生成enc采集文件的程序生命周期。必要参数(默认为7),单位是整数或小数天(不支持负数)
 
limit_cpu = 80              # CPU阈值,必要参数,超额则停止采集,单位是整数百分比
 
limit_iops = 50000             # IO次数阈值,必要参数。超额则停止采集,单位是整数次
 
listen_host =               # 旁挂机器IP,非必要参数
 
listen_pwd =                      # 旁挂机器administrator密码,非必要参数
 
[oracle]
 
sql_load_time =                 # SQL语句首次加载时间。必要参数,正整数。如果不修改,默认是采集器第一次安装时间,不支持格式更改
 
health_time = 7               # 用于在Alert日志中前推固定天数检索数据库异常报错信息,该参数必须为整数天数
 
 
sys_password =                 # sys用户密码,必要参数
 
users =                         # 采集用户,必要参数

3.如果需要配置旁挂机器,需要在目标机器预先操作如下操作:
 
runas /user:administrator cmd(操作此步骤后要求输入密码)
 
net share IPC$

二、使用:
 
1.启动数据采集服务,采集周期为配置文件中life_time的时长;
 
dam_collect start

2.执行start以后,通过pause指令暂停本次采集周期内的数据收集任务;
 
dam_collect pause

3.执行continue以后,通过continue指令继续执行本次采集周期内的数据收集任务;
 
dam_collect continue

4.执行start采集任务以后,通过finish指令主动结束本次数据采集任务并跳出life_time的采集周期循环;
 
dam_collect finish

5.采集任务执行过程中可以通过abort指令主动终止采集任务并清理本次采集周期内生成的临时文件;
 
dam_collect abort

6.通过run指令手动触发一次数据收集,该执行不能在数据任务采集期间执行;
 
dam_collect run

7.查看当前采集任务的执行进度。
 
dam_collect status

三、采集:
 
采集周期到期或者执行dam_collect_run可以在桌面生成
 
1.加密数据华为云迁移服务_INFO.enc
 
2.原始数据华为云迁移服务_INFO.zip

四、卸载:
 
1.在命令窗口执行dam_collect finish && dam_collect abort(此步骤会立即停止收集,并清除已收集文件)
 
2.点击C:\华为云迁移服务\bin\uninstall.exe
 
3.删除C:\华为云迁移服务目录,若目录占用,在进程管理中删掉sqlcmd相关的进程,再删除目录

Windows配置操作步骤如下:
 
1、  打开C:\华为云迁移服务\etc文件夹,打开“华为云迁移服务 .conf”配置文件,根据说明文档输入配置参数(必要参数未填写无法正常运行)。
 
2、“win+R”打开“运行”对话框,输入“cmd”打开控制台。
 
3、输入“cd C:\华为云迁移服务\bin”进入采集器bin路径下,再输入相关命令即可运行采集器。

上传采集数据并新建画像
登录产品控制台,在左侧导航栏中单击数据库分析->源库画像分析,在画像列表页面左上角单击“新建画像”。
 
对话框中输入画像名,并上传采集文件(.enc文件)每次只能选择一个文件,单击“确认”后返回列表页面,系统自动解析文件并更新画像状态和进度,成功解析后可查看该画像的分析结果。

数据库画像处理时间大约为1-5分钟,画像处理时间受数据库采集内容影响。
 
数据库画像
数据库画像是数据库评估的基础数据;数据库画像是为了帮助用户更好的了解自己的源oracle数据库;点击“数据库画像”按钮后,可以进入画像详情页。
 
在画像详情页中,可以查看到性能、规格、主要对象分析、外部依赖关系等多种分析数据,按照类型分别放在不同的tab页中。
 
点击“操作”栏里的数据库画像功能。
 
1、 性能数据
 
提供服务器CPU利用率,内存使用率,I/O并发量,TPS,QPS,I/O吞吐量,网络流量等负载信息。
 
备注:性能数据与用户无关联,跟数据库服务器有关联。
 
性能数据.png
 
(1)CPU利用率
 
在采集周期内目标数据库服务器的CPU利用率记录,每小时作为一个显示“点”,数值为该小时内取样的峰值。
 
显示方式:
 
横坐标:时间点(YYYY-M-D hh:mm:ss)。
 
纵坐标:显示当前每小时CPU利用率的峰值,单位“%(小数点后2位)”。
 
(2)内存使用率
 
在采集周期内目标数据库服务器的内存使用率记录,每小时作为一个显示“点”,数值为该小时内取样的峰值。
 
显示方式:
 
横坐标:时间点(YYYY-M-D hh:mm:ss)。
 
 纵坐标:显示当前每小时内存利用率的峰值,单位“%”。

(3)I/O并发量
 
在采集周期内目标数据库服务器的I/O每秒读写操作次数记录,每小时作为一个显示“点”,数值为该小时内取样的峰值。

显示方式:
 
横坐标:时间点(YYYY-M-D hh:mm:ss)。
 
纵坐标:显示每小时内每秒读写次数的峰值,单位“次数”。

(4)TPS
 
在采集周期内目标数据库服务器内,Oracle数据库中每秒发生的Transction事务数记录,每小时作为一个显示“点”,数值为该小时内取样的峰值。
 
显示方式:
 
横坐标:时间点(YYYY-M-D hh:mm:ss)。
 
纵坐标:显示每小时内每秒处理事务数的峰值,单位“次数”。

(5)QPS
 
在采集周期内目标数据库服务器内,Oracle数据库中每秒发生的Query查询数记录,每小时作为一个显示“点”,数值为该小时内取样的峰值。
 
显示方式:
 
横坐标:时间点(YYYY-M-D hh:mm:ss)。
 
纵坐标:显示每小时内每秒查询率的峰值,单位“次数”。

(6)I/O吞吐量
 
在采集周期内目标数据库服务器每秒I/O总吞吐量,每秒读写带宽MB,每小时作为一个显示“点”,数值为该小时内取样的峰值。
 
显示方式:
 
横坐标:时间点(YYYY-M-D hh:mm:ss),单位“MB”。
 
纵坐标:显示每小时内每秒传输百万位(比特)数量的数据的峰值,单位“次数”。

(7)网络流量
 
在采集周期内目标数据库服务器所有网卡每秒网络流量之和,网口的交换吞吐量MB,每小时作为一个显示“点”,数值为该小时内取样的峰值。
 
显示方式:
 
横坐标:时间点(YYYY-M-D hh:mm:ss),单位“MB”。
 
纵坐标:显示每小时内网络上传输的带宽数据的峰值,单位“次数”。

    2、规格信息
 
(1)数据库采集所用schema(业务用户)下Table、Index、Lob三种不同segment(物理段)占比,以及对应schema下总存储容量的总和。单位:GB,%。
 
备注:同一台数据库服务器上相同dbid(数据库唯一标识符)生成的不同版本Oracle画像是可以叠加的,同一个Schema会按照最新的画像内容进行历史数据覆盖,不同Schema会分标签显示。
 
(2)存储容量使用情况
 
系统容量:目标数据库服务器OS所使用的文件系统存储占用空间;
 
数据库容量:目标Oracle数据库中表空间及物理文件的存储占用空间;
 
实际数据量:目标Oracle数据库中实际表数据(行数据)的存储占用空间。

(3)数据库等待事件
 
Oracle数据库实例从最近一次启动到当前排名前十位的等待事件,包含了事件名称、会话等待的总时长、每个会话的平均等待时间、等待事件分类。该部分信息展示目标数据库当前运行存在的压力,用于辅助用户决策数据库服务器迁移上云时进行网络带宽、云存储容量、高性能云盘选择时的理论依据。
 
备注:叠加画像后,显示整体的top10
3、查看主要对象分析
 
数据库包含对象个数进行统计展示,统计范围为下述16种:TABLE、INDEX、LOB、TRIGGER、VIEW、SQL、SEQUENCE、PACKAGE、QUEUE、FUNCTION、PROCEDURE、PACKAGE BODY、TYPE BODY、SYNONYM、MATERIALIZED VIEW、TYPE。
 
备注:横坐标根据实际对象个数动态展示,为0的不展示;纵坐标按照实际各对象调整单位跨度。
 4、业务对象展示
 
展示业务Schema对象树结构,表格展示 Schema,支持对不同Oracle用户,多种对象类型信息,支持搜索筛选功能。
 
全景展示按对象类型、Schema、类型等搜索对象,并可以查看对象的各种关联关系;搜索功能支持全部匹配,模糊匹配,按类型匹配等多种复合搜索功能,可以任意组合查找画像中oracle对象信息。
 
备注:左侧对象树形图是灵活获取并展示:按用户-对象的结构展示,如果对象为0,不展示该对象;右侧根据左侧选中效果联动展示对象信息。
对象全景展示包括2部分内容,上半部分展示对象的基本信息以及详细 DDL,下半部分展示对象的详细信息和依赖;在详细信息中,点“查看”按钮可分别查看;返回:查看关联表详情信息后,点“返回”按钮可返回上层历史记录。
 
(1)TABLE
 
TABLE通过华为云迁移服务计算处理得到的关联信息有:索引、触发器、SQL、LOB。
 
上半部分展示所属、对象类型、对象名;展示相关DDL语句。
 
下半部分关联INDEX等对象名称、对象类型、操作(查看)。
(2)INDEX
 
INDEX通过华为云迁移服务计算处理得到的关联信息有:表名称、索引名称、字段名称。
 
上半部分展示基本信息,包括所属、对象类型、对象名;展示相关DDL语句。
 
下半部分展示详情,包括表名称、索引名称、字段。

(3)LOB
 
LOB通过华为云迁移服务计算处理得到的关联信息有:表名称、字段名称、物理段、表空间。
 
上半部分展示LOB“基本信息”,包括所属、对象类型、对象名 。
 
下半部分展示LOB “详细信息”,包括表名称、字段名称、物理段、表空间。

(4)TRIGGER
 
LOB通过华为云迁移服务计算处理得到的关联信息有:表名称、字段名称。
 
上半部分展示TRIGGER“基本信息”,包括所属、对象类型、对象名;展示相关DDL语句。
 
下半部分展示TRIGGER“详细信息”,包括触发器、字段名称、表名称。

(5)VIEW
 
LOB通过华为云迁移服务计算处理得到的关联信息有:表、嵌套视图、函数。
 
上半部分展示VIEW“基本信息”,包括所属、对象类型、对象名;展示相关DDL语句。
 
下半部分展示关联的 “详细信息”,包括对象名称、对象类型、操作(查看) 。

(6)SQL
 
SQL通过华为云迁移服务计算处理得到的关联信息有:解析时间、SQL编号、执行次数、客户端类型。
 
展示SQL“基本信息”,包括所属、对象类型、对象名 ;展示相关DML\DQL语句。
 
展示SQL“详细信息”,包括解析时间、SQL编号、执行次数、客户端类型。

(7)SEQUENCE
 
展示基本信息,包括所属、对象类型、对象名;展示相关DDL语句。

(8)PACKAGE
 
展示PACKAGE“基本信息“,包括所属、对象类型、对象名;展示相关DDL语句。

(9)QUEUE
 
展示QUEUE“基本信息”,包括所属、对象类型、对象名。

(10)FUNCTION
 
 展示FUNCTION“基本信息”,包括所属、对象类型、对象名;展示相关DDL语句。
 
(11)PROCEDURE
 
 展示PROCEDURE“基本信息”,包括所属、对象类型、对象名;展示相关DDL语句。

(12)PACKAGE BODY
 
展示PACKAGE BODY“基本信息”,包括所属、对象类型、对象名。

(13)TYPE BODY
 
展示TYPE BODY “基本信息”,包括所属、对象类型、对象名。
 
(14)SYNONYM
 
展示SYNONYM“基本信息”,包括所属、对象类型、对象名;展示相关DDL语句。

(15)MATERIALIZED VIEW
 
 展示MATERIALIZED VIEW“基本信息”,包括所属、对象类型、对象名。
 
(16)TYPE
 
展示TYPE“基本信息”,包括所属、对象类型、对象名;展示相关DDL语句。
 
追加画像
源库画像支持画像的多版本管理,由于用户一次采集的数据可能不完备,用户可以在原画像的基础上添加新的采集文件。
用户点击“追加”按钮,对源画像增加新采集文件,仅支持相同源端相同数据库采集文件进行追加,否则追加失败,系统会根据所选文件解析生成新的画像版本,并更新分析画像的内容。
删除画像
用户可以删除最新的画像版本,删除实际只是删除了当前版本,并且会回退到上一个版本,同时该版本生成的数据库分析内容也会回退到上一个版本。 
将鼠标华为到后面点击更多,点击并在弹出提示中确认删除后可以删除画像。