大家好，欢迎来到IT知识分享网。

作者：MeshCloud脉时云公有云架构师 张东升

1、引言

数据库迁移服务(Database Migration Service 简称DMS)，它提供了一种独特的迁移方法，使用MySQL和PostgreSQL的复制能力进行数据迁移，并最大限度地提高数据的安全性、完整性和保真度。数据库迁移服务支持从源数据库到 Cloud SQL 目标数据库的一次性和持续性迁移。

2、整体架构

此次实践的是实例上自建MySQL到Cloud SQL for MySQL的数据迁移，涉及的迁移类型有一次性迁移和持续性迁移实践。

3、 技术简介

数据库迁移服务（DMS）帮助您将MySQL和PostgreSQL工作负载提升并转移到Cloud SQL中，数据库迁移服务简化了网络工作流程，管理初始快照和正在进行的复制，并为您提供迁移操作的状态。DMS支持两种类型的迁移，一次性迁移和持续性迁移。

一次性迁移：数据库的单个时间点快照，从源获取并应用于目标。本质上是一个转储和加载，当加载完成时，目的地就可以使用，在迁移的过程中，禁止DDL操作在源库中执行，防止数据不一致情况。

连续性迁移：在初始完全转储和加载之后从源到目标的连续变化流。在迁移的情况下，当切换到使用目标进行读写时，执行promote操作。此时目标云SQL实例与源实例断开连接，并从副本实例升级到主实例。

4、 目标

自建MySQL的数据全量和增量迁移到Cloud SQL for MySQL，自建MySQL数据源端和目标端Cloud SQL for MySQL实例数据一致性。

5、准备工作

5.1、创建云实例，请参阅创建并启动虚拟机

5.2、MySQL RPM包（mysql-5.7.20-1.el7.x86_64.rpm-bundle.tar），安装包下载地址请参阅：https://cdn.mysql.com/archives/mysql-5.7/mysql-5.7.20-1.el7.x86_64.rpm-bundle.tar

6、实施步骤

6.1、安装部署自建MySQL

wget https://cdn.mysql.com/archives/mysql-5.7/mysql-5.7.20-1.el7.x86_64.rpm-bundle.tar

tar -xvf mysql-5.7.20-1.el7.x86_64.rpm-bundle.tar

rpm -qa|grep mariadb-libs

rpm -e mariadb-libs(需要卸载mariadb-libs包，与mysql-community-common-5.7.20- 1.el7.x86_64.rpm安装时候有冲突)

rpm -ivh mysql-community-common-5.7.20-1.el7.x86_64.rpm

rpm -ivh mysql-community-libs-5.7.20-1.el7.x86_64.rpm

rpm -ivh mysql-community-libs-compat-5.7.20-1.el7.x86_64.rpm

rpm -ivh mysql-community-devel-5.7.20-1.el7.x86_64.rpm

rpm -ivh mysql-community-client-5.7.20-1.el7.x86_64.rpm

rpm -ivh mysql-community-server-5.7.20-1.el7.x86_64.rpm

6.2、做DMS数据迁移对源端数据库有如下相应的配置要求

• 必须设置server-id选项为 1 或更大的值【server-id=1】
• 必须配置用于连接到源数据库的用户接受来自任何地方的连接 【host = %】
• 要执行一次性或连续迁移，请确保在源数据库上启用二进制日志【log-bin=mysql-bin】
• 使用基于行的二进制日志记录 【binlog_format=ROW】
• 二进制日志保留足够长的时间以支持数据库迁移，一般一周 【expire_logs_day=7】
• 所有表（系统数据库中的表除外）都使用 InnoDB 存储引擎
• 用于连接源数据库的用户帐户密码长度不得超过 32 个字符

6.3、插入测试数据并验证DDL操作脚本用法

• 插入测试数据

• 验证DDL操作脚本用法，模拟插入一条数据就会有在binlog日志中匹配到INSERT操作

6.4、创建源连接配置文件

• Database engine 选择MySQL并填写数据源端MySQL的远程连接信息，点击create完成源连接配置文件创建

6.5、创建迁移作业【一次性迁移】

• Source database engine选择MySQL、Migration job type选择One-time【一次性迁移类型】

• Select source connection profile选择TestDMS,关联6.4创建的源连接配置文件

• 创建目标端Cloud SQL实例、填写实例密码、实例版本【目标端的实例版本只能和数据源端版本相同或者更高版本】

• 实例的具体配置

• Connectivity method选择IP allowlist，创建的实例连接到数据源库的方式

• 点击CREATE JOB创建迁移作业，选定TestDMSJob的迁移作业，点击START开启迁移作业

• 查看作业的运行状态，此时状态已经是Completed完成状态。

6.6、创建迁移作业【持续性迁移类型】

• Migration job type选择Continuous【持续性迁移】，其他配置与创建一次性迁移Job的配置相同

7、 验证

7.1、验证一次性迁移类型Job运行结果

7.2、验证持续性迁移类型Job运行结果

• 模拟在数据源端库插入三条数据

• Cloud SQL for MySQL端验证数据是否同步完成

8、补充工作

8.1、支持的数据库版本

支持的源数据库

• RDS 5.6、5.7、8.0
• 自我管理（本地或任何云虚拟机）5.5、5.6、5.7、8.0
• Cloud SQL 5.6、5.7、8.0
• Amazon Aurora 5.6、5.7

支持的目标数据库

• 适用于 MySQL 5.6、5.7、8.0 的 Cloud SQL

8.2、一次性迁移要求

• 在初始完全转储阶段，对源的 DDL 操作可能会中断迁移过程，当迁移状态变为 Running时，请确保停止对源的所有 DDL 操作。

8.3、跨版本支持

• 数据库迁移服务支持 MySQL 到 Cloud SQL 迁移，其中目标版本与源数据库相同或高一个版本。例如，将 MySQL 5.6 源数据库迁移到 Cloud SQL 5.6 或 5.7 目标端。

8.4、未迁移的内容

• 迁移 MySQL 数据库时，不会迁移 MySQL 系统数据库，这些数据库包含有关用户和权限信息。用户帐户登录信息需要在目标 Cloud SQL 数据库实例中进行管理。

9、常见问题

9.1、数据源端的配置不符合相应的配置要求

9.2、创建源连接配置文件无法连接源端数据

9.3、针对一次性迁移，作业在运行的过程中，源库有DDL操作执行

9.4、针对跨版本支持，版本选择有误

• 针对以上情况，都会造成数据迁移失败或者数据迁移两端数据不一致