数据迁移

做法

前期预备、数据同步环节（历史数据全量同步、增量数据实时同步、rehash）、数据校验环节（全量校验、实时校验、校验规章配置）、数据修复工具等。
 

加速导入

1.关闭唯一性检查和外键检查，源表已经保证了这两项，所以目标表并不需要检查。
2. 关闭 binlog，毕竟导入数据用不着 binlog。
3.调整 redo log 的刷盘时机，把 innodb_flush_log_at_trx_commit 设置为 0
notion image
用orm拦截器实现，动态修改配置
notion image
notion image

工具

数据传输服务DTS
支持关系型数据库/NoSQL/OLAP等数据源间的迁移/同步/订阅，支持不停机上云迁移或数据库异地多活等！
数据传输服务DTS
https://www.aliyun.com/product/apsaradb/dts?spm=5176.20175563.J_4719022680.1.76b1791fgybRg9&scm=20140722.M_10000009447._.V_1
数据传输服务DTS
notion image
 
分库分表可以考虑订阅dts binlong，mq消费处理
通过订阅DTS数据，自行解析插入
将MySQL数据迁移至Kafka - 数据传输服务 DTS - 阿里云
将MySQL数据迁移至Kafka，数据传输服务 DTS：本文介绍如何使用数据传输服务DTS（Data Transmission Service），将RDS MySQL迁移至阿里云消息队列Kafka版。 已创建源实例RDS MySQL和目标实例阿里云消息队列Kafka版。
将MySQL数据迁移至Kafka - 数据传输服务 DTS - 阿里云
https://www.alibabacloud.com/help/zh/dts/user-guide/migrate-data-from-an-apsaradb-rds-for-mysql-instance-to-a-message-queue-for-apache-kafka-instance?spm=a2c63.p38356.0.0.1191306129T6Cj
notion image
notion image
Loading...
目录
文章列表
王小扬博客
产品
🗒️ AI产品分析
🗒️ 产品分析
🗒️ Excel AI 助手
Think
🗒️ Saas的困境
🗒️ AI时代下云厂商的困境
🗒️ 2024技术行业的思考
🗒️ The Romance of Coder
🗒️ 为什么要多元化发展
Git
🗒️ fatal: could not read Username Device not configured
🗒️ git github 配置代理
软件开发
🗒️ 软件行业经验
🗒️ 工作量评估
🗒️ CR代码
🗒️ spring Boot、nestjs、flask web服务框架对比
🗒️ 字节5000WQPS 从DNS到Kubernetes集群负载均衡分析
🗒️ 通用软件架构设计参考
🗒️ BizDevOps落地实践
🗒️ 是时候放弃全栈开发了
计算机网络
🗒️ 同源跨域解决方案
🗒️ whistle和Clash共存双层代理
🗒️ clash 防止规则覆盖
CI
🗒️ Jenkins实践
🗒️ jenkins docker 容器配置 proxy
🗒️ jenkins 远程 Remote root is not absolute, getting absolute directory from PWD；
🗒️ docker安装的jenkins如何在宿主机启动jar包
DB
🗒️ 先ORDER后JOIN引发乱序，附解决方法
🗒️ MySQL 批量修改表名
🗒️ Mysql OPTIMIZE TABLE
🗒️ RDS清理历史数据释放空间··
🗒️ RDS Mysql历史数据清理
🗒️ The MySQL server is running with the --read-only option so it cannot execute this statement
设计
🗒️ 秒杀系统时间配置、Nginx查看服务器系统时间
🗒️ 微服务技术选型
缓存
🗒️ 二级缓存版本号设计
Docker
🗒️ Docker绑定CPU
🗒️ Jenkins Docker构建存在缓存
🗒️ 容器内获取宿主机名称和容器ID
Node
🗒️ 基础使用
🗒️ node nestjs 异步异常处理
🗒️ 飞书群机器人接入
🗒️ 简易并发锁
🗒️ Promise
🗒️ Node文件计算Hash
🗒️ mac arm nvm install node14 failing
🗒️ Node CPU100% 问题分析解决
🗒️ 代码腐化｜Node如何规避致命错误
🗒️ Node原子计数器
操作系统
🗒️ linux系统信息查看
🗒️ cron 规范和不同实现
🗒️ windows美化 mac
🗒️ mac基础软件安装
🗒️ mac host切换
🗒️ linux ssh密钥生成
🗒️ Ubuntu安装Cron
🗒️ Ubuntu安装Redis
🗒️ Ubuntu安装Node
🗒️ Linux系统和负载信息查看
🗒️ Linux使用SSH端口转发
🗒️ conda迁移目录
🗒️ diebian切换镜像源 安装基础软件
🗒️ 程序CPU100% | 内存泄漏通用排查步骤
🗒️ CPU每秒多少次运算
🗒️ windows多个音频同时输出
🗒️ ubuntu禁用挂起
🗒️ mac lrzsz iterm 配置
Java
🗒️ 基于布隆过滤器快速匹配敏感词、关键词、品牌词
🗒️ 项目加密措施
🗒️ Java 模板变量替换——字符串替换器{}、${}、${}map
🗒️ spring动态修改service类的属性
🗒️ java反编译；将class变成java；利用idea进行反编译
🗒️ Java微服务生态系统构建指南
🗒️ HashMap初始化容量计算
🗒️ Maven常见问题
🗒️ mac arm Java maven等环境安装
🗒️ maven-assembly-plugin打包 scope system 级别文件
🗒️ maven打包配置SpringBoot
🗒️ Maven引入本地jar包
🗒️ Redisson延迟队列
🗒️ Java字符串比较 == 和 equals 的区别 intern
🗒️ jar包添加到本地
大前端
🗒️ 升级npm-check-updates
🗒️ overrides 覆盖配置
🗒️ 阿里npm镜像源更新不及时
🗒️ nvm
🗒️ 电商平台产品ID｜CDN与预渲染｜前端边缘计算
🗒️ Session Cookie Jwt Token常见web授权
🗒️ nrm｜npm快速切源
🗒️ patch-package|npm补丁修复
🗒️ windows ESLint: Expected linebreaks to be 'LF' but found 'CRLF'.(linebreak-style)
🗒️ npm install reason: certificate has expired
Nestjs
🗒️ nestjs fastify 频繁重启
🗒️ Nestjs Fastify 上传文件
🗒️ Nestjs fastify 接入Swagger
🗒️ typeorm用法
🗒️ Nestjs Pipe用法
🗒️ Nestjs Middleware
🗒️ nestjs/schedule nestjs定时任务
🗒️ proxy 网络代理
🗒️ class-validator nestjs dto参数校验
🗒️ 优雅关闭k8s pod docker pm2 nestjs bull
🗒️ NestJs bull 用法
🗒️ nestjs Cron @handleCron" because it is defined in a non static provider.
🗒️ nest redis mq
🗒️ nest @Public() 注解免校验 token
其他
🗒️ 关于我
🗒️ 计划write
🗒️ 主流云厂商 华为云 阿里云 腾讯云 运行状态 健康状态 看板
🗒️ Md Tree 代码目录生成
🗒️ 利用NotionNext Vercel搭建自己独立域名站点
🗒️ 技嘉主板启动后死机
🗒️ 提升效率的小工具
🗒️ 微信服务市场视频号小店接入指南
🗒️ 在线合并 excel 单元格
🗒️ NotionNext 全流程
🗒️ Github 开启 2FA
🗒️ 阿里云切换 MFA
🗒️ MFA 2MFA TOTP
🗒️ 图片处理基础知识
🗒️ WPS 未保存文件恢复
🗒️ taobao.delivery.template.add新增偏远地区不包邮运费模板
🗒️ 阿里云用户登录页面异常
🗒️ 微信公众号后台开发接入
🗒️ NotionNext添加notion链接
🗒️ 电商ISV 电商SaaS 是什么
PHP
🗒️ PHP配置跨域支持
🗒️ php strtr其他语言实现Node
🗒️ 为什么大家还在用php
🗒️ PHP 实现 redis 分布式锁