mysql差备怎么做,mysql日期做差

mysql如何快速备份

来源：知乎

企业建站必须是能够以充分展现企业形象为主要目的，是企业文化与产品对外扩展宣传的重要窗口，一个合格的网站不仅仅能为公司带来巨大的互联网上的收集和信息发布平台，成都创新互联公司面向各种领域：软装设计等成都网站设计、成都全网营销解决方案、网站设计等建站排名服务。

河南-老宋(志强)

问题描述的不是非常的清晰

使用mysqldump备份时一般会会加上--single-transaction参数，这里假设你是加了这个参数。

一 加速备份

1 加了single-transaction参数 备份时 需要先flush table with read lock 这个过程中会有一个锁表的过程，如果有事务或语句正在执行，没有结束，那么备份进程会一直等待，并且阻塞别的事务，那么也会影响业务。所以要先确认备份的时候没有大的事务在运行。

具体 single-transaction的加锁可以参考 我的博客：mysqldump备份时加single-transaction会不会加锁

2 mysqldump是单进程的，没有办法并行，但现在机器的瓶颈多是出现在IO方面，可以使用更了的IO设备加快速度

3 mysqldump时如果空间够的话，不要边压缩边备份

二 加速恢复

1 关闭binlog:不写入Binlog会大大的加快数据导入的速度

2 innodb_flush_log_at_trx_commit=0

3 更好的配置

建议：

一 如果非要使用逻辑备份，可以考虑mysqldumper, mysqlpump(5.7)这两个工具去备份，这两个在备份的时候支持并行操作，mysqldumper还可以对单表进行恢复，在只需要恢复单表的情况下，恢复速度会大大加快

二 使用物理备份 xtrabackup (open source),MEB(oracle提供，收费)： 他们的备份原理是基于mysql crash recover， 备份速度 是和逻辑备份的相差不太大。但是恢复速度却有很大的提升。

逻辑备份 备出来的是sql语句文件，恢复时需要一条一条的执行sql,所以恢复很慢。

而物理备份和还原的速度 相当于直接copy文件，所以恢复的时候性能有很大的提升

并且这两个软件还支持并行，效果更好。

逻辑备份最大的优点是 备份好的文件经压缩后占用空间较小，最大缺点恢复太慢

物理备份可以很快的恢复，但是备份好的文件压缩后占用空间比逻辑备份要大。

使用云，你做为用户可以不用考虑这些事情。

附：xtrabackup的并行参数

Parallel local backups

Parallel compression

Parallel encryption

Parallel apply-log

Gary Chen

《MySQL DBA修炼之道》作者。从事数据库领域10多年。

1.一般来说,你只有靠更好的硬件. 软件没有大的变动的情况下不可能突破硬件瓶颈;

2. mysqldump默认的导出选项已经可以了,单进程的工具不要期望太多,TommyChiu介绍的工具可试试.;

3. 导出的时候观察下系统,如果是cpu瓶颈,你基本无解.如果是swap问题,看是否是因为内存不够;

4. 恢复的时候主要是一个参数:innodb_flush_log_at_trx_commit=2

TommyChiu

mk-parallel-dump 试试

linux mysql怎么差异备份

方法：

URL;create table ay(ay1 image)--  

//新建一个名为AY的表 表内存在名为AY1的图象类型的字段

URL;backup database 数据库名 to disk='物理路径' with DIFFERENTIAL--  

//注意，这次备份是要减小数据库的备份量

URL;backup database 数据库名 to disk='物理路径'with DIFFERENTIAL--   

//备份数据库到WEB目录下

mysql到底如何备份

数据备份是数据容灾的最后一道防线，即便有着两地三中心的架构，备份也依然重要。如果备份出问题，备份时影响了交易业务，备份数据无法恢复，这些也是企业难以承受的。所以选择合适的备份工具尤为重要。

每个企业级数据库都会有配套的备份工具，MEB(MySQL Enterprise Backup)就是MySQL企业版中非常重要的工具之一，是为企业级客户提供的数据备份方案。

Xtrabackup一直作为MEB 开源版备胎而存在，从MySQL 8.0开始情况可能会变得有所不同。

在 MySQL 8.0的Backup Lock、Redo Log Archiving、Page Tracking等新特性的加持下，MEB备份/恢复体验会更好，目前xtrabackup还不支持这些特性。

MySQL 企业版还有哪些功能？

特性1：Backup Lock

8.0之前使用xtrabackup或MEB做物理备份，为了保证备份时InnoDB引擎表与其他引擎数据文件、及binlog日志的一致性会上全局读锁，再拷贝非InnoDB文件，这期间MySQL会变成只读，数据无法写入。表数量越多，可能加上时间越长，如果使用的xtrabackup 不小心没加rsync参数，逐个拷贝frm文件，锁定时间会更长，对业务影响较大。

我曾遇到过部署在虚拟机的实例有12000多张表，当时使用的xtrabackup，备份脚本中没加rsync参数，结果锁了十几分钟，而MEB就没有这样的问题。

MySQL 8.0支持轻量级备份锁 LOCK INSTANCE FOR BACKUP，数据字典也重构了由InnoDB存储。若不创建非InnoDB表，MEB默认使用备份锁获取binlog日志一致性位置，并阻止DDL操作，但不影响DML操作。

只有InnoDB表，仅上备份锁

请点击输入图片描述

若有非InnoDB表，上全局锁

请点击输入图片描述

特性2：Redo Log Archiving

MEB能做到在线热备，备份时不影响数据库读写，这是利用了InnoDB事务日志，在备份期间持续监视redo log的变化，读取增量变化，写入到ibbackup_logfile，也就不需要上锁来保障备份一致性。(对非InnoDB的文件需要上读锁拷贝)

如果备份期间数据库写入负载特别大，而写入ibbackup_logfile速度较慢，redo log size也不大，很可能会出现ibbackup_logfile的写入速度跟不上redo log记录生成速度，redo log 空间不够时需要覆写日志文件，那么来不及写入ibbackup_logfile的记录会丢失，导致备份失败。

MEB 4.1对此做了优化，将redo log处理线程拆分成多线程分工合作，提高处理redo log的效率，降低了redo log覆写造成备份失败的概率，但redo log新增速度和ibbackup_logfile写入速度悬殊太大，问题依然会发生。

MySQL 8.0.17支持了redo log archiving 彻底解决了此问题，备份前设置innodb_redo_log_archive_dirs，指定redo log归档目录。MEB备份时自动开启日志归档，当checkpoint时会将旧记录归档到此目录，后续从归档文件中读取redo日志记录，避免了覆写可能导致的redo记录丢失。

请点击输入图片描述

注意：innodb_redo_log_archive_dirs 不能在数据目录下，目录权限要求是700

特性3：Page Tracking

Page Tracking 是为优化增量备份效率，减少不必要的数据页扫描。

增量备份当前有3种扫描模式：

page-track：利用LSN精确跟踪上次备份之后被修改页面，仅复制这些页面，效率最快。

optimistic：扫描上次备份之后被修改的InnoDB 数据文件中，找出并拷贝修改的页面。依赖系统时间，使用存在限制。

full-scan：扫描所有InnoDB数据文件，找出并拷贝自上次备份之后修改的页面，效率最慢

1、利用page-track增量备份，需先安装备份组件

mysql INSTALL COMPONENT "";

2、在全备前开启page-track

SELECT mysqlbackup_page_track_set(true);

3、全备之后，做增量备份时指定若满足page tracking条件，默认会使用page-track模式，否则会使用full-scan模式，也可以指定--incremental=page-track。

mysqlbackup --incremental-backup-dir=backup_incr --trace=3 --incremental=page-track --incremental-base=history:last_full_backup backup

incremental-base有3种选择

last_backup：基于前一次备份做增备，前一次备份可能是增备，也可能是全备。这种方式全备之间可能会有多个增备，每次增量可能比较小，但恢复时需要逐个合并。

last_full_backup：基于前一次全备做增备。这种方式增备会越往后体积可能越大，但恢复时只需要合并最后一次增量备份。

dir：基于前一次的备份目录，前一次备份可能是增备，也可能是全备。

测试对比full-scan 和page-track ，在变更页小于总体50%的情况下 ，备份效率至少能有1倍的速度提升。

page-track 模式 磁盘读写均衡，说明读写的都是修改页面。

请点击输入图片描述

full-scan模式 磁盘读写差别很大，说明读了很多未修改的页面。

请点击输入图片描述

如何实现Mysql数据库的差异性备份和增量备份？

Ø  首先，我们需要开启MySQL服务器的二进制日志功能，其实现方法有很多种，最常用的是在MySQL的配置文件的mysqld项中加入log-bin=[filepath]项；也可以使用mysqld –log-bin=[filepath]重新启动MySQL服务器。

Ø  其次，使用mysqldump对数据库进行完全备份，它可以实现对数据据的联机，非阻塞的热备份，不会影响其他进程对数据库的读写操作。（参考指令：mysqldump -uroot --password=123 --single-transaction --flush-logs --master-data=2 --all-databases --delete-master-logs d:/mysql5.0/full_%date:~0,10%_1500_PM.sql）

Ø  第三，使用flush logs指令刷新创建新的二进制日志。可以通过mysqladmin flush logs或者flush logs语句实现。最方便有效的方法是将它做成批处理文件，然后让操作系统定期执行。

Ø  使用mysql *.sql进行完全备份的恢复。

Ø  使用mysqlbinlog logs-bin.[0-9]* | mysql进行增量备份的恢复。一般的，假设我们周日下午三点进行了完全备份并生成备份文件full_backup_20100415_3_PM.sql，周一周二中午一点进行了两次增量备份，分别生成增量备份文件inc_backup_1_PM.0007和inc_backup_1_PM.0008，周三上午10：00数据库发生崩溃，需要进行数据库恢复，此时正在记录的二进制日志为inc_backup_1_PM.0009，我们还需要恢复其中记录的操作。具体的恢复操作为：

mysql full_backup_20100415_3_PM.sql

mysqlbinlog inc_backup_1_PM.0007 inc_backup_1_PM.0008 inc_backup_1_PM.0009

u  具体应用(结合T8项目)

根据上述分析，我们在T8项目使用MySQL增量备份，也需要三个步骤：

Ø  首选修改MySQL启动配置文件my.cnf，在其中的mysqld项中增加log-bin选项，重新启动MySQL 服务器以开启二进制日志功能，在生成文件/usr/data/mysql/ t8server-bin.index和t8server-bin..000001。如图所示：

Ø  编写完全备份可执行文件脚本：

Ø  编写增量备份可执行文件脚本：

Ø  执行full_backup_20100417_1_pm，生成/usr/data/mysql/full_backup_20100417_1_pm. sql文件。

Ø  执行inc_backup_1_pm，生成/usr/data/mysql/t8server-bin..000002。

其中full_backup_20100417_1_pm. sql和t8server-bin..000002分别是完全备份和增量备份文件。

要进行备份文件的恢复，只需执行命令：

u  总结

MySQL提供了很方便的完全+增量备份实现方法，我们只需调用系统内置的方法或者作出一些细微的配置就可以对MySQL数据库进行备份和恢复。对于MyISAM数据库和InnoDB数据库，都可以通过mysqldump实现数据库的完全逻辑备份，通过启动二进制日志（binary logs），可以记录一个时间段内对数据库的所有可能更新的操作，从而通过flush logs创建新的日志而实现增量备份。