资讯

精准传达 • 有效沟通

从品牌网站建设到网络营销策划,从策略到执行的一站式服务

MYSQL中Binglog分析利器binlog2sql怎么用

这篇文章将为大家详细讲解有关MySQL中Binglog分析利器binlog2sql怎么用,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。

创新互联建站是一家集网站建设,东营企业网站建设,东营品牌网站建设,网站定制,东营网站建设报价,网络营销,网络优化,东营网站推广为一体的创新建站企业,帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿,时刻以成就客户成长自我,坚持不断学习、思考、沉淀、净化自己,让我们为更多的企业打造出实用型网站。

一、binlog2sql简介
binlog2sql是一开源工具,其可以从MySQL binlog解析出你要的SQL。根据不同选项,你可以得到原始SQL、回滚SQL、去除主键的INSERT SQL等。
主要用途如下:
(1)数据快速回滚(闪回)
(2)主从切换后数据不一致的修复
(3)从binlog生成标准SQL,带来的衍生功能
二、binlog2sql安装
1、binlog2sql下载
https://github.com/danfengcao/binlog2sql
2、binlog2sql依赖包安装
python2.6+
PyMySQL==0.7.8+
wheel==0.24.0+
mysql-replication==0.9+
(1)PyMySQL-0.7.10安装
https://pypi.python.org/pypi/PyMySQL/
[root@node1 binlogsql]# tar -xzvf PyMySQL-0.7.10.tar.gz
[root@node1 binlogsql]# cd PyMySQL-0.7.10
[root@node1 PyMySQL-0.7.10]# python setup.py install
(2)wheel-0.30.0a0安装
https://pypi.python.org/pypi/wheel/
[root@node1 binlogsql]# tar -xzvf wheel-0.30.0a0.tar.gz
[root@node1 binlogsql]# cd wheel-0.30.0a0
[root@node1 wheel-0.30.0a0]# python setup.py install
(3)python-mysql-replication安装
https://github.com/noplay/python-mysql-replication
[root@node1 binlogsql]# unzip python-mysql-replication-master.zip
[root@node1 binlogsql]# cd python-mysql-replication-master
[root@node1 python-mysql-replication-master]# python setup.py  install
(4)可以通过pip安装相应的依赖包
https://pypi.python.org/pypi/pip
[root@node1 tools]# tar -xzvf pip-9.0.1.tar.gz
[root@node1 tools]# cd pip-9.0.1
[root@node1 pip-9.0.1]# python setup.py install
[root@node1 binlog2sql-master]# pip install  -r requirements.txt
3、binlog2sql安装
直接下载解压缩即可,运行相应的py脚本

[root@node1 tools]# unzip binlog2sql-master.zip
[root@node1 tools]# cd binlog2sql-master
设置别名,方便命令调用:
alias binlog2sql='python /tools/binlogsql/binlog2sql-master/binlog2sql/binlog2sql.py'
三、binlog2sql使用
1、binlog2sql帮助手册

[root@node1 binlog2sql]# binlog2sql  --help
usage: binlog2sql.py [-h HOST] [-u USER] [-p PASSWORD] [-P PORT]
                     [--start-file STARTFILE] [--start-position STARTPOS]
                     [--stop-file ENDFILE] [--stop-position ENDPOS]
                     [--start-datetime STARTTIME] [--stop-datetime STOPTIME]
                     [--stop-never] [--help] [-d [DATABASES [DATABASES ...]]]
                     [-t [TABLES [TABLES ...]]] [-K] [-B]

Parse MySQL binlog to SQL you want

optional arguments:
  --stop-never          Wait for more data from the server. default: stop
                        replicate at the last binlog when you start binlog2sql  ##持续同步binlog。可选。不加则同步至执行命令时最新的binlog位置
  --help                help infomation
  -K, --no-primary-key  Generate insert sql without primary key if exists ##对INSERT语句去除主键。可选。
  -B, --flashback       Flashback data to start_postition of start_file ##生成回滚语句,可解析大文件,不受内存限制,每打印一千行加一句SLEEP SELECT(1)。可选。与stop-never或no-primary-key不能同时添加。

connect setting:
  -h HOST, --host HOST  Host the MySQL database server located
  -u USER, --user USER  MySQL Username to log in as
  -p PASSWORD, --password PASSWORD
                        MySQL Password to use
  -P PORT, --port PORT  MySQL port to use

range filter:
  --start-file STARTFILE
                        Start binlog file to be parsed  ##起始解析文件。必须。
  --start-position STARTPOS, --start-pos STARTPOS ##start-file的起始解析位置。可选。默认为start-file的起始位置。
                        Start position of the --start-file
  --stop-file ENDFILE, --end-file ENDFILE            ##末尾解析文件。可选。默认为start-file同一个文件。若解析模式为stop-never,此选项失效。
                        Stop binlog file to be parsed. default: '--start-file'
  --stop-position ENDPOS, --end-pos ENDPOS    ##stop-file的末尾解析位置。可选。默认为stop-file的最末位置;若解析模式为stop-never,此选项失效。
                        Stop position of --stop-file. default: latest position
                        of '--stop-file'
  --start-datetime STARTTIME
                        Start reading the binlog at first event having a
                        datetime equal or posterior to the argument; the
                        argument must be a date and time in the local time
                        zone, in any format accepted by the MySQL server for
                        DATETIME and TIMESTAMP types, for example: 2004-12-25
                        11:25:56 (you should probably use quotes for your
                        shell to set it properly). ##从哪个时间点的binlog开始解析,格式必须为datetime,如'2016-11-11 11:11:11'。可选。默认不过滤。
  --stop-datetime STOPTIME
                        Stop reading the binlog at first event having a
                        datetime equal or posterior to the argument; the
                        argument must be a date and time in the local time
                        zone, in any format accepted by the MySQL server for
                        DATETIME and TIMESTAMP types, for example: 2004-12-25
                        11:25:56 (you should probably use quotes for your
                        shell to set it properly).  ##到哪个时间点的binlog停止解析,格式必须为datetime,如'2016-11-11 11:11:11'。可选。默认不过滤。

schema filter:
  -d [DATABASES [DATABASES ...]], --databases [DATABASES [DATABASES ...]]
                        dbs you want to process  ##只输出目标db的sql。可选。默认为空。
  -t [TABLES [TABLES ...]], --tables [TABLES [TABLES ...]]
                        tables you want to process  ##只输出目标tables的sql。可选。默认为空。
2、binlog2sql要求mysql配置参数需包括以下内容
[mysqld]
log-bin-index = /home/mysql/bin-index
max_binlog_size = 1G
binlog_format = row
binlog_row_image = full
log-bin = /home/mysql/mysql-bin
3、binlog2sql解析binlog案例
(1)解析某个binlog全部内容

点击(此处)折叠或打开

  1. ##构造binlog内容

  2. (root:localhost:Wed Mar 15 11:45:32 2017)[(none)]>flush logs;

  3. Query OK, 0 rows affected (0.00 sec)

  4. (root:localhost:Wed Mar 15 11:45:36 2017)[(none)]>show master status \G

  5. *************************** 1. row ***************************

  6.              File: mysql-bin.000028

  7.          Position: 120

  8.      Binlog_Do_DB:

  9.  Binlog_Ignore_DB:

  10. Executed_Gtid_Set:

  11. 1 row in set (0.00 sec)

  12. (root:localhost:Wed Mar 15 11:45:40 2017)[(none)]>use dbtest;

  13. Database changed

  14. (root:localhost:Wed Mar 15 11:46:53 2017)[dbtest]>show tables;

  15. +------------------+

  16. | Tables_in_dbtest |

  17. +------------------+

  18. | T |

  19. | T1 |

  20. | t |

  21. | t1 |

  22. | t2 |

  23. +------------------+

  24. 5 rows in set (0.00 sec)

  25. (root:localhost:Wed Mar 15 11:46:54 2017)[dbtest]>drop table t1;

  26. Query OK, 0 rows affected (0.00 sec)

  27. (root:localhost:Wed Mar 15 11:46:57 2017)[dbtest]>drop table T;

  28. Query OK, 0 rows affected (0.01 sec)

  29. (root:localhost:Wed Mar 15 11:47:01 2017)[dbtest]>drop table T1;

  30. Query OK, 0 rows affected (0.01 sec)

  31. (root:localhost:Wed Mar 15 11:47:02 2017)[dbtest]>show tables;

  32. +------------------+

  33. | Tables_in_dbtest |

  34. +------------------+

  35. | t |

  36. | t2 |

  37. +------------------+

  38. 2 rows in set (0.00 sec)

  39. (root:localhost:Wed Mar 15 11:47:07 2017)[dbtest]>drop table t2;

  40. Query OK, 0 rows affected (0.00 sec)

  41. (root:localhost:Wed Mar 15 11:47:12 2017)[dbtest]>create table t1 select * from t;

  42. Query OK, 0 rows affected (0.02 sec)

  43. Records: 0  Duplicates: 0  Warnings: 0

  44. (root:localhost:Wed Mar 15 11:47:20 2017)[dbtest]>select * from t;

  45. Empty set (0.00 sec)

  46. (root:localhost:Wed Mar 15 11:47:23 2017)[dbtest]>desc t;

  47. +-------+---------+------+-----+---------+-------+

  48. | Field | Type | Null | Key | Default | Extra |

  49. +-------+---------+------+-----+---------+-------+

  50. | id | int(11) | YES | | NULL | |

  51. +-------+---------+------+-----+---------+-------+

  52. 1 row in set (0.00 sec)

  53. (root:localhost:Wed Mar 15 11:47:27 2017)[dbtest]>insert into t values(1),(2),(3);

  54. Query OK, 3 rows affected (0.01 sec)

  55. Records: 3  Duplicates: 0  Warnings: 0

  56. (root:localhost:Wed Mar 15 11:47:38 2017)[dbtest]>insert into t1 select * from t;

  57. Query OK, 3 rows affected (0.00 sec)

  58. Records: 3  Duplicates: 0  Warnings: 0

  59. (root:localhost:Wed Mar 15 11:47:45 2017)[dbtest]>update t1 set id='11' where id<10;

  60. Query OK, 3 rows affected (0.00 sec)

  61. Rows matched: 3  Changed: 3  Warnings: 0

  62. (root:localhost:Wed Mar 15 11:48:12 2017)[dbtest]>show master status \G

  63. *************************** 1. row ***************************

  64.              File: mysql-bin.000028

  65.          Position: 38968

  66.      Binlog_Do_DB:

  67.  Binlog_Ignore_DB:

  68. Executed_Gtid_Set:

  69. 1 row in set (0.00 sec)

正常语句是:python binlog2sql.py  -h20.1.0.10 -P3306 -udb_user -p'abc.123' -ddbtest  --start-file='mysql-bin.000028'
由于上文做了binlog2sql别名,这里可以通过别名直接调用命令:
[root@node1 binlog2sql]#  binlog2sql -h20.1.0.10 -P3306 -udb_user -p'abc.123' -ddbtest  --start-file='mysql-bin.000028'
USE dbtest;
DROP TABLE `t1` /* generated by server */;
USE dbtest;
DROP TABLE `T` /* generated by server */;
USE dbtest;
DROP TABLE `T1` /* generated by server */;
USE dbtest;
DROP TABLE `t2` /* generated by server */;
USE dbtest;
CREATE TABLE `t1` (
  `id` int(11) DEFAULT NULL
);
INSERT INTO `dbtest`.`t`(`id`) VALUES (1); #start 35104 end 35274 time 2017-03-15 11:47:38
INSERT INTO `dbtest`.`t`(`id`) VALUES (2); #start 35104 end 35274 time 2017-03-15 11:47:38
INSERT INTO `dbtest`.`t`(`id`) VALUES (3); #start 35104 end 35274 time 2017-03-15 11:47:38
INSERT INTO `dbtest`.`t1`(`id`) VALUES (1); #start 36062 end 36233 time 2017-03-15 11:47:45
INSERT INTO `dbtest`.`t1`(`id`) VALUES (2); #start 36062 end 36233 time 2017-03-15 11:47:45
INSERT INTO `dbtest`.`t1`(`id`) VALUES (3); #start 36062 end 36233 time 2017-03-15 11:47:45
UPDATE `dbtest`.`t1` SET `id`=11 WHERE `id`=1 LIMIT 1; #start 36625 end 36812 time 2017-03-15 11:48:12
UPDATE `dbtest`.`t1` SET `id`=11 WHERE `id`=2 LIMIT 1; #start 36625 end 36812 time 2017-03-15 11:48:12
UPDATE `dbtest`.`t1` SET `id`=11 WHERE `id`=3 LIMIT 1; #start 36625 end 36812 time 2017-03-15 11:48:12
(2)解析某几个binlog相应的表t,t1操作记录

点击(此处)折叠或打开

  1. (root:localhost:Wed Mar 15 15:01:01 2017)[dbtest]>flush logs;

  2. Query OK, 0 rows affected (0.00 sec)


  3. (root:localhost:Wed Mar 15 15:01:09 2017)[dbtest]>show master status \G

  4. *************************** 1. row ***************************

  5.              File: mysql-bin.000030

  6.          Position: 120

  7.      Binlog_Do_DB:

  8.  Binlog_Ignore_DB:

  9. Executed_Gtid_Set:

  10. 1 row in set (0.00 sec)

  11. (root:localhost:Wed Mar 15 15:01:16 2017)[dbtest]>delete from t1;

  12. Query OK, 3 rows affected (0.00 sec)


  13. (root:localhost:Wed Mar 15 15:01:51 2017)[dbtest]>create table t2(id int);

  14. Query OK, 0 rows affected (0.00 sec)


  15. (root:localhost:Wed Mar 15 15:02:03 2017)[dbtest]>insert into t2 select * from t;

  16. Query OK, 3 rows affected (0.01 sec)

  17. Records: 3  Duplicates: 0  Warnings: 0

##特别注意的是,如果值解析特定表的sql,DDL全部解析,DML过滤相应的表SQL
[root@node1 mysql]# binlog2sql  -h20.0.1.10  -P3306 -udb_user -p'abc.123' -ddbtest -t t t1 --start-file='mysql-bin.000028' --stop-file='mysql-bin.000030'
USE dbtest;
DROP TABLE `t1` /* generated by server */;
USE dbtest;
DROP TABLE `T` /* generated by server */;
USE dbtest;
DROP TABLE `T1` /* generated by server */;
USE dbtest;
DROP TABLE `t2` /* generated by server */;
USE dbtest;
CREATE TABLE `t1` (
  `id` int(11) DEFAULT NULL
);
INSERT INTO `dbtest`.`t1`(`id`) VALUES (1); #start 36062 end 36233 time 2017-03-15 11:47:45
INSERT INTO `dbtest`.`t1`(`id`) VALUES (2); #start 36062 end 36233 time 2017-03-15 11:47:45
INSERT INTO `dbtest`.`t1`(`id`) VALUES (3); #start 36062 end 36233 time 2017-03-15 11:47:45
UPDATE `dbtest`.`t1` SET `id`=11 WHERE `id`=1 LIMIT 1; #start 36625 end 36812 time 2017-03-15 11:48:12
UPDATE `dbtest`.`t1` SET `id`=11 WHERE `id`=2 LIMIT 1; #start 36625 end 36812 time 2017-03-15 11:48:12
UPDATE `dbtest`.`t1` SET `id`=11 WHERE `id`=3 LIMIT 1; #start 36625 end 36812 time 2017-03-15 11:48:12
DELETE FROM `dbtest`.`t1` WHERE `id`=11 LIMIT 1; #start 10116 end 10287 time 2017-03-15 15:01:51
DELETE FROM `dbtest`.`t1` WHERE `id`=11 LIMIT 1; #start 10116 end 10287 time 2017-03-15 15:01:51
DELETE FROM `dbtest`.`t1` WHERE `id`=11 LIMIT 1; #start 10116 end 10287 time 2017-03-15 15:01:51
USE dbtest;
create table t2(id int);
(3)数据库回滚
##通过-B或者--flashback参数解析回滚的SQL,但从解析内容看,也是只解析DML

[root@node1 mysql]# binlog2sql --flashback   -h20.0.1.10  -P3306 -udb_user -p'abc.123' -ddbtest -tt -tt1  --start-file='mysql-bin.000028' --stop-file='mysql-bin.000030'           
INSERT INTO `dbtest`.`t1`(`id`) VALUES (11); #start 10116 end 10287 time 2017-03-15 15:01:51
INSERT INTO `dbtest`.`t1`(`id`) VALUES (11); #start 10116 end 10287 time 2017-03-15 15:01:51
INSERT INTO `dbtest`.`t1`(`id`) VALUES (11); #start 10116 end 10287 time 2017-03-15 15:01:51
UPDATE `dbtest`.`t1` SET `id`=3 WHERE `id`=11 LIMIT 1; #start 36625 end 36812 time 2017-03-15 11:48:12
UPDATE `dbtest`.`t1` SET `id`=2 WHERE `id`=11 LIMIT 1; #start 36625 end 36812 time 2017-03-15 11:48:12
UPDATE `dbtest`.`t1` SET `id`=1 WHERE `id`=11 LIMIT 1; #start 36625 end 36812 time 2017-03-15 11:48:12
DELETE FROM `dbtest`.`t1` WHERE `id`=3 LIMIT 1; #start 36062 end 36233 time 2017-03-15 11:47:45
DELETE FROM `dbtest`.`t1` WHERE `id`=2 LIMIT 1; #start 36062 end 36233 time 2017-03-15 11:47:45
DELETE FROM `dbtest`.`t1` WHERE `id`=1 LIMIT 1; #start 36062 end 36233 time 2017-03-15 11:47:45
四、知识扩展
1、binlog种类以及其优缺点
参考:

(1)Statement:每一条会修改数据的sql都会记录在binlog中。
    优点:不需要记录每一行的变化,减少了binlog日志量,节约了IO,提高性能。(相比row能节约多少性能与日志量,这个取决于应用的SQL情况,正常同一条记录修改或者插入row格式所产生的日志量还小于Statement产生的日志量,但是考虑到如果带条件的update操作,以及整表删除,alter表等操作,ROW格式会产生大量日志,因此在考虑是否使用ROW格式日志时应该跟据应用的实际情况,其所产生的日志量会增加多少,以及带来的IO性能问题。)
    缺点:由于记录的只是执行语句,为了这些语句能在slave上正确运行,因此还必须记录每条语句在执行的时候的一些相关信息,以保证所有语句能在slave得到和在master端执行时候相同 的结果。另外mysql 的复制,像一些特定函数功能,slave可与master上要保持一致会有很多相关问题(如sleep()函数, last_insert_id(),以及user-defined functions(udf)会出现问题).使用以下函数的语句也无法被复制:LOAD_FILE()、UUID()、USER()、FOUND_ROWS()、SYSDATE() (除非启动时启用了 --sysdate-is-now 选项),同时在INSERT ...SELECT 会产生比 RBR 更多的行级锁
(2)Row:不记录sql语句上下文相关信息,仅保存哪条记录被修改。
    优点: binlog中可以不记录执行的sql语句的上下文相关的信息,仅需要记录那一条记录被修改成什么了。所以rowlevel的日志内容会非常清楚的记录下每一行数据修改的细节。而且不会出现某些特定情况下的存储过程,或function,以及trigger的调用和触发无法被正确复制的问题
    缺点:所有的执行的语句当记录到日志中的时候,都将以每行记录的修改来记录,这样可能会产生大量的日志内容,比如一条update语句,修改多条记录,则binlog中每一条修改都会有记录,这样造成binlog日志量会很大,特别是当执行alter table之类的语句的时候,由于表结构修改,每条记录都发生改变,那么该表每一条记录都会记录到日志中。
(3)Mixed: 是以上两种level的混合使用,一般的语句修改使用statment格式保存binlog,如一些函数,statement无法完成主从复制的操作,则采用row格式保存binlog,MySQL会根据执行的每一条具体的sql语句来区分对待记录的日志形式,也就是在Statement和Row之间选择一种.新版本的MySQL中队row level模式也被做了优化,并不是所有的修改都会以row level来记录,像遇到表结构变更的时候就会以statement模式来记录。至于update或者delete等修改数据的语句,还是会记录所有行的变更。
2、binlog相关配置参数
log_bin:设置此参数表示启用binlog功能,并指定路径名称
log_bin_index:设置此参数是指定二进制索引文件的路径与名称
binlog_do_db:此参数表示只记录指定数据库的二进制日志
binlog_ignore_db:此参数表示不记录指定的数据库的二进制日志
max_binlog_cache_size:此参数表示binlog使用的内存最大的尺寸
binlog_cache_size:此参数表示binlog使用的内存大小,可以通过状态变量binlog_cache_use和binlog_cache_disk_use来帮助测试。
binlog_cache_use:使用二进制日志缓存的事务数量
binlog_cache_disk_use:使用二进制日志缓存但超过binlog_cache_size值并使用临时文件来保存事务中的语句的事务数量
max_binlog_size:Binlog最大值,最大和默认值是1GB,该设置并不能严格控制Binlog的大小,尤其是Binlog比较靠近最大值而又遇到一个比较大事务时,为了保证事务的完整性,不可能做切换日志的动作,只能将该事务的所有SQL都记录进当前日志,直到事务结束
sync_binlog:这个参数直接影响mysql的性能和完整性。sync_binlog=0表示当事务提交后,Mysql仅仅是将binlog_cache中的数据写入Binlog文件,但不执行fsync之类的磁盘 同步指令通知文件系统将缓存刷新到磁盘,而让Filesystem自行决定什么时候来做同步,这个是性能最好的。sync_binlog=n,在进行n次事务提交以后,Mysql将执行一次fsync之类的磁盘同步指令,同志文件系统将Binlog文件缓存刷新到磁盘。Mysql中默认的设置是sync_binlog=0,即不作任何强制性的磁盘刷新指令,这时性能是最好的,但风险也是最大的。一旦系统绷Crash,在文件系统缓存中的所有Binlog信息都会丢失
binlog_format:binlog日志格式,statement/row/mixed
binlog_row_image:其是在5.6之后有的参数,FULL记录每一行的变更,minimal只记录影响后的行,前提是row模式。
3、binlog删除方法
reset master;   ##删除master的binlog
reset slave;    ##删除slave的中继日志,reset slave all
purge master logs before '2016-03-15 10:00:00';  ##删除指定日期以前的日志索引中binlog日志文件
purge master logs to 'binlog.000001';  ##删除指定日志文件的日志索引中binlog日志文件
4、mysqlbinlog解析row模式的binlog日志
mysqlbinlog --base64-output=decode-rows -v --start-datetime='2016-07-13 10:00:00' --stop-datetime='2016-07-13 10:40:00'  mysql-bin.000021
5、主从binlog和relaylog文件内容
主库:
    File: binlog.007247                   ##主库当前写入的binlog文件
    Position: 132941350                ##主库当前写入的binlog文件position
从库:
    Master_Log_File: binlog.007247                    ##从库io thread当前读取的主库binlog文件
    Read_Master_Log_Pos: 100309902               ##从库io thread当前读取的主库binlog文件的position
    Relay_Log_File: mysql-relay-bin.025950          ##从库SQL thread当前写入的relay-log文件
    Relay_Log_Pos: 29008629                           ##从库SQL thread当前写入的replay-log文件的position
    Relay_Master_Log_File: binlog.007243           ##当前执行的replay-log对应的主库binlog文件
    Exec_Master_Log_Pos: 565883515               ##当前执行的binlog文件的position
    Relay_Log_Space: 4395318217                    ##读取与执行的relay-log间隔
    cat relay-log.info                 ##relay-log执行binlog信息
    ./mysql-relay-bin.025950            ##当前SQL thread写入的relay-log文件
    29008629                    ##当前SQL thread写入的relay-log文件的position
    binlog.007243                    ##当前执行的relay-log文件对应的binlog 文件
    565883515                    ##当前执行的relay-log文件对应的binlog 文件的position
    cat master.info                 ##主从同步信息记录文件
    binlog.007247                    ##当前读取的主库binlog文件
    372008635                    ##当前读取的主库binlog文件对应的position

关于“MYSQL中Binglog分析利器binlog2sql怎么用”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。


新闻标题:MYSQL中Binglog分析利器binlog2sql怎么用
浏览路径:http://www.cdkjz.cn/article/popice.html
多年建站经验

多一份参考,总有益处

联系快上网,免费获得专属《策划方案》及报价

咨询相关问题或预约面谈,可以通过以下方式与我们联系

大客户专线   成都:13518219792   座机:028-86922220