从MySQL5.5版本以后，开始引入并行复制的机制，是MySQL的一个非常重要的特性。MySQL5.6开始支持以schema为维度的并行复制，即如果binlog row event操作的是不同的schema的对象，在确定没有DDL和foreign key依赖的情况下，就可以实现并行复制。社区也有引入以表为维度或者以记录为维度的并行复制的版本，不管是schema，table或者record，都是建立在备库slave实时解析row格式的event进行判断，保证没有冲突的情况下，进行分发来实现并行。MySQL5.7的并行复制，multi-threaded slave即MTS，期望最大化还原主库的并行度，实现方式是在binlog event中增加必要的信息，以便slave节点根据这些信息实现并行复制。MySQL 5.7的并行复制建立在group commit的基础上，所有在主库上能够完成prepared的语句表示没有数据冲突，就可以在slave节点并行复制。关于MySQL5.7的组提交，我们要看下以下的参数：
mysql> show global variables like '%group_commit%';+-----------------------------------------+-------+| Variable_name | Value |+-----------------------------------------+-------+| binlog_group_commit_sync_delay | 0 || binlog_group_commit_sync_no_delay_count | 0 |+-----------------------------------------+-------+2 rows in set (0.00 sec)
登录后复制
binlog_group_commit_sync_delay这个参数控制着日志在刷盘前日志提交要等待的时间，默认是0也就是说提交后立即刷盘，当设置为0以上的时候，就允许多个事物的日志同事一起提交刷盘，也就是我们说的组提交。组提交是并行复制的基础，我们设置这个值的大于0就代表打开了组提交的功能。最大值只能设置为1000000微妙。binlog_group_commit_sync_no_delay_count ，这个参数表示我们在binlog_group_commit_sync_delay等待时间内，如果事物数达到binlog_group_commit_sync_no_delay_count 设置的参数，就会触动一次组提交，如果这个值设为为0的话就不会有任何的影响。如果到达时间但是事物数并没有达到的话，也是会进行一次组提交操作的。组提交是个比较好玩的方式，我们根据MySQL的binlog就可以看得到组提交到底是怎么回事：
[root@mxqmongodb2 log]# mysqlbinlog mysql-bin.000005 |grep last_committed#170607 11:24:57 server id 353306 end_log_pos 876350 CRC32 0x92093332 GTID last_committed=654 sequence_number=655#170607 11:24:58 server id 353306 end_log_pos 880406 CRC32 0x344fdf71 GTID last_committed=655 sequence_number=656#170607 11:24:58 server id 353306 end_log_pos 888700 CRC32 0x4ba2b05b GTID last_committed=656 sequence_number=657#170607 11:24:58 server id 353306 end_log_pos 890675 CRC32 0xf8a8ad64 GTID last_committed=657 sequence_number=658#170607 11:24:58 server id 353306 end_log_pos 892770 CRC32 0x127f9cdd GTID last_committed=658 sequence_number=659#170607 11:24:58 server id 353306 end_log_pos 894757 CRC32 0x518abd93 GTID last_committed=659 sequence_number=660#170607 11:37:46 server id 353306 end_log_pos 895620 CRC32 0x99174f95 GTID last_committed=660 sequence_number=661#170607 11:37:51 server id 353306 end_log_pos 895897 CRC32 0xb4ffc341 GTID last_committed=661 sequence_number=662#170607 11:38:00 server id 353306 end_log_pos 896174 CRC32 0x6bcbc492 GTID last_committed=662 sequence_number=663#170607 11:39:40 server id 353306 end_log_pos 896365 CRC32 0x1fe16c7c GTID last_committed=663 sequence_number=664
登录后复制
上面是没有开启组提交的一个日志，我们可以看得到binlog当中有两个参数last_committed和sequence_number，我们可以看到，下一个事物的在主库配置好组提交以后，从库我们要加上如下的参数：last_committed永远都和上一个事物的sequence_number是相等的。这也很容易理解，因为事物是顺序提交的，这么理解起来并不奇怪。下面看一下组提交模式的事物：
[root@mxqmongodb2 log]# mysqlbinlog mysql-bin.000008|grep last_commit#170609 10:11:07 server id 353306 end_log_pos 75629 CRC32 0xd54f2604 GTID last_committed=269 sequence_number=270#170609 10:13:03 server id 353306 end_log_pos 75912 CRC32 0x43675b14 GTID last_committed=270 sequence_number=271#170609 10:13:24 server id 353306 end_log_pos 76195 CRC32 0x4f843438 GTID last_committed=270 sequence_number=272
登录后复制
我们可以看到最后两个事物的last_committed是相同的，这意味什么呢，意味着两个事物是作为一个组提交的，两个事物在perpare截断获取相同的last_committed而且相互不影响，最终是会作为一个组进行提交。这就是所谓的组提交。
#MTSslave-parallel-type=LOGICAL_CLOCKslave-parallel-workers=8 #太多的线程会增加线程间同步的开销，建议4-8个slave线程master_info_repository=TABLErelay_log_info_repository=TABLErelay_log_recovery=ONslave-parallel-type有两个之，DATABASE和LOGICAL_CLOCK，DATABASE： 默认值，兼容5.6以schema维度的并行复制， LOGICAL_CLOCK： MySQL 5.7基于组提交的并行复制机制。
登录后复制
综合来说，MySQL5.7的并行复制是基于主库的group commit和从库以下参数的配置：mysql> show variables like ‘%slave_para%’;
+------------------------+---------------+| Variable_name | Value |+------------------------+---------------+| slave_parallel_type | LOGICAL_CLOCK || slave_parallel_workers | 8 |+------------------------+---------------+2 rows in set (0.01 sec)
登录后复制
要想使用MySQL5.7的并行复制，必须首先主库设置binlog_group_commit_sync_delay大于0，然后在从库设置线程数和相关的方式。我们上面设置的是8，再从库就能看到
mysql> show processlist;+----+-------------+--------------------+------+---------+--------+--------------------------------------------------------+------------------+| Id | User | Host | db | Command | Time | State | Info |+----+-------------+--------------------+------+---------+--------+--------------------------------------------------------+------------------+| 1 | system user | | NULL | Connect | 373198 | Waiting for master to send event | NULL || 2 | system user | | NULL | Connect | 1197 | Slave has read all relay log; waiting for more updates | NULL || 4 | system user | | NULL | Connect | 4292 | Waiting for an event from Coordinator | NULL || 5 | system user | | NULL | Connect | 373198 | Waiting for an event from Coordinator | NULL || 6 | system user | | NULL | Connect | 373198 | Waiting for an event from Coordinator | NULL || 7 | system user | | NULL | Connect | 373198 | Waiting for an event from Coordinator | NULL || 8 | system user | | NULL | Connect | 373198 | Waiting for an event from Coordinator | NULL || 9 | system user | | NULL | Connect | 373198 | Waiting for an event from Coordinator | NULL || 10 | system user | | NULL | Connect | 373198 | Waiting for an event from Coordinator | NULL || 11 | system user | | NULL | Connect | 373198 | Waiting for an event from Coordinator | NULL || 16 | root | 10.103.16.34:37263 | NULL | Query | 0 | starting | show processlist |+----+-------------+--------------------+------+---------+--------+--------------------------------------------------------+------------------+
登录后复制
从库会有八个线程来等待事物处理，已经不是一个了。
以上就是MySQL5.7的组提交与并行复制实例教程的详细内容，更多请关注【创想鸟】其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至253000106@qq.com举报，一经查实，本站将立刻删除。
发布者：PHP中文网，转转请注明出处：https://www.chuangxiangniao.com/p/1620660.html
