自己动手实现Multi-Master Replication

2月 14th, 2012 | Posted by | Filed under 数据库

本文内容遵从CC版权协议, 可以随意转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明
网址: http://www.penglixun.com/tech/database/diy_multi_master_replication.html

首发:http://www.mysqlops.com/2012/02/14/diy_multi_master_replication.html

直到今天为止,MySQL依然只支持一个Slave从一个Master复制数据,虽然也可以做到一主多备(M->S),双主复制(M<->M)等架构,但是局限性依然很大。
例如最近我们遇到一个问题,需要为线上的集群搭建在线延时备份,即从线上的双主集群中再延伸出一组Slave,以防重要集群主备都宕机。按照现在MySQL的架构,要搭建这种在线备份,只能启动相同数据的实例来实现,假设线上有128个实例在提供服务,那么我就需要128个实例来做这128个实例的复制,这个管理成本是巨大的。
之前我们也有个方案,利用Perl脚本来做,参见这篇文章:点我阅读。这个方案的最大问题就是管理不方便,没有可以监控的地方,也不能随便停止脚本等等,如果完善这些部分,代码量太大,几乎就实现了一个MySQL Replication,那还不如利用MySQL的管理部分,在MySQL里实现多Master。

通过研究源码,可以发现,MySQL管理每个复制通道,都是通过一个Master_info类(sql/rpl_mi.h中定义),start_slave/change_master/stop_slave/show_slave/end_slave这些函数都需要传入一个Master_info指针,这就给我们改造多Master提供了很大的便利,基本只需要为每个复制通道传入相应的Master_info即可。

除了找到函数入口,还需要让语法支持多主,否则CHANGE MASTER TO语句并不能支持多主。我修改了sql_yacc.yy,支持如下语法:
CHANGE MASTER ‘通道标识’ TO,START SLAVE ‘通道标识’,STOP SLAVE ‘通道标识’,SHOW SLAVE ‘通道标识’ STATUS。
这样就可以支持多Master的语法了。

另一个问题是怎么保存多个通道的信息,默认单通道的情况下,用master.info存Master的信息,用relay-log.info存复制应用的情况。所以存储文件的名称也要修改,我的方式是,master.info和relay-log.info在末尾加上通道标识后缀,例如名为”plx”的通道,会存成master.info.plx和relay-log.info.plx。Relay Log因为有序列,所以增加”-通道标识”在序列前。
还有一个问题就是,操作命令都是用通道标识来确定一个通道,那么肯定需要持久化正在用的通道名称,以及建立通道后可以用通道名获取相应的Master_info。于是我新建了一个MASTER_INFO_INDEX类(在sql/rpl_mi.h),里面包含一个通道标识和Master_info指针的对应HASH表,以及持久化需要的IO_CACHE,通过master.info.index这个文件来存已有的通道标识。
命名实例如下:

-rw-rw—- 1 mysql mysql 10 Feb 13 20:40 master.info.index
-rw-rw—- 1 mysql mysql 76 Feb 14 17:27 master.info.plx1
-rw-rw—- 1 mysql mysql 71 Feb 14 17:27 master.info.plx2
-rw-rw—- 1 mysql mysql 90 Feb 14 17:25 relay-log.info.plx1
-rw-rw—- 1 mysql mysql 90 Feb 14 17:27 relay-log.info.plx2

-rw-rw—- 1 mysql mysql 160 Feb 14 10:16 mysql-relay-bin-plx1.000011
-rw-rw—- 1 mysql mysql 83765425 Feb 14 17:27 mysql-relay-bin-plx1.000012
-rw-rw—- 1 mysql mysql 106 Feb 14 10:16 mysql-relay-bin-plx1.index
-rw-rw—- 1 mysql mysql 160 Feb 14 10:16 mysql-relay-bin-plx2.000014
-rw-rw—- 1 mysql mysql 83455792 Feb 14 17:27 mysql-relay-bin-plx2.000015
-rw-rw—- 1 mysql mysql 106 Feb 14 10:16 mysql-relay-bin-plx2.index

下载Patch在此:http://bugs.mysql.com/file.php?id=18020

有了多Master以后我们可以做什么呢?下面给两个应用场景。
第一个是一备多的备份。因为我们采用的分库策略,使我们一个集群会有很多个实例,每个实例里面有几个Schema,但是肯定不会重复。例如第一个实例是1~3号Schema。第二个实例就是4~6号Schema,所以binlog应用到一起并不会冲突数据。这是我们测试的在线备份方案。
Multi-Master,多备一

第二个是跨机房的HA。为了容灾或者加速,很多公司都采用在不同机房部署数据库的方式,所以就涉及到数据同步。为了保证每个机房产生的数据不冲突,一般来说我们采用的是auto_increment_increment,auto_increment_offset这两个参数,可以控制步进。例如双MAster,我们会配置主库是奇数序列的ID,备库是偶数序列的ID,这样切换时就算有少量binlog还未应用,也不会导致数据冲突。跨机房以后,例如两个机房都有双Master,两个机房之间数据又需要同步,以前需要借助第三方脚本或者程序,有了多Master,按如下方式搭建,设置步进为4,就可以保证每个机房有双MAster HA,机房之间数据又可以同步。
Multi-Master,跨机房HA

已知缺陷:
1. 我还没做reset slave ‘通道标识’命令,就是复制通道还不能重置,只能CHANGE MASTER来改,不是做不了,因为暂时我们没这个需求,等稳定了再考虑这个细节。
2. 数据冲突没有检测。这个是无法解决的,我只是简单的调用了启动Slave的函数来启动多个复制线程,binlog取到本地应用,有数据冲突是不能事先检测的,执行到了才会报出来,可以设置skip-slave-error,对全局有效。其他复制相关的也是全局有效。

最新版patch
已经修改了缺陷1,可以reset slave了。

  1. seagen
    2月 14th, 201223:06

    第一个明白了,mutil-master_to_single-slave,可以减少单机上实例个数,便于管理;
    第二个真没怎么看明白,是不是太复杂啦,看那个图我就有点晕了。

    (P.S.:邮件列表的英文介绍,说实话,看完后我都不知道这个会用到什么地方去。)

    [回复]

    P.Linux 回复:

    当你有跨机房相互同步,并且每个机房都有写入的时候,你就用得上了。淘宝、阿里巴巴都有这场景

    [回复]

  2. 硬豆瓣
    2月 16th, 201215:51

    第二个设置自增的步长和偏移量,只能保证插入时主键不会冲突,但update时如何区分呢?

    [回复]

    P.Linux 回复:

    这就靠业务了,我们的场景是,两个IDC肯定不会写ID冲突的数据。所以我说这个有场景的,双Master两边写也有问题额。

    [回复]

  3. 无用的人
    1月 12th, 201318:34

    这个patch适用于mysql 5.0.92吗?

    [回复]

  4. P.Linux
    1月 14th, 201300:26

    @无用的人
    5.0我还没试过,我只在5.1/5.5上测试了,另外MariaDB 10.0直接集成了我的补丁,可以直接使用。

    [回复]

    无用的人 回复:

    @P.Linux,
    MariaDB 10.0 和 mysql是两回事吗?
    装了MariaDB就不需要装mysql了吗?

    [回复]

    P.Linux 回复:

    @无用的人, MariaDB是MYSQL的一个分支,完全兼容,MAriaDB是MySQL之父离开Oracle后自己创立的完全开源免费的MySQL分支

    [回复]

  5. dimen
    5月 27th, 201315:43

    @P.Linux 请问5.5你使用的哪个版本,我用5.5.19,patch 不成功.错误如下
    [root@localhost mysql-5.5.19]# patch -Np1 -i ../5.1_mutil_master_repl.patch
    patching file sql/sql_lex.h
    Hunk #1 FAILED at 216.
    1 out of 1 hunk FAILED — saving rejects to file sql/sql_lex.h.rej
    patching file sql/sql_yacc.yy
    Hunk #1 FAILED at 1724.
    Hunk #2 succeeded at 6818 (offset 555 lines).
    Hunk #4 succeeded at 6838 (offset 555 lines).
    Hunk #6 FAILED at 10425.
    Hunk #7 succeeded at 11433 with fuzz 1 (offset 757 lines).
    2 out of 7 hunks FAILED — saving rejects to file sql/sql_yacc.yy.rej
    patching file sql/sql_repl.cc
    Hunk #1 FAILED at 1081.
    Hunk #2 FAILED at 1207.
    2 out of 2 hunks FAILED — saving rejects to file sql/sql_repl.cc.rej
    patching file sql/sql_parse.cc
    Hunk #1 succeeded at 76 with fuzz 2 (offset 58 lines).
    Hunk #2 FAILED at 2568.
    Hunk #3 FAILED at 2585.
    Hunk #4 FAILED at 2599.
    Hunk #5 FAILED at 2980.
    Hunk #6 FAILED at 3020.
    Hunk #7 FAILED at 7237.
    6 out of 7 hunks FAILED — saving rejects to file sql/sql_parse.cc.rej
    patching file sql/rpl_rli.cc
    Hunk #1 succeeded at 197 (offset 17 lines).
    patching file sql/rpl_mi.h
    Hunk #1 succeeded at 69 (offset 1 line).
    Hunk #2 FAILED at 115.
    1 out of 2 hunks FAILED — saving rejects to file sql/rpl_mi.h.rej
    patching file sql/rpl_mi.cc
    Hunk #1 succeeded at 44 with fuzz 2 (offset 6 lines).
    Hunk #2 succeeded at 554 (offset 124 lines).
    patching file sql/slave.h
    Hunk #1 FAILED at 34.
    Hunk #2 succeeded at 217 with fuzz 1 (offset 16 lines).
    1 out of 2 hunks FAILED — saving rejects to file sql/slave.h.rej
    patching file sql/slave.cc
    Hunk #1 succeeded at 72 (offset 13 lines).
    Hunk #2 FAILED at 249.
    Hunk #3 FAILED at 723.
    2 out of 3 hunks FAILED — saving rejects to file sql/slave.cc.rej

    [回复]

    P.Linux 回复:

    PErcona 5.5.18。少量冲突可以看rej文件自己调整一下

    [回复]

  6. 虎子
    7月 1st, 201311:39

    你好,我测试pach 发现 ,change master to ‘t1’没有 问题, 再change master to ‘t2’无法 成功 ,示通道冲突 。这个是什么原因 。percona 5.5.18 打的最新的patch http://mysql.taobao.org/images/3/30/5.5.18_multi_master_repl.diff

    130701 11:30:26 [Note] [Multi-Master] Add new Master_info ‘t1’ To Hash table.
    130701 11:30:26 [Note] [Multi-Master] Sign:t1, Master_info:master.info.t1, Relay_info:/data/mysql/3308/logs/relaylog/relay-log.info.t1
    130701 11:30:26 [Note] ‘CHANGE MASTER TO executed’. Previous state master_host=”, master_port=’3306′, master_log_file=”, master_log_pos=’4′. New state master_host=’127.0.0.1′, master_port=’3306′, master_log_file=’mysql-bin.000004′, master_log_pos=’267′.
    130701 11:30:34 [ERROR] [Multi-Master] New Master_info ‘t2’ is duplicated with Master_info ‘t1’
    130701 11:31:07 [ERROR] [Multi-Master] New Master_info ‘3307’ is duplicated with Master_info ‘t1’

    [回复]