MySQL 異なるストレージエンジン間のレプリケーションをスムーズに行う


どもです。InfiiDBの最終章は、色々とトラブルがあって検証中です。もすこしで解決しそうなので、その時になったらまた記載させていただきます。ごめんなさり・・。今回は、そのトラブルの一つであった、「異なるストレージエンジン間のレプリケーション」の部分の話をさせてください。

  • 異なるストレージエンジン間のレプリケーションって何?
    つまり以下のような構成のレプリケーションのことです。

    ちょっと前回の「InfiniDB でリアルタイムDWHを作る PART3 ~驚速DWHの構築」のBLACKBOXの部分の話の種明かしをしてしまうと、リアルタイムのしくみは、このフェデレーションによる透過的なテーブル更新を利用してDWHに書き込んでしまえ!という話だったのです。実は今のところ、この試みはさまざまな問題があり、うまいこと話が進まない状態なので今現在は、ちゃんと説明できる状態にはなっておりません。すみません。それはさておき、上記の図は
    InnoDBのTAB1 (MASTER)→ FederationのTAB1 (SLAVE)→MyISAMのTABとう連鎖的なデータ更新を実現している図です。基本的(INSERT,UPDATE,DELETE)なことであれば、これで問題なく動きます。しかも速い!です。じゃあここで説明する、基本的なこと以外って何?ですが、InnoDBのTAB1 (MASTER)のTAB1の定義が変更になった場合のことを言います。通常、InnoDB→InnoDBのレプリケーションであれば定義の変更も問題なく行われます。うーそうですね。たとえば、schema1(MASTER)のTAB1にカラムが1つ追加になった場合などですかね・・。
    MySQLの良いところとしては、データの変更(DML)だけでなく定義の変更(DDL)もレプリケーションしてくれるというところだと思います。しかし、今回のように、InnoDB->Federationのレプリケーションの少し変わった構成でのレプリケーションなどを行った場合は、その便利な機能が災いします。・・で結果からいうとレプリケーションエラーになります。理由は、「Feaderation」ストレージエンジンは、ALTER TABLE等の定義変更をサポートしていないからです。Feaderationの定義変更は、基本、Drop & Create です。そういう仕様です。これはこれでしょうがない・・。
  • エラーでレプリケーションを止めないために
    このままの状態で運用のラインに乗せた場合、定義の変更の作業が入ったと同時に必ずレプリケーションエラーが発生してしまいます。ん?スレーブ側のレプリケーションを止めて(stop slave)、スレーブ→マスターの順で定義を変更すれば問題ないんじゃないの?んー無理無理、スレーブ側を再会(start slave)したと同時にマスターの定義変更がレプリケーションしてくるので結局レプリケーションエラーになってしまうのです。
  • 結局エラーになるんじゃん?
    はい、残念ながら結局エラーになるのです・・。
    もうエラーになるのがわかった以上、そのエラーはスルーしてレプリケーションを続けてくれ!という半ばやけくそ(でもないけど)な気分になってきます。
  • 結局どうするの?
    そのエラーがきたら無視してレプリケーションを続行させればいいのです。どうすればいいのか?

    --slave-skip-errors
    

    を利用すればいいのです ^^; 荒業ではありますが、定義の変更毎にいちいち対応するよりましです。ちなみに、oracle 非推奨です
    また、上記図の話に戻りますが、マスターサーバの定義が変更になった場合、通常ではスレーブ側では以下のような状態になります。下記にて説明しているのは、innodbのストレージエンジンを利用したusersテーブル(MASTER)から、FEDERATEDストレージエンジンのusers(SLAVE)のレプリケーションの環境から、カラムを追加したときの挙動について説明しております。▼これがマスター側の設定

    mysql> show create table users;
    +-------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
    | Table | Create Table |
    +-------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
    | users | CREATE TABLE <code>users</code> (
    <code>id</code> int(11) unsigned NOT NULL AUTO_INCREMENT,
    <code>user_name</code> varchar(100) NOT NULL COMMENT 'ユーザー名',
    <code>user_mail</code> varchar(100) NOT NULL COMMENT 'メールアドレス',
    <code>last_update</code> datetime NOT NULL COMMENT '最終更新日',
    PRIMARY KEY (<code>id</code>)
    ) ENGINE=InnoDB AUTO_INCREMENT=7 DEFAULT CHARSET=utf8 |
    +-------+-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
    1 row in set (0.00 sec)

    ▼これがスレーブ側の設定

    mysql&gt; show create table users;
    +-------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
    | Table | Create Table |
    +-------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
    | users | CREATE TABLE <code>users</code> (
    <code>id</code> int(11) unsigned NOT NULL AUTO_INCREMENT,
    <code>user_name</code> varchar(100) NOT NULL COMMENT 'ユーザー名',
    <code>user_mail</code> varchar(100) NOT NULL COMMENT 'メールアドレス',
    <code>last_update</code> datetime NOT NULL COMMENT '最終更新日',
    PRIMARY KEY (<code>id</code>)
    ) ENGINE=FEDERATED DEFAULT CHARSET=utf8 CONNECTION='s' |
    +-------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
    1 row in set (0.00 sec)
    
    [/shqll]
    
    ▼上記の構成で、マスター側のテーブルにcol1というカラムを追加する
    [shell]
    mysql&gt; alter table users add column col1 char(10);
    Query OK, 6 rows affected (0.23 sec)
    Records: 6 Duplicates: 0 Warnings: 0
    
    mysql&gt; show create table users;
    +-------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
    | Table | Create Table |
    +-------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
    | users | CREATE TABLE <code>users</code> (
    <code>id</code> int(11) unsigned NOT NULL AUTO_INCREMENT,
    <code>user_name</code> varchar(100) NOT NULL COMMENT 'ユーザー名',
    <code>user_mail</code> varchar(100) NOT NULL COMMENT 'メールアドレス',
    <code>last_update</code> datetime NOT NULL COMMENT '最終更新日',
    <code>col1</code> char(10) DEFAULT NULL,
    PRIMARY KEY (<code>id</code>)
    ) ENGINE=InnoDB AUTO_INCREMENT=7 DEFAULT CHARSET=utf8 |
    +-------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
    1 row in set (0.00 sec)
    

    ▼この状態でスレーブの状態を確認してみます。当然エラーになります。ここで、エラーNOを覚えておいてください。Last_SQL_Errno:  1032

    mysql> show slave status\G
    
    *************************** 1. row ***************************
    Slave_IO_State: Waiting for master to send event
    Master_Host: 192.168.0.42
    Master_User: slave
    Master_Port: 3306
    Connect_Retry: 60
    Master_Log_File: mysql-bin.000006
    Read_Master_Log_Pos: 542
    Relay_Log_File: relay-bin.000006
    Relay_Log_Pos: 474
    Relay_Master_Log_File: mysql-bin.000006
    Slave_IO_Running: Yes
    Slave_SQL_Running: No
    Replicate_Do_DB:
    Replicate_Ignore_DB:
    Replicate_Do_Table:
    Replicate_Ignore_Table:
    Replicate_Wild_Do_Table:
    Replicate_Wild_Ignore_Table:
    Last_Errno: 1031
    Last_Error: Error 'Table storage engine for 'users' doesn't have this option' on query. Default database: 'sqorder'. Query: 'alter table users add column col1 char(10)'
    Skip_Counter: 0
    Exec_Master_Log_Pos: 434
    Relay_Log_Space: 878
    Until_Condition: None
    Until_Log_File:
    Until_Log_Pos: 0
    Master_SSL_Allowed: No
    Master_SSL_CA_File:
    Master_SSL_CA_Path:
    Master_SSL_Cert:
    Master_SSL_Cipher:
    Master_SSL_Key:
    Seconds_Behind_Master: NULL
    Master_SSL_Verify_Server_Cert: No
    Last_IO_Errno: 0
    Last_IO_Error:
    Last_SQL_Errno: 1031
    Last_SQL_Error: Error 'Table storage engine for 'users' doesn't have this option' on query. Default database: 'sqorder'. Query: 'alter table users add column col1 char(10)'
    Replicate_Ignore_Server_Ids:
    Master_Server_Id: 201
    1 row in set (0.00 sec)
    
    

    ▼ SLAVEのMySQLに以下の設定を追記して再度SLAVEを開始します。

    
    # vi /etc/my.cnf
    ---
    # 下記のエラーコードはskipする
    slave-skip-errors=1032,1031
    
    

    ▼レプリケーションが稼動している状態で、マスターに対して、再度alter table 文を実行します。尚、先ほどの検証で、col1というカラムを追加してしまいましたので、今回はcol1を削除してみます。目的は、SLAVE側でエラーをSKIPするところの部分なので、replicationがどーたらこうたらとかFEDERATIONがあ^でもないこーでもないという話は割愛いたします。
    ▼今回は以下のSQLでFEDERATON表である、userのSLAVEがエラーにならないことを確認する作業です

    mysql> alter table users drop col1 ;
    

    ▼結果、SLAVEのSTATUSはエラーになっていないのがわかるかと思います。

    
    mysql> show slave status\G
    *************************** 1. row ***************************
    Slave_IO_State: Waiting for master to send event
    Master_Host: 192.168.0.42
    Master_User: slave
    Master_Port: 3306
    Connect_Retry: 60
    Master_Log_File: mysql-bin.000006
    Read_Master_Log_Pos: 836
    Relay_Log_File: relay-bin.000012
    Relay_Log_Pos: 346
    Relay_Master_Log_File: mysql-bin.000006
    Slave_IO_Running: Yes
    Slave_SQL_Running: Yes
    Replicate_Do_DB:
    Replicate_Ignore_DB:
    Replicate_Do_Table:
    Replicate_Ignore_Table:
    Replicate_Wild_Do_Table:
    Replicate_Wild_Ignore_Table:
    Last_Errno: 0
    Last_Error:
    Skip_Counter: 0
    Exec_Master_Log_Pos: 836
    Relay_Log_Space: 496
    Until_Condition: None
    Until_Log_File:
    Until_Log_Pos: 0
    Master_SSL_Allowed: No
    Master_SSL_CA_File:
    Master_SSL_CA_Path:
    Master_SSL_Cert:
    Master_SSL_Cipher:
    Master_SSL_Key:
    Seconds_Behind_Master: 0
    Master_SSL_Verify_Server_Cert: No
    Last_IO_Errno: 0
    Last_IO_Error:
    Last_SQL_Errno: 0
    Last_SQL_Error:
    Replicate_Ignore_Server_Ids:
    Master_Server_Id: 201
    1 row in set (0.00 sec)
    

    どうでしょうか?

     

     

MySQL 異なるストレージエンジン間のレプリケーションをスムーズに行う” への1件のフィードバック

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です