Canal HA原理及安裝

一、??????????????Canal HA原理

Canal一般用于實(shí)時(shí)同步數(shù)據(jù)場(chǎng)景，那么對(duì)于實(shí)時(shí)場(chǎng)景HA顯得尤為重要，Canal支持HA搭建，canal的HA分為兩部分，canal server和canal client分別有對(duì)應(yīng)的HA實(shí)現(xiàn)。大數(shù)據(jù)中使用Canal同步數(shù)據(jù)一般同步到Kafka中，這里Kafka相當(dāng)于是Canal Client，Kafka集群自帶HA屬性，所以這里我們只關(guān)注Canal Server HA。Canal Server HA主要是為了減少對(duì)mysql dump的請(qǐng)求，不同server上的instance（不同server上的相同instance）要求同一時(shí)間只能有一個(gè)處于running，其他的處于standby狀態(tài)（standby是instance的狀態(tài)），Canal Server HA原理如下：

Canal HA 保證步驟如下：

【資料圖】

canal server要啟動(dòng)某個(gè)canal instance時(shí)都先向zookeeper_進(jìn)行一次嘗試啟動(dòng)判斷。創(chuàng)建zookeeper節(jié)點(diǎn)成功后，對(duì)應(yīng)的canal server就啟動(dòng)對(duì)應(yīng)的canal instance，沒有創(chuàng)建成功的canal instance就會(huì)處于standby狀態(tài)。一旦zookeeper發(fā)現(xiàn)canal server A創(chuàng)建的instance節(jié)點(diǎn)消失后，立即通知其他的canal server再次進(jìn)行步驟1的操作，重新選出一個(gè)canal server啟動(dòng)instance。canal client每次進(jìn)行connect時(shí)，會(huì)首先向zookeeper詢問當(dāng)前是誰啟動(dòng)了canal instance，然后和其建立鏈接，一旦鏈接不可用，會(huì)重新嘗試connect。

二、??????????????Canal HA 搭建

1、機(jī)器準(zhǔn)備

運(yùn)行Canal的機(jī)器：node3,node4

zookeeper地址:node3:2181,node4:2181,node5:2181

mysql地址：node2:3306

2、在node3，node4上單獨(dú)部署配置Canal

將Canal安裝包上傳到node3，node4，并解壓到“/software/canal”目錄下，修改“/software/canal/conf”下的canal.properties文件，加上zookeeper配置

#指定zookeeper集群地址canal.zkServers = node3:2181,node4:2181,node5:2181#配置spring的xml配置文件canal.instance.global.spring.xml = classpath:spring/default-instance.xml#canal將數(shù)據(jù)寫入Kafka，可配：tcp, kafka, RocketMQ，tcp就是使用canal代碼接收canal.serverMode = kafka#配置canal寫入Kafka地址canal.mq.servers = node1:9092,node2:9092,node3:9092

復(fù)制

進(jìn)入“/software/canal/conf/example”目錄，修改“instance.properties”文件：

#另外一臺(tái)機(jī)器改成123457，保證slaveId不重復(fù)即可canal.instance.mysql.slaveId=123456#配置mysql master 節(jié)點(diǎn)及端口canal.instance.master.address=node2:3306#配置連接mysql的用戶名和密碼，就是前面復(fù)制權(quán)限的用戶名和密碼canal.instance.dbUsername=canalcanal.instance.dbPassword=canal#配置Canal將數(shù)據(jù)導(dǎo)入到Kafka topiccanal.mq.topic=canal_topic

復(fù)制

注意：兩臺(tái)機(jī)器上的instance目錄的名字需要保證完全一致，HA模式是依賴于instance name進(jìn)行管理，同時(shí)必須都選擇default-instance.xml配置，此配置中才有關(guān)于zookeeper的設(shè)置信息。

3、啟動(dòng)兩臺(tái)機(jī)器的Canal

#在node3上啟動(dòng)Canal[root@node3 ~]# cd /software/canal/bin[root@node3 bin]# ./startup.sh#在node4上啟動(dòng)Canal[root@node4 ~]# cd /software/canal/bin[root@node4 bin]# ./startup.sh

復(fù)制

啟動(dòng)完成后，可以查看zookeeper中對(duì)應(yīng)的路徑信息：

三、Canal HA 測(cè)試

默認(rèn)搭建好的Canal HA 后可以通過查看Zookeeper中的“/otter/canal/destinations/examples/running”來查看Active的Canal節(jié)點(diǎn)：

測(cè)試Canal HA 如下：

1、向Mysql中“testdb.person”表中寫入數(shù)據(jù)

mysql> insert into person values (4,"s1",21),(5,"s2",22),(6,"s3",23);

復(fù)制

可以觀察到Kafka canal_topic中有監(jiān)控到的數(shù)據(jù)如下：

{"data":[{"id":"4","name":"s1","age":"21"},{"id":"5","name":"s2","age":"22"},{"id":"6","name":"s3","age":"23"}],"database":"testdb","es":1618849974000,"id":2,"isDdl":false,"mysqlType":{"id":"int","name":"varchar(255)","age":"int"},"old":null,"pkNames":null,"sql":"","sqlType":{"id":4,"name":12,"age":4},"table":"person","ts":1618849975203,"type":"INSERT"}

復(fù)制

2、關(guān)閉active Canal Server節(jié)點(diǎn)，繼續(xù)向Mysql表中寫入數(shù)據(jù)

關(guān)閉node3 Canal Server：

[root@node3 ~]# cd /software/canal/bin[root@node3 bin]# ./stop.sh

復(fù)制

查看zookeeper “/otter/canal/destinations/examples/running”路徑Active的Canal節(jié)點(diǎn)：

繼續(xù)向MySQL中“testdb.person”表中寫入數(shù)據(jù)：

mysql> insert into person values (7,"x1",24),(8,"x2",25),(9,"x3",26);

復(fù)制

可以觀察寫入到Kafka “canal_topic”中數(shù)據(jù)如下：

{"data":[{"id":"7","name":"x1","age":"24"},{"id":"8","name":"x2","age":"25"},{"id":"9","name":"x3","age":"26"}],"database":"testdb","es":1618850233000,"id":2,"isDdl":false,"mysqlType":{"id":"int","name":"varchar(255)","age":"int"},"old":null,"pkNames":null,"sql":"","sqlType":{"id":4,"name":12,"age":4},"table":"person","ts":1618850234136,"type":"INSERT"}

復(fù)制

經(jīng)過以上測(cè)試，Canal HA 生效。

注意：經(jīng)過測(cè)試Canal HA 在使用zookeeper存儲(chǔ)binlog position時(shí)，當(dāng)有一個(gè)Canal Server重新啟動(dòng)并切換成Active節(jié)點(diǎn)時(shí)，每次都會(huì)重復(fù)讀取最后一條數(shù)據(jù)。使用非HA 本地存儲(chǔ)binlog position時(shí)，沒有此問題。