首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >利用 Canal 将 MySQL 数据实时同步至 Kafka 极简教程

利用 Canal 将 MySQL 数据实时同步至 Kafka 极简教程

作者头像
披头
发布于 2023-09-10 07:49:53
发布于 2023-09-10 07:49:53
2.5K00
代码可运行
举报
文章被收录于专栏:datartisandatartisan
运行总次数:0
代码可运行

笔者使用 Canal 将 MySQL 数据同步Kafka 时遇到了不少坑,还好最后终于成功了,这里分享一下极简教程,希望能帮到你。

使用版本说明:

组件

版本号

Zookeeper

3.5.7

Kafka

2.12-3.0.0

Canal

1.1.4

MySQL

5.7.16

1.前置条件

  • 已部署 Zookeeper 集群(建议配置环境变量)
  • 已部署 Kafka 集群(建议配置环境变量)

2.设置 MySQL

开启 binlog

开启 binlog 写入功能,并将 binlog-format 设置为 ROW 模式

[omc@hadoop102 ~]$ sudo vi /etc/my.cnf ,在[mysqld] 下方添加如下内容

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[mysqld]
log-bin=mysql-bin # 开启 binlog
binlog-format=ROW # 选择 ROW 模式
server_id=1 # 配置 MySQL replaction 需要定义,不要和 canal 的 slaveId 重复

完成设置后,重启 MySQL

设置 MySQL 专用账户用于授权 Canal

登录 MySQL 执行如下命令:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
CREATE USER canal IDENTIFIED BY 'canal';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
-- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;
FLUSH PRIVILEGES;

3.安装 Canal-1.1.4

可以在 Linux 机器上使用如下命令下载:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
wget https://github.com/alibaba/canal/releases/download/canal-1.1.14/canal.deployer-1.1.14.tar.gz

也可以通过 Windows 浏览器访问页面 https://github.com/alibaba/canal/releases/tag/canal-1.1.4 下载,只需要下载 canal.deployer-1.1.14.tar.gz 即可。依次创建目录:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[omc@hadoop102 ~]$ cd /opt/module
[omc@hadoop102 module]$ mkdir canal-1.1.4
[omc@hadoop102 module]$ cd canal-1.1.4
[omc@hadoop102 canal-1.1.4]$ mkdir canal.deployer-1.1.4

解压缩下载好的 tar 包:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[omc@hadoop102 software]$ tar -zxvf canal.deployer-1.1.4.tar.gz -C /opt/module/canal-1.1.4/canal.deployer-1.1.4

4.修改配置文件

修改 canal.properties

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[omc@hadoop102 ~]$ cd /opt/module/canal-1.1.4/canal.deployer-1.1.4/conf
[omc@hadoop102 conf]$ vi canal.properties

修改如下内容即可:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 7 canal.register.ip = 192.168.10.102
 # 这里的 IP 替换成你的 Canal 服务器 IP
20 canal.zkServers =192.168.10.102,192.168.10.103,192.168.10.104
# 这里的 IP 替换成你的 Zookeeper 集群 IP
25 canal.serverMode = kafka
# tcp 修改为 kafka
116 canal.mq.servers = hadoop102:9092,hadoop103:9092,hadoop104:9092
# 这里的 hostname 替换成你的 Kafka 集群 IP 或者是 Kafka 集群的 hostname
110 #canal.instance.global.spring.xml = classpath:spring/file-instance.xml
111 canal.instance.global.spring.xml = classpath:spring/default-instance.xml
# 将 110 行 file-instance.xml 注释掉,将 111default-instance.xml 解除注释

注:

  1. 首列的数字为行序号,便于你进行查找
  2. canal_local.properties 对应于本地模式设置,我们这里讲的是集群模式,无需改动。

修改 instance.properties

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[omc@hadoop102 ~]$ cd /opt/module/canal-1.1.4/canal.deployer-1.1.4/conf/example
[omc@hadoop102 example]$ vi instance.properties

修改如下内容即可:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
 3 canal.instance.mysql.slaveId=1234
 9 canal.instance.master.address=192.168.10.104:3306
 # 这里的 IP 替换为你的 MySQL 服务器(数据源)地址
32 # username/password
33 canal.instance.dbUsername=canal
34 canal.instance.dbPassword=canal
# 这里的用户名密码要和前面授权 Canal 的 MySQL 专用账户设置一致

5.测试验证

首先要依次启动 Zookeeper 和 Kafka,然后启动 Canal

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[omc@hadoop102 ~]$ cd /opt/module/canal-1.1.4/canal.deployer-1.1.4/bin
[omc@hadoop102 bin]$ sh startup.sh

输入 Kafka 监听命令,监听 topic:example,默认情况 canal 任务生成的 topic 默认名称是 example,这种情况下,所有的 MySQL 数据库变更都会显示在这个 topic,如果想使用动态 topic,需要调整 canal.properties,相关内容以后再分享。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[omc@hadoop102 ~]$ kafka-console-consumer.sh --bootstrap-server hadoop102:9092,hadoop103:9092,hadoop104:9092 --from-beginning --topic example

操作 MySQL

首先登录MySQL

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[omc@hadoop104 ~]$ mysql -uroot -p123456

登录之后,创建数据库 test01,选中 test01,创建数据表 canaltest,并进行插入和更新操作。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
CREATE DATABASE test01;

USE test01;

CREATE TABLE canaltest
(id INT,
code VARCHAR(10),
updatetime timestamp(3) NOT NULL DEFAULT CURRENT_TIMESTAMP(3) ON UPDATE CURRENT_TIMESTAMP(3));


INSERT INTO canaltest (id,code) VALUES (1,'Canal');

INSERT INTO canaltest (id,code) VALUES (2,'Flume');

UPDATE canaltest SET code='Flink' WHERE id=2;

验证结果

操作完成后,再去看 Kafka 监控 topic 情况,发现 Kafka 接收到了所有的 DDL DML 命令。参考下图可以对比出,Canal 将 MySQL 数据实时同步至 Kafka,数据延迟约 300ms。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2023-08-30,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 数据科学探究 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
[oeasy]python0072_自定义小动物变色_cowsay_color_boxes_asciiart
修改颜色回忆上次内容上次搞的是 颜色 前景颜色 总共有 7 种基本色还有什么 好玩的 么?🤔可以 给小动物 上色 吗?🤔配合先将cowsay结果 输出重定向sudo apt install cowsaycowsay -f turtle "oeasy" > t.py 我想要 更换 所说话的颜色可能么? 先输出重定向 然后封进三引号再加上开头和结尾修改文件解决 行尾转义字符(escaping character)\ :%s/\\$/\\\\/g : 执行命令行模式% 对所有行执行命令s 执行的是替换命令\\
oeasy
2023/02/04
3250
[oeasy]python0072_自定义小动物变色_cowsay_color_boxes_asciiart
Python 基础(四):字符串
在之前的文章【Python 基础(一):入门必备知识】中我们已经提到了:字符串是 Python 的一种数据类型,它可以通过单引号 '、双引号 "、三引号 ''' 或 """ 来定义,本节我们来详细介绍一下。
Python小二
2020/08/17
4590
[oeasy]python0052_ raw格式字符串_单引号_双引号_反引号_ 退格键
转义字符回忆上次内容最近玩的是\n、\r 之外的转义序列 \a是 ␇ (bell)\t是 水平制表符\v是 换行不回车通过 16 进制数值转义 \xhh把(hh)16 进制对应的 ascii 字符输出通过 8 进制数值转义 \ooo把(nnn)8 进制对应的 ascii 字符输出这次加了 转义输出 反斜杠本身 \\ 输出 \总是转义 还是挺麻烦的能否直接输出原样输出呢?搜索帮助找到raw stringrawr的含义是 raw原始原样如果是有r就原样输出为什么raw就是原始原样呢?raw生的食物 没有
oeasy
2023/01/17
1.9K0
[oeasy]python0052_ raw格式字符串_单引号_双引号_反引号_ 退格键
[oeasy]python0079_控制序列_光标位置设置_ESC_逃逸字符_CSI
| 转义序列 | 中文含义 | 英文含义 | ascii序号 | | --- | --- | --- | --- | | \b | 退格 | backspace | 8 | | \t | 制表键 | tab | 9 | | \n | 换行 | line feed | 10 | | \r | 回车 | carriage | 13 |
oeasy
2023/08/05
3580
[oeasy]python0079_控制序列_光标位置设置_ESC_逃逸字符_CSI
[oeasy]python0074_修改字体背景颜色_background_color_背景色
修改背景色回忆上次内容上次将asciiart和颜色一起来玩 7 种基本色变化多端不过到目前为止 改的 都是前景色背景色可以修改吗?重温参数具体动手试试print("\033[40moeasy\33[0mgo")print("\033[41moeasy\33[0mgo")print("\033[42moeasy\33[0mgo")print("\033[43moeasy\33[0mgo")print("\033[44moeasy\33[0mgo")print("\033[45moeasy\33[0mgo"
oeasy
2023/02/07
1.2K0
[oeasy]python0074_修改字体背景颜色_background_color_背景色
Python 字符串
字符串 转义字符串 转义字符 描述 (在行尾时) 续行符 \ 反斜杠符号 ' 单引号 " 双引号 \a 响铃 \b 退格(Backspace) \e 转义 \000 空 \n 换行 \v 纵向制表符 \t 横向制表符 \r 回车 \f 换页 \oyy 八进制数,yy代表的字符,例如:\o12代表换行 \xyy 十六进制数,yy代表的字符,例如:\x0a代表换行 \other 其它的字符以普通格式输出
hankleo
2020/09/16
3820
[oeasy]python0072_修改字体前景颜色_foreground_color_font
修改颜色回忆上次内容m 可以改变字体样式 0-9 之间设置的都是字体效果0 重置为默认1 变亮2 变暗3 斜体4 下划线5 慢闪6 快闪7 前景背景互换8 隐藏9 中划线叠加效果 \33[1;3moeasy;分割取消效果 21 取消 122 取消 223 取消 3一直到 290 是全部取消,回到默认最后发现 真的可以 设置颜色???👁颜色是重要的不同颜色 可以提示出 信息重要性的级别颜色本身也是信息 OFF_INT = 2147483647ERROR_INT = 40000WARN_INT = 3000
oeasy
2023/02/03
8930
[oeasy]python0072_修改字体前景颜色_foreground_color_font
[oeasy]python0037_字符画艺术_asciiview_自制小动物_imagick_asciiart
​牛说(cowsay)回忆上次内容 我们狂飙了一路 从用shell 直接执行 python程序到用shell 循环执行 python程序 循环体中 把 python的 输出结果 用管道 交给了 figlet 把 figlet的 输出结果 用管道 交给了 cowsay 把 cowsay的 输出结果 用管道 交给了 lolcat 最后 提权 直接运行 shell程序 这一路真的好远啊! python3 是脚本解释器shell 也是脚本解释器 其实我们是 在shell中 利用 python3的 输出结果用she
oeasy
2023/01/03
9490
[oeasy]python0037_字符画艺术_asciiview_自制小动物_imagick_asciiart
[oeasy]python0066_控制序列_光标位置设置_ESC_逃逸字符_CSI
光标位置回忆上次内容上次讲了 三引号的输出三引号中 回车和引号 都会 被原样输出\ 还是需要从 \\转义黑暗森林 快被摸排清了 还有哪个 转义序列 没 研究过吗?🤔\e是 干什么的?🤔回忆转义转义转义 转化含义\反斜杠(backslash)加了之后字符就不是原来的意思了 转义么转义转义 转化含义所以\反斜杠这个字符 也叫做转义字符Escape character\b 这两个字符的序列算是一个转义序列 Escape sequence\ 这个转义字符会让 \b转义序列 转义为 Backspace 这个含义B
oeasy
2023/01/29
1.6K0
[oeasy]python0066_控制序列_光标位置设置_ESC_逃逸字符_CSI
[oeasy]python0053_ 续行符_line_continuation_python行尾续行
续行符与三引号回忆上次内容上次还是转义序列类型英文符号\abell响铃\bbackspace退格\ttab水平制表符\vvertical tab垂直制表符换行不回车\\backslash反斜杠\"double quote双引号\’single quote单引号\xhh具体字符输出(hh)16 进制对应的ascii 字符\ooo具体字符输出(nnn)8 进制对应的ascii 字符黑暗森林已经渐渐清晰上图中提到的续行符 line continuation character 是哪个字符呢?神奇的-反斜杠\\是
oeasy
2023/01/18
1.2K0
[oeasy]python0053_ 续行符_line_continuation_python行尾续行
[oeasy]python0071_字符串类型_str_string_下标运算符_中括号
oeasy
2023/07/07
1850
[oeasy]python0071_字符串类型_str_string_下标运算符_中括号
[oeasy]python0040_换行与回车的不同_通用换行符_universal_newlines
换行回车回忆上次内容区分概念 terminal终端 主机网络中 最终的 端点TeleTYpewriter 电传打印机终端硬件shell 终端硬件基础上的 软件壳子Console 控制台 主机旁边 的 控制面板存储文件 的 时候 我 在文件里 打了回车\n系统 将0x0a存入字节 进文件换行 自动就有 回车功能 了吗?🤔回忆一下 被忽略的 \r\r \r 也是一个 ascii字符 \是 转义字符\r是 转义序列 什么是 转义 呢? 转义转义 转化含义把原来 两个字符 : \和r转化为 \r 这样一个字符 没错
oeasy
2023/01/07
3.9K0
[oeasy]python0040_换行与回车的不同_通用换行符_universal_newlines
Python转义字符
有时我们并不想让转义字符生效,我们只想显示字符串原来的意思,这就要用r和R来定义原始字符串。如:
狼啸风云
2019/03/20
4.2K0
[oeasy]python0043_八进制_oct_octal_october_octave
八进制(oct)回忆上次内容什么是 转义? 转义转义 转化含义\ 是 转义字符\n、\r是 转义序列还有什么 转义序列 吗? \a是 响铃\b 退格键\t 水平制表符 tab键\v、\f 实现喂纸不回车通过 16进制数值 转义 \xhh输出 (hh)16进制对应的ascii字符如果我们不输入x 会发生什么呢?为什么会输出 S 呢?🤔查询文档查询主题 STRINGS查询结果表示方法 \xhh 是 16进制 表示方法\ooo 是 8进制 表示方法去试试从 16进制 到 8进制16进制表示法 没有问题那
oeasy
2023/01/10
4030
[oeasy]python0043_八进制_oct_octal_october_octave
[oeasy]python0022_框架标题的制作_banner_结尾字符串_end
​结尾字符串(end)回忆上次内容​python3​​ 的程序是一个 5.3M 的可执行文件​​python3​​ 里面存的是 cpu 指令可以执行的那种我们可以把指令对应的汇编找到​​objdump -d ~/python3 > python3.asm​​汇编语句是和当前机器架构的指令集相关的​​uname -a​​可以查询指令集我们执行的过程其实是系统先执行​​python3​​这个可执行文件在内存中构建解释器将参数​​hello.py​​ 放入解释器​python3​​解释器 对于​​hello.py
oeasy
2022/12/01
6260
[oeasy]python0022_框架标题的制作_banner_结尾字符串_end
【愚公系列】2021年12月 Python教学课程 04-字符串
字符串是 Python 中最常用的数据类型之一,使用单引号或双引号来创建字符串,使用 三引号创建多行字符串。 Python 不支持单字符类型,单字符在 Python 中也是作为一个字符串使用。 字符串是不可变的序列数据类型,不能直接修改字符串本身,和数字类型一样! 虽然字符串本身不可变,但可以通过方括号加下标的方式,访问或者获取它的子串,当 然也包括切片操作。这一切都不会修改字符串本身,当然也符合字符串不可变的原则。
愚公搬代码
2021/12/13
4680
【愚公系列】2021年12月 Python教学课程 04-字符串
笨办法学Python - 习题8-10:
注意:上述代码说明两个点,一个是%r 的作用,是占位符,可以将后面给的值按原数据类型输出(不会变),支持数字、字符串、列表、元组、字典等所有数据类型。
py3study
2020/02/10
5990
Python3基础数据-字符串
字符串是 Python 中最常用的数据类型。我们可以使用引号('或")来创建字符串。 创建字符串很简单,只要为变量分配一个值即可。例如:
用户5522200
2019/06/02
6370
[oeasy]python0074_设置高亮色_color_highlight_ansi_控制终端颜色
更多颜色回忆上次内容上次我们搞的还是颜色 FG foreground 前景色 30-37BG background 背景色 40-47这些 都可以和字体样式 结合起来难道 就这几种颜色 吗??🤔有点少啊!有些颜色 也和想象不一致 金黄色 也不够黄啊?!明确概念\是 转义字符escape character\和其他字符 可以构成转义序列\t\n\r\e 也是转义序列 \e 这个转义序列转义到 escape 这样的状态从正常的输出退出进入 control sequences 控制序列控制序列 不直接输出到屏
oeasy
2023/02/08
6020
[oeasy]python0074_设置高亮色_color_highlight_ansi_控制终端颜色
第五讲:Python数据类型之String
在Python 中,字符串是最常用的数据类型,我们可以使用引号(‘或”)来创建字符串。
Wu_Candy
2022/07/04
5240
第五讲:Python数据类型之String
推荐阅读
相关推荐
[oeasy]python0072_自定义小动物变色_cowsay_color_boxes_asciiart
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档