Loading [MathJax]/jax/output/CommonHTML/jax.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >mysql connector安装教程_Debezium:mysql connector安装[通俗易懂]

mysql connector安装教程_Debezium:mysql connector安装[通俗易懂]

作者头像
全栈程序员站长
发布于 2022-09-14 12:55:33
发布于 2022-09-14 12:55:33
4.5K0
举报

大家好,又见面了,我是你们的朋友全栈君。

前言:

debezium提供了多种基于kafka的连接器,方便对RDB做数据流处理,包括:MongoDB,Oracle,Mysql,SqlServer,Postgresql,可扩展性强,代码可控,本篇介绍基于mysql的安装使用

插件版本:

Kafka:CDK3.10 (相当于Kafka1.1版本),这里需要kafka 0.10以上版本才能支持

Debezium:0.83

Mysql:5.5 (mysql5.6版本前后会有一些差异,下面会提到)

安装步骤:

1、mysql (这里我们安装5.5版本)

apt-get install mariadb-server-5.5

2、mysql配置

修改/etc/mysql/my.cnf,添加如下内容:

server-id = 223344 (这个id对于debezium来说一定是要唯一的)

log_bin = mysql-bin

binlog_format = ROW

#binlog_row_image = FULL (这一行如果在mysql5.6之前的版本可以不用加,5.6之后的版本要加上,主要控制binlog记录完整性,full为全写)

expire_logs_days = 10

3、重启数据库,配置用户权限

CREATE USER debezium IDENTIFIED BY ‘debezium’;

GRANT SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO ‘debezium’ IDENTIFIED BY ‘debezium’;

FLUSH PRIVILEGES;

关于权限的介绍:

SELECT – enables the connector to select rows from tables in databases; used only when performing a snapshot

RELOAD – enables the connector of the FLUSH statement to clear or reload various internal caches, flush tables, or acquire locks; used only when performing a snapshot

SHOW DATABASES – enables the connector to see database names by issuing the SHOW DATABASE statement; used only when performing a snapshot

REPLICATION SLAVE – enables the connector to connect to and read the binlog of its MySQL server; always required for the connector

REPLICATION CLIENT – enables the use of SHOW MASTER STATUS, SHOW SLAVE STATUS, and SHOW BINARY LOGS; always required for the connector

5、安装java环境

安装包准备:jdk-8u144-linux-x64.tar.gz

解压java安装包到指定安装文件:tar -zxvf jdk-8u144-linux-x64.tar.gz -C /usr/lib/jvm/

配置环境变量,修改/etc/profile文件

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_144

export PATH=JAVA_HOME/bin

export CLASSPATH=.:JAVA_HOME/lib:

使配置环境变量生效: source /etc/profile

测试是否安装成功

java –version

6、Debezium安装

下载:weget https://repo1.maven.org/maven2/io/debezium/debezium-connector-mysql/0.8.3.Final/debezium-connector-mysql-0.8.3.Final-plugin.tar.gz

解压压缩包:tar -zxvf debezium-connector-mysql-0.8.3.Final-plugin.tar.gz

把debezium-connector-mysql下所有的jar包复制到kafka的lib下:cp *.jar /opt/cloudera/parcels/KAFKA-3.1.0-1.3.1.0.p0.35/lib/kafka/libs

发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/159559.html原文链接:https://javaforall.cn

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
debezium采集MySQL CDC指南
Debezium 是一个开源的分布式平台,用于捕获数据库的变更数据(Change Data Capture,CDC)。它支持多种数据库,包括 MySQL。下面我们详细说一下如何进行配置。
从大数据到人工智能
2023/10/18
8720
debezium采集MySQL CDC指南
Debezium使用指南
实时数仓的第一步便是变更数据捕获(CDC),Debezium就是一款功能非常强大的CDC工具。Debezium是构建于Kafka之上的,将捕获的数据实时的采集到Kafka上
姜同学
2022/10/27
3.7K2
Debezium使用指南
Debezium结合kafka connect实时捕获mysql变更事件写入elasticsearch实现搜索流程
本文将会实现一套完整的Debezium结合Kafka Connect实时捕获MySQL变更事件写入Elasticsearch并实现查询的流程.
XING辋
2019/03/26
7.5K4
Debezium结合kafka connect实时捕获mysql变更事件写入elasticsearch实现搜索流程
Debezium的基本使用(以MySQL为例)
简单理解就是Debezium可以捕获数据库中所有行级的数据变化并包装成事件流顺序输出。
GreatSQL社区
2023/02/23
3.5K0
kafka 连接器实现 Mysql 数据同步 Elasticsearch
Mysql 作为传统的关系型数据库,主要面向 OLTP,性能优异,支持事务,但是在一些全文检索,复杂查询上面并不快。Elasticsearch 底层基于 Lucense 实现,天然分布式,采用倒排索引存储数据,全文检索效率很高,使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。
Se7en258
2021/05/18
2.8K0
kafka 连接器实现 Mysql 数据同步 Elasticsearch
Debezium kafka connector 运行报错1236
今天发现stag环境kafka connector运行报错( curl 172.18.1.1:8083/connectors/order-center-connector/status)
XING辋
2019/07/19
2.2K0
基于 HBase & Phoenix 构建实时数仓(5)—— 用 Kafka Connect 做实时数据同步
本篇演示安装配置 Kafka connect 插件实现 MySQL 到 Hbase 的实时数据同步。依赖环境见本专栏前面文章。相关软件版本如下:
用户1148526
2024/03/21
6220
基于 HBase & Phoenix 构建实时数仓(5)—— 用 Kafka Connect 做实时数据同步
Flink CDC我吃定了耶稣也留不住他!| Flink CDC线上问题小盘点
如果你对Flink CDC 还没有什么概念,可以参考这里:Flink CDC 原理及生产实践。
王知无-import_bigdata
2021/07/30
2.6K0
Flink CDC 原理、实践和优化
CDC 是变更数据捕获(Change Data Capture)技术的缩写,它可以将源数据库(Source)的增量变动记录,同步到一个或多个数据目的(Sink)。在同步过程中,还可以对数据进行一定的处理,例如分组(GROUP BY)、多表的关联(JOIN)等。
KyleMeow
2021/03/15
26.2K0
Flink CDC 原理、实践和优化
mysql主从搭建、使用mycat实现主从读写分离[通俗易懂]
简单的说就是 master 将数据库的改变写入二进制日志,slave 同步这些二进制日志,并根据这些二进制日志进行数据操作以实现主从同步。
全栈程序员站长
2022/11/04
3.2K0
Flink CDC 原理、实践和优化
CDC 是变更数据捕获(Change Data Capture)技术的缩写,它可以将源数据库(Source)的增量变动记录,同步到一个或多个数据目的(Sink)。在同步过程中,还可以对数据进行一定的处理,例如分组(GROUP BY)、多表的关联(JOIN)等。
腾讯云大数据
2021/03/31
4.9K0
Flink CDC 原理、实践和优化
《一文读懂腾讯云Flink CDC 原理、实践和优化》
CDC 变更数据捕获技术可以将源数据库的增量变动记录,同步到一个或多个数据目的。本文基于腾讯云 Oceanus 提供的 Flink CDC 引擎,着重介绍 Flink 在变更数据捕获技术中的应用。 一、CDC 是什么? CDC 是变更数据捕获(Change Data Capture)技术的缩写,它可以将源数据库(Source)的增量变动记录,同步到一个或多个数据目的(Sink)。在同步过程中,还可以对数据进行一定的处理,例如分组(GROUP BY)、多表的关联(JOIN)等。 例如对于电商平台,用户的订单
腾讯产业互联网学堂1
2023/05/29
3.4K0
《一文读懂腾讯云Flink CDC 原理、实践和优化》
数据同步工具之FlinkCDC/Canal/Debezium对比
数据准实时复制(CDC)是目前行内实时数据需求大量使用的技术,随着国产化的需求,我们也逐步考虑基于开源产品进行准实时数据同步工具的相关开发,逐步实现对商业产品的替代。本文把市面上常见的几种开源产品,Canal、Debezium、Flink CDC 从原理和适用做了对比,供大家参考。
王知无-import_bigdata
2021/10/27
14.2K0
Mysql实时数据变更事件捕获kafka confluent之debezium
如果你的后端应用数据存储使用的MySQL,项目中如果有这样的业务场景你会怎么做呢?
XING辋
2019/03/26
3.6K0
Mysql实时数据变更事件捕获kafka confluent之debezium
实时监视同步数据库变更,这个框架真是神器
我们数据库中的数据一直在变化,有时候我们希望能监听数据库数据的变化并根据变化做出一些反应,比如更新对应变化数据的缓存、增量同步到其它数据源、对数据进行检测和审计等等。而这种技术就叫变更数据捕获(Change Data Capture)。对于这种技术我们可能知道一个国内比较知名的框架Canal,非常好用!但是Canal有一个局限性就是只能用于Mysql的变更数据捕获。今天来介绍另一种更加强大的分布式CDC框架Debezium。
程序猿DD
2021/07/13
2.6K0
实时监视同步数据库变更,这个框架真是神器
从 MySQL 到 ClickHouse 实时数据同步 —— Debezium + Kafka 表引擎
本文介绍从 MySQL 作为源到 ClickHouse 作为目标的整个过程。MySQL 数据库更改通过 Debezium 捕获,并作为事件发布在到 Kafka 上。ClickHouse 通过 Kafka 表引擎按部分顺序应用这些更改,实时并保持最终一致性。相关软件版本如下:
用户1148526
2024/04/26
1.9K0
从 MySQL 到 ClickHouse 实时数据同步 —— Debezium + Kafka 表引擎
MYSQL 5.6 从库复制的部署和监控
(2) slave配置 slave如上安装时的配置,注意的是replicate-do-db、replicate-ignore-db的配置
明哥的运维笔记
2019/12/04
8420
Streaming Data Changes from MySQL to Elasticsearch
MySQL Binary Log包含了针对数据库执行DDL(Data Definition Language)和DML(Data Manipulation Language)操作的完整事件,其被广泛应用于数据复制和数据恢复场景。本文所分享的就是一种基于MySQL Binary Log特性实现增量数据近实时同步到Elasticsearch的一种技术。要想实现增量数据的同步,仅仅有binary log是不够的,我们还需要一款变更数据捕获(CDC,Change Data Capture)工具,可能大家很快就会想到阿里巴巴开源的Canal。没错,但本文今天给大家分享一款新的开源工具:Debezium。Debezium构建于Kafka之上,它为MySQL、MongoDB、PostgreSQL、Orcale和Cassandra等一众数据库量身打造了一套完全适配于Kafka Connect的source connector。首先,source connector会实时获取由INSERT、UPDATE和DELETE操作所触发的数据变更事件;然后,将其发送到Kafka topic中;最后,我们使用sink connector将topic中的数据变更事件同步到Elasticsearch中去,从而最终实现数据的近实时流转,如下图所示。
程序猿杜小头
2022/12/01
1.6K0
Streaming Data Changes from MySQL to Elasticsearch
聊聊debezium的eventHandlers
debezium-v1.1.1.Final/debezium-connector-mysql/src/main/java/io/debezium/connector/mysql/BinlogReader.java
code4it
2020/05/19
5430
聊聊debezium的eventHandlers
MySQL 数据库读写分离
基于一台服务器的数据复制,故得名单机热备,主-备 Active-Standby 主-备方式,即指的是一台服务器处于某种业务的激活状态(即Active状态),另一台服务器处于该业务的备用状态(即Standby状态),主数据库数据更新后,备份服务器同步数据只本机
王 瑞
2022/12/28
3.5K0
推荐阅读
相关推荐
debezium采集MySQL CDC指南
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档