https://github.com/alibaba/otter/wiki/QuickStart
otter 基于数据库增量日志解析，准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统
Otter-入门篇2(Manager安装配置) 前言 上一节已经简单介绍了Otter的基本信息,本节我们就来开准备搭建一个我们自己的Otter环境,因为一个Otter需要Manage+node+数据库
之前因为机房多活的需要关注了Otter,搭建这个环境算是费劲了心思，在之前准备的过程中发现GitHub上面的说明文档和实际的操作还有一些差距，有些过程也是一再中断，我不由得发出感慨，能够快速高效的尝试开源项目也是一种技术幸福感所在。
导历史表还需要程序代码实现吗？ 还在用mysql的主从复制吗？ Otter都能为你解决。
客户需要将华为云rds for MySQL和天翼云rds for MySQL做一个双向同步，当华为云rds宕机的时候，可以切换到天翼云继续提供服务，而且此时，天翼云的数据也可以自动同步到华为云rds，平时只使用华为云的rds，和双A方案有点差异，需要注意的是rds环境不能安装任何的软件，所以，我目前想到的方案有：
otter/node/deployer/src/main/java/com/alibaba/otter/node/deployer/OtterLauncher.java
近段时间来，AI 对话助手在语言任务上取得了不小的进展。这种显著的进步不只是基于 LLM 强大的泛化能力，还应该归功于指令调优。这涉及到在一系列通过多样化和高质量指令的任务上对 LLM 进行微调。
Otter-入门篇4(单向同步实践)# 前言## 在前几节我们已经做好了关于otter的准备工作,配置好了zookeeper,manage和node,本节就来完成otter第一个实际功能,单相数据同步
Otter-入门篇3(Node搭建) 前言 哈咯大家好呀!今天是对otter准备的最后一个流程,配置好node,并且吧manager,zookeeper和node组合起来形成一个完整可以进行Mysql
canal是阿里开源的， 对数据库增量日志解析，提供增量数据订阅和消费的组件。引用官网的图片，canal的工作原理主要是模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave，向master发送dump 协议，获取到数据后，解析 binary log 对象数据。
公司要搞数据平台，首当其冲的是把旧库的数据导入到新库中，原本各种数据库大部分都提供了导入导出的工具，但是数据存储到各个地方，mongdb,hbase,mysql,oracle等各种各样的不同数据库，同步起来头都大了
otter/node/common/src/main/java/com/alibaba/otter/node/common/config/model/NodeTask.java
提到 Canal，大家应该都能想到这是一个用于解析 MySQL binlog 日志的工具，并将 MySQL 数据库中数据同步到其他存储介质中，例如 Elasticsearch。
首先什么是HA？HA指的是High Available，也就是高可用。通常我们一个服务要支持HA都要借助于第三方的分布式同步协调服务，最常用的是zookeeper（以下简称ZK）。canal实现高可用，主要是依赖了zookeeper的几个特性，watcher和EPHEMERAL节点。
otter/node/etl/src/main/java/com/alibaba/otter/node/etl/OtterController.java
早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。
随着业务的增长和技术的演进，在应用架构上，我们经历了单一用用架构->垂直应用架构->分布式应用架构的发展。对应的，后台数据库也出现了分布式的解决方案。读写分离，负载均衡读写以及两点双写集群甚至于多点多写集群这些，都离不开数据库的同步。一般的，这些同步都是在同一机房内的。 渐渐的，我们的业务扩展到了全国各地甚至与全世界各地。我们不能也不再满足于将应用和数据库部署在一个机房之中。在多个机房中，我们部署相同的服务。那么一个比较严峻的问题就是数据库跨机房的镜像如何做，也就是我们如何保证不同机房间的数据一致性？
canal-1.1.4/protocol/src/main/java/com/alibaba/otter/canal/protocol/position/Position.java
canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。 早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。
以下是架构图（实际架构图根据现有机房架构和实际会比下图复杂，但整体思路不变）：
人们很容易就能在反直觉视频（幽默的、创意的、充满视觉效果的视频）中获得愉悦感，这吸引力不仅来自于视频对人类的视觉感官刺激，更来自于人类与生俱来的理解和发现快乐的能力，即能够理解并在出乎意料和反直觉的时刻找到乐趣。
canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费，不支持全量已有数据同步。由于采用了 binlog 机制，Mysql 中的新增、更新、删除操作，对应的 Elasticsearch都能实时新增、更新、删除。
井显生，2019年加入去哪儿，现负责国内机票出票、退款、改签核心业务。在领域驱动设计(DDD)、高并发有大量实践经验。
下面涉及到源码的地方，我都经过了处理，删减了一些不重要的代码（比如参数校验），便于理解
canal-1.1.4/sink/src/main/java/com/alibaba/otter/canal/sink/CanalEventDownStreamHandler.java
最近在看canal源码，有一些疑问。比如canal的HA模式是怎么实现的，mysql dump的位点又是怎么确定的，canal客户端是如何获取数据和ack的，又是如何实现mysql主备切换的等等，针对这些疑问我将输出几篇源码分析，欢迎指正交流。本文是关于canal 服务端和客户端的HA实现源码分析。在此之前，建议大家对canal的整体架构有所了解，可参考官方文档。首先看下官方文档中对HA机制的描述。
名称：otter [‘ɒtə(r)] 译意： 水獭，数据搬运工 语言： 纯java开发 定位： 基于数据库增量日志解析，准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统.。
a. canal的原理是基于mysql binlog技术，所以这里一定需要开启mysql的binlog写入功能，建议配置binlog模式为row.
canal.mq.dynamicTopic 是 Canal 的 MQ 动态 Topic 配置项：
canal-1.1.4/instance/core/src/main/java/com/alibaba/otter/canal/instance/core/CanalInstanceGenerator.java
在做实时数仓时，数据量往往比较大的，如果使用Canal来监听MySQL的状态当Canal 是单节服务时，服务器挂掉是就会造成数据丢失，这时Canal恰好可以配置HA这样就能解决单点问题，但是依赖于zookeeper,那我们就来配置一下Canal的HA。
文章目录 1、问题描述 2、maven仓库手动添加本地jar包 1、问题描述 今天在导入阿里云视频点播相关的Jar包的时候死活导入不进来 由于阿里云有好多jar包并没有开源，我们只能下载源码然后自己导入Jar包 我现在演示将下图中圈起来的这个Jar包手动添加到本地maven仓库 2、maven仓库手动添加本地jar包 语法如下 mvn install:install-file -Dfile=jar包的位置(参数一) -DgroupId=groupId(参数二) -DartifactId=arti
canal-1.1.4/common/src/main/java/com/alibaba/otter/canal/common/CanalLifeCycle.java
🍁 作者：知识浅谈，CSDN签约讲师，CSDN原力作者，后端领域优质创作者，热爱分享创作 💒 公众号：知识浅谈 📌 擅长领域：全栈工程师、爬虫、ACM算法 Canal的使用分为两部分： 上部分为canal接入Mysql数据库进行操作监听。 下部分为Canal如何接入消息队列、Redis、Canal的高可用HA。 这次拿上部分来做正菜🛴🛴🛴 环境：linux 数据库主机（192.168.31.230） Canal server主机（192.168.31.231） 🎈安装MySQL
mysql本身是支持主从的（master slave），原理就是master产生的binlog日志记录了所有的增删改语句，将binlog发送到slave节点进行执行即可完成数据的同步。
canal-kafka是阿里云最近更新的一个新的安装包。主要功能是实现canal与kafka的对接，实现海量的消息传输同步。在canal-kafka中，消息是以ByteString进行传输的，并且用户只能通过配置来指定一些kafka的配置，从某种程度上有一定的局限性，所以我们使用canal来自定义客户端kafka，会有更好的灵活性，但维护成本会更大，所以如何选择根据实际情况而定。
canal-1.1.4/filter/src/main/java/com/alibaba/otter/canal/filter/CanalEventFilter.java
canal [kə’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费
我们在做实时数仓时数据往往都是保存到数据库中例如MySQL，当有一条数据新增或修改需要马上将数据同步到kafka中或其他的数据库中，这时候我们需要借助阿里开源出来的Canal,来实现我们功能。
Canal是阿里开源产品之一，是用java开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前，Canal主要支持了MySQL的binlog解析。
本文根据洪斌10月27日在「3306π」技术 Meetup - 武汉站现场演讲内容整理而成。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
