温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
Hello,上硅谷的小伙伴们大家好,我是上硅谷的讲师,我叫王辉啊,那么本次由我给大家带来大数据领域当中一个比较重要的框架canal,那么它是由阿里开发的啊,然后用于实时采集my circle当中变化的数据。啊,也就是说当买S当中实时发生了一些。新增修改以及删除操作,那么我们可以用canal实时的监控到这个修改的数据,并将这个数据呢写到消息队列,供实时计算框架使用,比方说未来我们用到的SPA streaming,或者说这个flink,啊呃,那么我们首先去介绍一下关于学习本次课程我们需要的一些前置知识。啊,就是说呃,你单独拿到这个课程之后,你直接学习可能有些困难,因为我们会涉及到跟其他框架的一个交互啊,那么第一个呢,就是我们的卡夫卡。
01:05
啊,因为我们最终呢,是要将采集到的实时数据写入。消息定列当中,而我们选用的是大数据领域当中最为主流的消息列,叫卡夫卡,所以你要了解啊,那你要了解卡夫卡的话,呃,另外一个框架叫zoo cable你要了解,因为卡夫卡的搭建运行它是依赖于这个cable的,所以你要了解一下。那么第三个框架呢,当然是我们的MYS喽,因为刚才我们说了canal呢,它是实时抓取MYS当中写的数据,所以MYS你绘搭建与安装对吧?呃,那么第四块就是Java了啊,因为在整个学习过程当中,我们在做案例演示的时候,有一个案例呢,是需要用到代码的,而我们是基于这个Java来写的这个代码,所以你要有一定的Java基础啊,才能够学习本次的一个课程啊,这是前置知识,那接下来呢,我们主要跟大家说一下,呃,课程当中的一些主要的内容,呃,那这个呢,我们折叠一下第一章can的入门啊,那就了解一下T。
02:11
到底是什么东西,以及阿里它为什么要开发这么样的一个框架啊,以及啊,关于。读取买S的一些细节的东西啊,第二个呢,呃,是买S里面数据的准备,那我们准备一个库和表,同时要开启它的写入日志,因为canal呢,它是根据这个预写入日志来。抓取的数据,那么第三招呢是canal下载与安装,它呢很简单,第四章就真正的案例实操了,我们要采用canel来实现实时读取买S当中动态变化的数据,这边呢给大家介绍了TCP跟卡夫卡两种不同的模式,那这个呢就直接将数据呃通过写代码的方式,所以刚才我们说了要Java基础,这个呢是直接发送到消息Z卡卡当中啊,所以呢,你要有卡夫卡和zooke的前置知识,OK,这是我们当前这个课程的主要内容的一个介绍。
我来说两句