00:00
呃,那接下来我们要去用flink CDC读取配置信息表,创建这个叫配置流。对吧,我们要做这个事情啊好,那么这个点呢,我们要读取配置信息表,接下来我们是不是应该先去见表啊。对吧,好。来了。我们要去见表,那见表呢,Create table对吧,这个东西你就不用聊了啊,更重要什么呢?测段。也就是说。配置信息表字段。你觉得我们这张表里边儿需要哪些字段?
01:07
来,我们一块来讨论一下,对吧,这张表里边。你觉得应该要有什么字段?想一想啊,多给一点时间想一想。嗯,表明,哎,那没毛病对吧?表明肯定要有啊,那这个东西最核心的对吧?那除了这个之外,还需不需要其他的字段对吧?啊,表明这个不用多做解释了吧,我们肯定要根据表明做过滤对不对。对吧,我们主流里边有46张表,诶都带了表明,那我们配置信息里边,那这个表你要还是不要,全靠这个表明吧,那表明得有啊,没毛病,表明肯定要有。呃,还需不需要其他的一些内容呢?对吧,想一想啊,或者说你想到了,诶我想加一个字段,你给我说一下这个字段你起什么作用,对吧,你稍微的加一点描述。
02:07
主见。主见是什么意思?我现在聊这个字段对吧,不是这个字段主键还是外键,还是为不为呢,不用讨论属性吧。你这个是字段的属性啊,我们现在只讨论这个字段。状态是否有效。好,那我们把这个加进来啊。呃,是否有效的一个状态,就是说这个东西还有没有用。对吗?就是这个维表,哎,以前可能有用,现在呢没有用了,是不是这意思。我我就给他指为府就不要了。就也过滤掉,就是有可能你从十张表变成九张表。日日期。
03:00
呃,就就先说意思啊,你你不说意思我就不写了,我说了你说一个字段有什么作用,你把作用写一下对吧,就跟那个淘淘所写的对吧,他写了一个状态,然后是否有效,那这样我能猜出来,你你这个意思表达什么,你给我个日期,我。添加时间。不是作用,作用。加长时间有什么作用啊?你加一个create time是吗?作用呢?你你想它起起到什么作用,你告诉我。你有这个添加时间干嘛用。你不能说随便想一个字段对吧,你就就说你得你得知明它的作用吧。
04:16
嗯嗯。那那。继续,还有没有同学来说一说,还需要什么字段?就就要表明就够了,在你们心目当中对吧?啊淘淘多加了一个状态。其他的都不需要了。是这个意思吧。维度啥意思啊?
05:03
就就你这个字段,我说的是字段,字段你给我来一个维度,我就不理解,你懂吗?就是你们。哎。维度是一个字段吗?什么字段叫维度啊?答非所问,这个就很难了,而且你也没说它的作用,我说了你想添加什么字段,然后你把这个字段起到了作用给我描述一下好吗?为什么刚说的东西要我反复强调呢?对吧。想一想啊,你觉得还需要什么字段对吧?啊,这个字段起到什么作用,你给我表述一下对不对。
06:36
写出到Phoenix表的表名。诶,那这个可以对吧?啊,写出到他把作用说出来了啊,那作用是未来写出到Phoenix的时候,我们要用的这个表明对吧?好那这样啊,既然这样的话呢,我把这个改一下,这个叫什么叫source。表明对吧,那你这个写出到Phoenix的,那就是think表明OK吧,做个区分啊好,那这个就直接说出来了,对吧,等会呢,我们应该讨论一块来讨论这个要不要对吧。
07:11
还有没有?如果没有我就开始分析了啊,啊在我家的东西你要自己去想一想,去理解了,就不给那么多时间去思考了啊,给你时间你得想啊,对吧,想到了一些东西呢,你就可以说出来,没关系,错了没关系,对吧。啊,S表的字段。那是什么用呢?也是写出的时候去起到作用。对吗?好,但是有一个问题啊。那你这个S表的字段,我数据里边不有吗?我数据是杰森的。
08:07
我数据是不是杰森KV类型啊。对吧。那你能不能想一个别的作用出来。我我数据过来的是一个杰森格式,对不对。那杰森是KV啊,字段名字段值,字段名字段值字段名字段值这样的,你在这里边搞一个字段。就是为了写出的时候去用的吗?你这样的话,那就不需要了。对吧,那表明在数据里边没有吧。类型维度还是事实?你这里边儿还有事实表啊。啊。
09:01
你你这个配置信息里边还写事时表啊。你要十张维度表,那这里边儿它不就只有十条数据吗?他肯定都是维度表啊,他没有实时表啊,实时表统一全部过滤掉吗。我还需要写类型吗?对吧。这个直接不要了吧。直接不要了。对吧。这个大可不必的对吧?好,那我们来想一想啊,首先第一个source表明这个是什么呢?就是说诶,那我们数据里边肯定有什么,呃,在这个分类表当中有这么多表的数据,对吧?那我配置信息里边肯定要有这些表的。表明。对吧,啊,那这个指的是source,那这个这个毋庸置疑肯定要的,不用讨论对吧,没有它你怎么过滤啊,不就根据表明过滤呗,这个表要还是不要对吧?第二个这个状态是否有效,其实说实话这个字段可以不要。
10:05
嗯,我懂那个刚才同学说的意思啊,所以他刚刚写的有效是否有效我就明白了,对吧,他就说呢,诶现在呢,我要十张纬度表,那过了一会儿呢,我们就只要这个九张纬度表,对吧?好,第一你可以把这个维表删掉。对吧,把这个维表信息删掉,就是这个配置信息删掉,你呢在里边处理一下delete数据啊,就不要这个数据了,可以这样去做,对吧,这是一种第二个就算我不做处理,你不要这个维表了。我还是把这个维表数据写到Phoenix对吧?我把所有维表都写到Phoenix,只不过说未来你不用这个Phoenix表有什么影响吗?没有影响。对吧,你你只是说有一张表你不需要了。有一张表你不需要了,对吧,但是呢,你还正常写到Phoenix,但是Phoenix表没有人访问对吧,无所谓。无所谓对吧,这无所谓的好,那think表明呢,是写出去的时候去用的,对吧,哎可以有用对吧?啊那应该提出了这个think表的字段啊,只是做写出的话完全可以不要,因为我们数据本身它是K类型的,跟重要做什么事呢,注意先表用吗。
11:22
见表嘛,对吧,好,那我们想啊。呃。如果说Phoenix这里面表还没创建。啊,飞的表没创建,我数据能不能写出去啊。你想一下,如果在Phoenix里边表还没有创建。啊,我数据能不能写出去啊。是不是不能啊?没毛病吧,他是不能的好。那也就是说你要手动去建表吧。
12:00
你建晚了就写不出去了,那他说这个没关系啊,跟我们之前放配置信息一样呗,你得提前放对吧,那也就是说你这个任务呢,你有两个地方要维护了,第一你的配置表,第二你Phoenix表要自动要手动创建对吧,那我大可不必,我直接把这个字段呢,把Phoenix表表明放进来,对吧,字段放进来。那多好呀,那未来它可以自动创建啊,你新增了一个配置信息,那我新读的对吧?诶这张表不存在,我在代码里边去建表不就好了吗?我是不是就不需要手动去建表了,就是未来呢,我只关心什么。配置信息这张表对吧,我其他的不需要再人工操作了,我以后只维护这张表,其他的能自动的全都自动,对吧?做建表好,既然我们把建表这个功能放到了。代码里边,所以光有表明跟字段还不行,还有什么呢?主键注意,这是S表的主键。
13:04
Think表的主见对吧?因为我们要把建表语句放进来,还有。扩展字段什么叫扩展字段呢?对吧,那我们要在Phoenix里面建表,比如说我想做预分区。比如说啊,我想做预分区,我是不是要写扩展字段啊,就跟这个扩展字段,就跟你在马斯克里的建表,你要加一个什么,加一个这个in DB引擎对吧,然后呢,这个U-八的一个变字符集。是这个意思对吧,你要额外的一块就是本来我们创建表create table对吧,然后呢,呃,AA spring water啊,什么什么东西括号啊B对吧,啊,什么东西写完了,写完之后呢,本来是封号的,哎,现在呢,不要着急写封号,我后面还有一点东西。还有一些东西对吧,这个要扩展增大。这个东西叫扩展字段,对吧,既然我们想把间表放在这里边,所以呢,我们要扩展字段。
14:02
啊,也要放进来啊,就多了这么几个字段对吧?Source表明,Think表明加think字段,然后think表示主件以及扩展字段。OK吗?大家有没有对于哪个字段不太能理解的?可以及时的提出来啊。如果没有的话,我就把这张表去创建一下了啊。有没有疑问?啊,或者还是说需要多想一下,多想一下我就利用下课时间,因为刚好也差不多了啊。啊,那有疑问后面再提好吧,因为现在我等了一会儿没有啊,没有的话我就把这个表去创建一下啊呃,那表呢,我就不创建在这个里边了。不创建在这个里边了,另外再建一个库。对吧,因为生产环境当中也一样,你想想看啊,这个库呢,它是不是应该在你Java后台维护的那个买色个里边,而我们配置信息表应该在哪,应该在咱们大数据的买S集群里边,买S里边,集群的买S里边,对吧?啊,应该在这儿啊,那不一样,所以呢,我们也没必要搭建多个服务,我在103再搞一个服务,对吧?呃,然后消费这个消费那个没必要,我们呢就放在两个数据库里边就行了,对吧,叫GB杠。
15:19
咖啡。诶,完了,我没指定那个字符集什么东西对吧。啊,没指定可不行啊,我们重新创建一下啊。字符集还是U-八,然后排序啊,用这个啊好,那这块就搞定了,接下来呢,我们建表啊,在这里边呢,执行一个查询,把这个建表语句拿过来啊。在。配置表的一个设计,在这就刚才我们看到s table think table think columns think PK think extend,对吧,就是这个都是S的。
16:01
好,那么直接啊,这。兼顾,你也可以直接进来见啊。这边我把这个表创建一下。好,那这样的话咱们就多了一张配置信息表,而且呢,我们是要用flink c VC读取这张表吧,所以我们要给这个库怎么样。打开b logg对吧,打开blog好,那这边呢,注意啊,So do,我叫 BDCmy.com,然后呢,呃,YYP复制粘贴对吧,把最后这个Li改为con啊,你一定要写你的库名啊,你不要根据我来写,你想叫什么名字我不管,但是你一定要你库里边MYSQL库里边叫什么名字,你这写什么名字,你不要库里边叫A,这写B对吧?啊然后说跟我一样。我没说非得跟我一样对吧,你随便取,但是你必须要保持一致啊,好速度啊,每个班呢,总有同学他不一致对吧,不一致的点呢,很奇怪啊,也不是很奇怪吧,就常见的一个错误。
17:13
这下划线里边写中杠,这写中杠里边写下划线。你看清楚一点好吗?这是中段还是下划线,懂不懂啊。速度啊,然后呢,System CTR my circle。好吧,啊,你要启动一下,重启一下,因为又修改了配置文件。嗯。好,那我们去查看一下啊是吧?Lib my看啊,现在呢,又新生成了一个数据。对吧,一个文件,那我们测一下它是否能OK啊,这边要给个A啊,随便呢,现在随便给,只是我们只是做一个测试的啊,保存好刚才154吧,重启的肯定154啊467号文件。
18:11
诶,467这边没有重启成功吗。重启成功了呀。他没有效是吗?我看一下啊。啊,他应该是刚才有有显示有问题啊,478对吧,过来了吧?啊也就是说我们操作这个表b log会变对吧,但是你不要着急,你不要着急,因为有可能呢,你这张表被你改坏了,你有可能同学误删了对吧?啊误删了,复制粘贴的时候把上面误删了就所以呢,你测试的时候不要着急,猴急猴急的对吧,你着急干嘛呢?没必要啊,你在这里边呢,再来一个12。A,对吧,保存你也测一下,刚才呢是478,那这是第二个库里边的对吧,两个库里面都测一下,好478L一下啊呃,变成了787。变成787,没有没没有毛病吧,两个库里边blog都可以啊,都可以,同时呢,我们又增加了一个什么数据库,此时呢,对于Maxwell又产生了影响,所以呢,注意啊,把maxwelll呢,怎么样把它干掉。
19:15
啊,Excel自己就挂掉了,自己就挂掉了啊,那很简单,因为我多加了一个数据库啊,自己就挂掉了,对吧。呃,挂掉以后呢,我们还是把这个。删除一下。对吧,重新去创建一个就好了啊,那my circle。到U入,我把这个准备工作呢,就一并做一下啊。走,然后create table,不是table,是database对吧,叫Maxwell。好。对吧,这样的话你Excel也没有问题了啊,所以我们准备工作就已经搞定了,对吧。
我来说两句