温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
好啊,那接下来呢,是我们看一下最终输出,那最终输出我们就不用看日志了,我们是不是可以用ins inside or red local directory的方式来看,因为最终输出我只要能写出去,它一定是一个压缩文件,对不对,对吧,肯定带着后缀了啊,这个就比较好看一点啊,那刚才是中间过程只能看志,首先呢,打开最终输出的一个压缩,给它打开啊,然后接下来呢,配置最终输出压缩呢,给它打开MA6对吧?好,最终呢文件。接下来呢,是我们还是一样的设置它为什么snap啊,设置它为snap好,然后呢,我们启用快压缩默认的啊,我们刚才也看到默认的是什么record行压缩对吧?那这个地方呢,我们给它启用快压缩,因为它效率相对来说高一些,行,那接下来呢,我们再去运行任务,这个任务我们看一下啊。呃,我们是set新distribut啊,当然呢,你看的新或者什么样都行,只要他能够触发什么Mr room就好了,然后呢,Insright local,我给它放到o data底下,OK吧,好,我把这个预记下,这个呢,我们不需要去看中间过程。
01:19
我们只要切到这来,CD modu,贝塔,等会呢,它会生成一个目录,对不对,等它走完。所以说have当中这些存储方面的优化,就是说压缩啊,跟大家之前学的MR是一样的,包括配置信息,其实就是用的MR的配置信息啊。好啊,这边是不是多了一个目录对吧?CD的DC的啊看是不是最终输出我们不用看日啊,对吧,在这就能看得到,因为它比较方便啊,我们的输出日志,哎,这边呢,DS那这个东西尝试看一下能看懂吗?
02:04
看不太懂了是吧?啊,它不是一个文本格式了,就不可读了啊,只有他自己,你除非用STEM建了STEM表,它自己去加载,它能够识别,但现在我们人工的去看,那肯定识别不了压缩了,对吧?好,这是我们所看到的,诶,最终输出的压缩啊,最终输出压缩其实就跟大家学的FMR当中是一样的,主要的原因也在于我们之前就聊到过help呢,我们可以看作是哈多的一个客户端,存数率依赖于HDFS计算默认依赖于MR,那所有的配置MR当中肯定有啊,对吧。
我来说两句