43_尚硅谷_数仓采集_项目经验之Flume组件

好，那除了这个内存之外，下面还有一些相机，也是组件的一些，呃，优化注意的地方，那第一个呢，其实这个file传能和ma传能的区别啊，现在呢，目前对大家来说应该不是什么难点了啊，Fire title呢，对应的是这个速度慢啊，相当于ma channel，但是呢安全稳定，那measure channel呢属于速度快，但是呢容易丢失数据，好，那下面还有一个。File传的优化，如果你用的是file传，那就意味着这个数据要写入到磁盘里面了，对吧，那就有位置要存，那写入到磁盘这里面有一个配置。叫DR啊，你可以找一下来来配一下。这个就是D，你看它的对应的就是fair China，你看吧，看这块描述有没有英文好的。嗯。

我觉得。还是百度翻译英文好。好，这块呢，是用于存储日志文件的目录的逗号分隔列表，在不同的磁盘上使用多个目录可以提高文件通道的性能，是不是告诉你了，哎，你这块如果配置多个这个目录的话，那会提高它的能力啊，也就说这个呃叫吞吐量啊吞吐代，OK，那这个呢，就是这块啊，那我记住一点，在这个大数据环境下，能配多目录的尽量都配动目录，是不是之前还有一个ADS啊，ADS那是这块儿啊，是一样道理啊，那它下面呢，其实还有这个穿越发现的电压和bag穿越的发音电压啊，属于这个类似于偏量，也尽量配置在不同磁盘对应的目录当中。

啊，保证那个太快的快掉后可以快速的使用备份的那个数据，也是把它放在不同的这个地方啊，安全口靠啊，再就是跟这个呃，不要把鸡蛋放在同一个篮子里面是一样的一样道理啊，尽可能的区分啊，那这个呢，也是你在面食过程当中啊，可以去秀一把的是吧。那下面还有一个就是这个atic，刚才我们在讲aty think的时候是就是这个如何来处理这个小文件，其实现在呢，你可能还没有这个感觉，如果你不把这个性感视频小文件那个配置打开。啊，你会非常非常明显啊，之前有个包没打开哈，瞬间产生几百个小文件啊，每个文件都是0000，特别里面呢，就一条两条的数据啊，非常非常少啊，那这个那小文件有什么危害，之前给大家也说过吧？啊那你可以从这两个层面，一个是原数据层面啊，每个小文件呢，都有一份原数据，包括这个文件名称，所有者啊，所有主权限，创建时间等等，那它肯定要占name node的内存，通常情况下一个文件在name note中占多大内存？

150个字节左右对吧，啊这节左右啊，所以小文件过多会撑爆这个内部漏的啊。那面试官还会问一个问题，他会问什么呢？那你这个内部到的到底能支撑多大的文件，也就你们上一个班啊，问他。你们128斤那什么？啊，你只需要告诉他128G内存，平均一个文件的内存占150个字节，那剩下的事自己数除一下就完事了啊，就这么简单啊，很简单啊，它也就这么就过了啊，就这么就搞定了啊好，那下一个呢，就是一个计算层面，默认情况下mmr会对每一个小文件启用一个Mac任务计算，那你前面是大量的这个小文件，那后面就会开启N多个mmr，尤其是map text，对吧？Text，那你这前面就是零个字节或者一个1K的字节，那得开多少个map text啊，肯定不合适啊，这是小文件层面啊，一个从计算层面，一个是从存储的层面啊好，那在页面那个小文件怎么处理，那下面这块呢，只是其中的一种方式哈，一种方式，那这一种方式呢，主要是通过这三个配置，第一个它啊。

啊，还记得什么含义吗？这什么含义。多长时间这个文件啊，滚动一次啊，那这是3600秒一小时啊，还有一个呢，是是128兆，比如这文件到达多大的时候滚动下一文件，那这个呢，是even的个数，零的表示静止啊禁止，那下面还有这两个参数是控制什么呢？目录对不对？哎，目录上的这个名称啊，是多长时间一个间隔啊，那其实这里面含义就是，尤其是上面这层翻译。

它是来处理type文件，在达到128兆时会滚动生成正式文件，那它取决于。啊，记住它们是过的关系啊，任何一个达到条件，它的文件滚动，那这个呢，在的是十秒钟，因为我默认之前设置的是啊，这是十秒对吧，会滚动生成一个正式文件啊，这块你可以改成十了啊，企业当中肯定是一个小时，那是什么什么含义呢？其实我这个比较快啊。我看看我这个手术能不能赶上它的速度啊，你看这块啊，我们再生成一个数据，它末正常情况下它在末尾会加一个time，时间到了之后他才会把它。去掉。

你商一下啊。看我的手速啊。这么快吗？这个不对呀。这时间有点太短了，之前呢，他是有一个上班时间啊，这。来看看到吗？哎，看到这个吧，哎，这就是我太多文件，你再过一会呢。你说啊啊过来吧，哎，这个看吧，是不是就变成了真真正的正式文件了，如果再来数据的话，它是不是又产生一个文件，哎，是这个道理啊，所以说你看现在那这个呢，是有三个参数是管控的，这下面有多少个文件，它往下滚动的，那其实那个十秒呃，十分钟内的，其实管的是这个东西它多长时间滚动一次，只不过这里面呢，我们没有往下去取啊，只取了年月日啊，再取十分秒的话，它就会变动了啊，OK了。

行，那这是这块啊，也是经验之谈啊，要注意哈。