32_尚硅谷_数仓采集_日志采集Flume配置分析

好，刚才呢，我们已经定义好了，我们这个要配置成太油source，同时卡夫卡传啊，中间用到两个拦截器，一个用来日志清洗，一个用来分类型。这么三块，那下面就是具体的去配，那配置的话就得找官网对吧，哎，官网是最好的这个手册哈，一定要去看这官网。来文档诶了，退回来来看一下这两块有什么区别，一个是用户啊查一些配置对吧，那个呢，开发像自定义source这对吧，啊这些呢就用这里面去对吧，好OK。那打开之后，现在的最新版本是1.9，我们的价格是1.7啊，不要用太新的，虽然说大差别不大啊，但是尽量的用这个。

好太有电压，那太阳电压看一下里面具体的一些配置啊，它是记住它是1.7以后产生的。那直接往下走，这里面你看这些位置啊，你都可以看一看，它最主要直奔。给你个案例对不对啊，叫一伽方斯啊，宇伽方里面第一个type类型TDR啊，然后呢，这里面啊，这是连的哪个fair fair是啥意思。存储它读取到文件的位置，就记录配音量的，哎，记住这个，比如说读这个文件，我读了多少，从零到100兆啊，这一次呢，我是读了50兆，那这个50兆这个信息就要记录到这个文件里面去，是这么一个功能啊好，那你看这里面有一个file group s。那是不是就是可以监控多个目录啊，哎，多个目录，那你看第一个F1，嗯，F1监控的是T一下面的一个加炮四点了，那F2监控的就是二点星点。

是能匹配多个文件的啊，这里面匹配多个文件，只要这个目录下呢，符合这个正格表达它的全部读出来啊，那首先这是F1F2是多目录，那这里面又对应了多个文件啊，多个文件好，那后面这还有一个叫file header。啊，那它呢，是日后我们要用到这个拦截器啊，拦截器里面，尤其是分类型，我们会把这个类型放到这个hi里面。有hi body吧？啊，一个是header，一个是body，默认情况下数据都会传到这个body里面啊，Header是空啊，那我们要把这里面提取出对应的日志类型放到海单里面啊，用于日后的我们一个区分类型这样一个过程。好，那看完这个配置之后，你会没了。

还是不会，那好，那来看一看啊老师是怎么配的，那首先这一个它的类型看下D没毛病吧，啊类型，然后接下来它的这个是存储文件天移亮的吧，啊天移量的，那我放到劳密定货到中它自己的这个文件夹上，OK，那这里面我监控的是几个目录。出去一个啊一个IP，那监控的是泰拉斯，下面以APP开头的。是的文件对吧，之前它的前缀是APP啊，APP后面的日期嘛，啊，那这些日志OK，那后边这有一个hier，认为日后我这个拦截器下面又用了一个header，所以我把它变成true。然后穿越螺丝，比如说这个哨最终要连的穿越等于几个两个格，你看就这么来。啊，所以说这个配置软件是按照官网啊，一点点去配置，就这么简单。

那好，那继续，那这个S完事之后，那下边嗯，要配置它对应的拦截器啊拦截器，那拦截器大家还会不会内。应该没问题哈，来我们继续去官网上去检索。哎，看是兰器，那你看看你看他怎么给你配置的。啊，一定要学会去看这个质量啊，那这里面in特萨斯是不是配置了两个拦截器啊，I1和IR，那I1TYPE类型对应了一个org，嗯，然后这是不是一个全类名啊O，然后后边有一个do啊这这么一个格式，其实前面是一个全列名，后面加上一个build。

那再往下。它还有一个I2I类型，这。是不是它呀，啊是他啊好，那I1I2啊，两个拦截器啊，前面这个一选择，那你看我怎么配。定义两个拦截器，I2IE对应的类型，Com点20V5，这是我定义的这个拦截器的全类型，然后后面Dollar build啊，这个Dollar build其实是一个静态内不类直接调对象方法啊，调对项，那还有L2看全类名Dollar build。没了，这就是第一个拦截器。简单吗？啊，所以说日后看官网啊，要把里面的东西提炼出来啊放在这。啊，这也是呃，学生出去的一个感慨，就是最好的东西，一个是官网，另一个就是3V5的文档，OK，好吧，这就是拦截器啊，又搞定了啊，拦截器搞定之后，下面还有。

啊，还用到了一个选择器。那么问题窗口选择性有几种？两种分别是。Replacing和mark这么两个对吧？啊，那这两个什么区别？Replacing。发生给下一节所有的才能对吧，那八呢啊，根据这个选择去匹配对吧？啊方法不同的啊，那这里面呢，其实它是跟谁配合的呢？跟上面的分类型这个来截器，你自己定义的分类型。啊去配合的，在这个里面我们实现了一个什么功能呢，把这个包里的内容。

取出来放到里面，那包里面我翻的类型分别是包含start的。放在这里面的topic start。比如说匹配这个，那这里面还有一个是不包含star的，其实是一我把它放到它的一个一本这里面啊，那在这个这个里面实现的过程呢，是里面有一个点。不到一个K和一个Y0，那K对应的就是那个草平，Y6对应的是分别是两个值。存两次。可以是start，也可以是一。啊，去这么一个区分哈，好那行，那这个是传选择器。再往下。再往下这一面儿。那对应的就是卡夫卡China啊卡巴China，那卡卡China你不会简单的来说说。

哎，这里面就有了是吧。嗯，就这个这个简单一些，那你看一下这个卡帕尔传导往上找啊，这这不是卡传导嘛，对吧，卡帕尔传头啊，下面就是全部是它的配置，那往下走啊，走到这，那这给你提供了一个卡帕传能拉力，那这一个它的类型卡帕传灯，接下来呢，是不R的server啊这应呢是对应的谈brokeer对吧？啊集群，然后呢，对应的是谈判的topic写到哪一个。主题上啊，然后后边有一个消费者主啊，定义了一个消费者主，给他起个名字，那你看我们呢。首先这个是China的类型，那肯定是卡普卡title，那下一个呢，是这个卡卡的so是到brokeer来，九十九二是不是这些，然后对应的是卡不卡的topic，你说你要把这个数据写到卡普卡的哪个它平里面去，是不是写到这里面去。

然后后面他还有一个卡布卡的消费者主啊，定义为消费者主没事没问题，那这里面唯一就我给加了一个这个东西。啊，就加了一个，它为什么要加他呢，来看。还谈那么认真？是这个house来的，它默认是true啊呢，它是解析这里面的。内容啊，它会对这个解析完的这个健身数据在前面加上一个前缀。加上topic主题的一个前缀，比如说style。那这个是我不想要的。如果加入这个前缀的后果是什么呢？我们到了还有下一级的时候，我要给他截取出来。

啊，不要把它去掉。那我是不是就麻烦了，增加我这个工作量了，哎，我不想要这个前缀，因为我知道他是未来要去哪啊，非常清楚怎么解析，OK，所以说我把它干掉啊，在那啊是这么一个原因哈，所以说那你看那正常这些配置就是按照官网一点点配置来的。啊，就这讨论。所以说日后呢，大家再学习啊通管还是什么，还其他一些新的框架啊，就是按照这个官网去一点这匹配啊就没问题了啊行，那这是这一块，那下边呢，这个快速过一遍。这刚才已经说完了啊，这么多配置文件，第一块呢，就是定义组件啊，组件一个是S，一个source，两个参定义出来，那下边呢，就是先配置它的S，我这里选择的是太阳DR source啊，这个呢是来控制它的up outside偏移量的一个存储位置啊，还有的是读取日志的啊位置，比如说你读的是哪一个文件夹下的数据之后，那这个呢是拦截信，两个拦截信一个ETL，一个日志分类型，再往下呢是那个日志类型，一个就是选择器啊，全头选择器啊，最后呢，是对应的发往不同的卡普卡圈头里去啊。

好。再就是分析这个分配。