Flum 安装部署
拦截器
下面是一个配置拦截器的例子:
a1.sources = r1
a1.sinks = k1
a1.channels = c1
a1.sources.r1.interceptors = i1 i2
a1.sources.r1.interceptors.i1.type = org.apache.flume.interceptor.HostInterceptor$Builder
a1.sources.r1.interceptors.i1.preserveExisting = false
a1.sources.r1.interceptors.i1.hostHeader = hostname
a1.sources.r1.interceptors.i2.type = org.apache.flume.interceptor.TimestampInterceptor$Builder
a1.sinks.k1.filePrefix = FlumeData.%{CollectorHost}.%Y-%m-%d
a1.sinks.k1.channel = c1
上述代码中,配置了两个名称为i1和i2的拦截器,i1拦截器的类型为HostInterceptor,i2拦截器的类型是TimestampInterceptor,拦截器的类型可以指定完整的类名,也可以指定拦截器的别名(此处指定的是完整类名)。event首先会被传递到HostInterceptor,经HostInterceptor返回后,传递给TimestampInterceptor。
选择器
我们已经知道,Flume Source组件可以将event写入多个Channel,而Channel选择器可以决定将event写入哪些Channel。
Flume内置两种Channel选择器,复制Channel选择器和多路Channel选择器,复制Channel选择器将同一个event发送到每个Channel,多路Channel选择器按照event头部(header)的配置将event发送到相应的Channel。如果Source的配置中没有指定选择器,默认使用复制Channel选择器。
1.复制Channel选择器
复制Channel选择器的常用配置属性解析如表
Channel选择器需要配置在Source组件中,下面是一个复制Channel选择器的配置示例:
2.多路Channel选择器
多路Channel选择器的常用配置属性解析如表
下面是一个多路Channel选择器的配置示例:
下一节我们进行flume各种souce下的实例演示,感谢继续关注
领取专属 10元无门槛券
私享最新 技术干货