前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >filebeat导向kafka多topic

filebeat导向kafka多topic

原创
作者头像
笨兔儿
修改2019-06-20 20:42:25
4.7K2
修改2019-06-20 20:42:25
举报
文章被收录于专栏:笨兔儿

filebeat导向kafkatopic

多行匹配

之前使用filebeat去行读取GC日志,没有使用多行合并,配置如下:

代码语言:txt
复制
# pattern支持正则表达式,很爽
multiline.pattern: '^\[.+\]'
multiline.negate: true
multiline.match: "after"
  • 区配效果pattern: '^b' negate: true match: "after" 日志内容: b c b 匹配结果为: bc b 两段
  • 官方文档 如何使用negatematch组合合并多行日志有很好的说明,记得文档一定坚持看完

kafkatopic

fields自定义字段及值,会在output输出时会做为map形式输出,在codec.string中可以使用%{[]}调用

容器中需要读取GCLog4j产生的日志,在kafka端想创建两个独立的topic,不想共用同topic这时需要filebeat动态支持根据fields定义字段切换topic,配置如下:

代码语言:txt
复制
filebeat:
   prospectors:
      - type: log
        paths:
         - /data/logs/gc.log
        close_rename: true
        fields:
          logResource: "fuck-log"
        tail_files: true
      - type: log
        enabled: true
        paths:
          - /data/logs/${APP_NAME}/*.log
        fields:
          appName: ${APP_NAME}
          logResource: "shit-log"
        ### Multiline options
        multiline.pattern: '^\[.+\]'
        multiline.negate: true
        multiline.match: "after"
        tail_files: true
   registry_file: /var/lib/filebeat/registry/registry
#================================ kafka =====================================
output.kafka:
   hosts: ["x.x.x.x:9092"]
   topic: "%{[fields.logResource]}"
   partition.round_robin:
     reachable_only: false
   required_acks: 1
   compression: gzip
  • 自定义字段fields.logResource在不同input根据业务配置名称
  • topic: "%{[fields.logResource]}"输出端配置自定义字段,filebeat output阶段获取输出对象中自定义值给topic赋值,因为topic获取的就是字符串

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • filebeat导向kafka多topic
    • 多行匹配
      • kafka多topic
      相关产品与服务
      Elasticsearch Service
      腾讯云 Elasticsearch Service(ES)是云端全托管海量数据检索分析服务,拥有高性能自研内核,集成X-Pack。ES 支持通过自治索引、存算分离、集群巡检等特性轻松管理集群,也支持免运维、自动弹性、按需使用的 Serverless 模式。使用 ES 您可以高效构建信息检索、日志分析、运维监控等服务,它独特的向量检索还可助您构建基于语义、图像的AI深度应用。
      领券
      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档