Fluentd学习交流

代码在线跑，知识轻松学

Python精品学习库

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

博客搬家 | 分享价值百万资源包

往期视频·干货材料·成员作品 最新动态

技术创作特训营·精选知识专栏

新邀入驻腾讯云开发者社区，福利多多！

如何运用「云、端融合的数智化安全体系」高效护航数据安全

左手AI，右手安全 —— 一汽丰田数字化转型之路

“ 本文是 filter_grep 过滤插件的使用示例，同时也演示了测试插件功能的一般性方法。”


通过测试 grep 插件，一起了解验证插件功能的方法

熟悉或者使用过 Linux 系统的小伙伴应该知道，Linux 中有三个处理文本内容的利器：grep、awk 和 sed。这其中，grep 算是最常用的文本查找命令了。而正则表达式也是每个软件开发人员工作中不可避免会用到的文本处理方法。

Fluentd 过滤插件：grep 用法详解

fluent-cat 是 Fluentd 提供的一个命令行工具，特别适合于对插件功能的验证性测试。


Fluentd 命令行工具 fluent-cat 介绍

follow_inodes true 这个选项有两个作用：当 path 参数中含 * 通配符时，可以监控相同目录中轮转的日志文件；同时，可以避免 read_from_head true 导致的日志重复问题。

Fluentd v1.12.0 版本发布了

我们在最初的文章中介绍了在 Linux 上安装 Fluentd 的方法，有时候为了做些简单测试，并不需要在服务器上运行 Fluentd。在自己电脑上装一个Fluentd 就可以实现。

在 Windows 系统上安装和使用 Fluentd

我们知道，Fluentd是一个通用的日志采集框架，一个很重要的原因就在于它可以处理各种各样的源数据。

Fluentd插件：解析插件概述

比如，图形图像领域熟知的“滤镜”一词，实际上也是filter。大名鼎鼎的ffmpeg就是通过很多filter来实现音视频的编解码和转码的。

Fluentd插件：过滤插件概述

“ 把日志输出到elasticsearch做业务分析，这大概是最普遍的日志采集用途了”


Fluentd输出插件：out_elasticsearch用法详解

比如，比较著名的web框架Ruby On Rails，我们正在使用的Fluentd。

Ruby快速入门

今天了解的这款插件叫做：record_transformer。
看到名字，你想到了什么？
变形金刚？没错，变形金刚的英文原名就是Transformers。
那么，record_transformer的作用就是用来修改日志记录的。
这个插件可以多途径改变收到的日志事件，是用来对事件进行增删改操作的首选。
record_transformer包含在Fluentd内核之中。
----
【示例配置】

<filter foo.bar>
  @type record_transformer
  <record>

Fluentd过滤插件：record_transformer用法详解

它支持从不同的数据源采集日志和系统指标, 并使用过滤器修改这些数据，然后将其发送到多个目的地.

Fluentd Bit 1.6文档

Fluentd支持从kafka订阅数据，同时支持向kafka发布数据。这两项功能集成在一个插件中：fluent-plugin-kafka，我们在下文中分别称之为输入插件和输出插件。

Fluentd-kafka插件用法详解

告警是预防系统故障的一个重要工具，目前已经有许多成熟的方案通过监控系统运行指标来进行阈值预警。


使用Fluentd发送告警邮件

in_http插件允许使用HTTP协议来采集日志事件。这个插件会建立一个支持REST风格的HTTP端点，来接收日志事件请求。


Fluentd输入插件：in_http用法详解

我们已经介绍了几个Fluentd的输入插件和输出插件，现在先通过一个例子进行阶段总结。


综合使用tail、forward、copy和stdout

copy即复制，out_copy的作用就是将日志事件复制到多个输出，这样就可以对同一份日志做不同类型的分析处理。


Fluentd输出插件：out_copy用法详解

如果Fluentd以daemon方式在后台运行，out_stdout会将事件输出到Fluentd的运行日志中。

Fluentd输出插件：out_stdout用法详解

它允许fluentd从文本文件尾部读取日志事件，其行为类似linux的tail -F命令（按文件名来tail）。

Fluentd输入插件：in_tail用法详解

in_forward插件通常用于从其他节点接收日志事件，这些节点包括其他Fluentd实例、fluent-cat命令行或者Fluentd客户端程序。这是目前效率最高的日志事件接收方法。


Fluentd输入插件：in_forward用法详解

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋 

腾讯云代码助手

CODING DevOps

Cloud Studio

SDK中心

API中心

命令行工具

腾讯云开发者社区推出了Fluentd学习交流专栏，为你提供了Fluentd学习交流的相关文章，致力于帮助开发者快速成长与发展。

Fluentd学习交流

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐