首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >直接将日志从应用程序推送到logstash的File择偶vs。

直接将日志从应用程序推送到logstash的File择偶vs。
EN

Stack Overflow用户
提问于 2019-04-15 17:10:11
回答 2查看 2.7K关注 0票数 2

我计划为我们的一个项目构建一个集中式日志系统,该系统包含用Java、Python和Scala编写的多个组件。我想收集日志从不同的部分( REST服务器,火花作业,气流服务器)日志存储和索引到弹性搜索。我可以看到,PythonJava日志记录模块中都有直接库,可以从应用程序直接将日志推送到logstash。我可以看到filebeat,它可以配置在服务器上,将日志从文件中推送到日志中。拥有文件记录而不是直接将日志发送到logstash有什么好处?什么是最佳做法?

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2019-04-17 06:22:30

以下是这两种方法的一些优缺点:

应用程序日志=>日志

Pros:

  • 用于管理和直进管道的较小部件

Cons:

  • Logstash的拥塞或其中断可能会对您的应用程序产生不利影响。
  • 对日志目标的更改可能要求您重新部署或重新启动应用程序。

应用程序日志=> Filebeat => Logstash

Pros:

  • File节拍是一个轻量级实用程序,它允许您将日志处理与应用程序逻辑分离开来。
  • 更改日志目的地是一件轻而易举的事情,它本机支持多个logstash目的地实例之间的负载平衡。
  • 可以使用附加字段丰富日志,也可以只通过更改filebeat配置来执行日志的条件处理,例如将客户A的日志发送到Logstash A
  • 日志是在本地缓冲的,即使Logstash进程重新启动或在一段时间内变得不可用(只要您的日志文件留在磁盘上,由文件调用并具有适当的信任),日志也将可靠地传输到logstash中。

Cons:

  • 在应用程序体系结构中管理的另一个组件
  • 需要额外的系统资源(通常是非常轻量级的处理)
票数 4
EN

Stack Overflow用户

发布于 2019-04-16 06:54:33

File节拍和其他拍子可以直接将消息发送给ES,但是在使用logstash时有一些额外的优势。

  1. 可以根据输入在logstash中使用筛选器。
  2. 它支持Grok过滤器和其他过滤器插件,如csv、xml等。
  3. 它支持多种编解码器。
  4. 您可以使用logstash作为单点来控制所有管道。
  5. logstash可以通过Kibana进行监视。
  6. Logstash管理非常简单,可以通过Kibana执行。
  7. Filebeat只支持输入文件,但logstash支持输入类型上的大数组。
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/55694199

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档