社区首页 >问答首页 >将日志从PHP传送到AWS ElasticSearch/OpenSearch时的性能

问将日志从PHP传送到AWS ElasticSearch/OpenSearch时的性能
EN

Stack Overflow用户

提问于 2021-11-05 06:20:53

回答 1查看 199关注 0票数 1

是否建议将日志直接从PHP应用程序发送到ElasticSearch？还是总是更好地存储到文件，并使用文件节拍来传送日志？我很熟悉直接发送给ES的C#和Serilog实现，而且我们从来没有遇到过问题，但我想知道是否可以在不严重影响性能的情况下使用Monolog来实现PHP应用程序。我假设Serilog能够异步发送日志，我不确定PHP上的Monolog实现是否能够这样做，或者只要不频繁的错误日志(但是info/debug日志记录会降低性能)，直接发布就可以了。有人有这样做的经验吗？对于更多的背景，我们将使用AWS OpenSearch，而PHP应用程序也将运行在ECS/Fargate容器中的AWS中，因此它将在同一个网络中运行。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2021-11-07 19:53:41

就我个人而言，我建议将日志记录到一个文件中，然后再发送，不管您最终选择的是哪个数据存储。

原因是，否则您需要处理客户端中的大量逻辑--负载平衡/故障转移、重试、错误处理、背压--尽管另一个用于该数据存储的客户端库可能会将其中的一些抽象出来，但它可能不是最佳的位置。

最大的问题将是背压力。如果发生了延迟或停止登录到数据存储的事件，会发生什么情况？您是否将日志保存在内存中，然后稍后重试？你会一直阻塞直到日志被储存起来吗？你是如何管理这些方面的？

如果您登录到一个文件(甚至是容器的stdout )，您的代码就有了相当清晰的划分点。您可能会备份日志，如果您需要检查它，您可以使用特定于任务的工具来发送日志。

票数 1

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/69854717

复制

相关文章

构建fluentd镜像将收集的日志发送到elasticsearch

容器镜像服务容器

构建脚本： version: "3" services: fluentd: build: ./fluentd volumes: - ./fluentd/conf:/fluentd/etc privileged: true ports: - "24224:24224" - "24224:24224/udp" environment: - TZ=Asia/Shanghai restart: always

johnhuster的分享

2022/03/28

5310

Elasticsearch 与 OpenSearch：详细对比性能差距

Elasticsearch Service

原文：https://www.elastic.co/blog/elasticsearch-opensearch-performance-gap

点火三周

2023/08/10

8.8K1

Elasticsearch 与 OpenSearch：详细对比性能差距

战争升级！Elasticsearch 从客户端向 AWS 开了一炮！

开源 aws elasticsearch 客户端连接

Elastic 开发者上个月向 elasticsearch-py 提交了一个 PR（已被合并），旨在修改 Elasticsearch Python 客户端连接到 Elasticsearch 的验证逻辑。根据 PR 的描述，修改后的客户端将无法连接到由 AWS 维护的 Elasticsearch 分支 OpenSearch，以及一些版本较低的 Elasticsearch 开源发行版，或是托管到 AWS Elasticsearch Service 的 Elasticsearch。 AWS 对此表示：“Ela

程序猿DD

2023/04/04

1.3K1

战争升级！Elasticsearch 从客户端向 AWS 开了一炮！

换协议、改代码，Elastic要逼开发者二选一？

企业开源产品开发者协议

整理 | 褚杏娟、核子可乐没有企业希望他们从自己创造的产品中获得的收益比依赖该产品的其他企业要少几个数量级。为应对云服务提供商，Elastic 近日对其 Elasticsearch 数据库的官方 Python 客户端（Elasticsearch-py）做出了修改，使其无法与各分叉版本相兼容，之后又粗暴地关闭了 GitHub 上的话题评论。这一行为引起了广大开发者激烈讨论。剑指云厂商 Elasticsearch 是一款数据库管理器与分析引擎，在行业内被广泛使用。官方客户端在 Java、.NET（C#）、

深度学习与Python

2023/04/01

6170

换协议、改代码，Elastic要逼开发者二选一？

如何将Flink应用的日志发送到kafka

kafka flink 大数据 yarn node.js

产线环境上的Flink应用是长时运行的应用，日志量较大，通过flink web页面查看任务日志会导致浏览器卡死，通过日志排查问题非常不便。因此，需要将flink应用的日志发送到外部系统，方便进行日志检索

Eights

2020/09/10

2.3K0

如何将Flink应用的日志发送到kafka

继Elastic怒喷云服务商白嫖之后，AWS 终于退出ES的开源分支：OpenSearch！

开源 Elasticsearch Service apache api

一直关注DD的朋友应该还记得，今年年初时Elastic公司曾宣布改变其名下的开源协议，而对此AWS（Amazon Web Services——Amazon云服务）就随即表示自己将在仍为开源状态的 Elasticsearch 和 Kibana（ 7.10 版本）创建分支，今后自己来维护这个分支，做到真正的开源。（AWS回应Elastic修改开源协议：创建“真正”开源的Elasticsearch分支）

程序猿DD

2021/04/20

2.7K0

继Elastic怒喷云服务商白嫖之后，AWS 终于退出ES的开源分支：OpenSearch！

.NET周报【10月最后一期 2022-11-01】

asp.net https 网络安全腾讯云开发者社区 .net

精选要闻 .NET 7 NativeAOT 比.NET 单文件发布文件小 80% https://twitter.com/JamesNK/status/1584919726861737984?s=20

InCerry

2022/11/14

1.4K0

Elastic 与亚马逊达成和解：“只有一个 Elasticsearch”

Elasticsearch Service

软件公司 Elastic 和亚马逊就一起商标侵权诉讼达成了和解。亚马逊开始从网站的各个页面以及其服务和相关项目名称中删除“Elasticsearch”一词，并由 Elastic 销售的 Elastic Cloud 取而代之。这是 Elastic 的一次重大胜利，该公司曾多次与亚马逊发生冲突。

深度学习与Python

2022/03/23

3530

OpenSearch 文档如何进行编译

apache 网站建设开源 Elasticsearch Service 打包

开发人员接受开源软件有很多原因，其中最重要的一个原因是他们可以自由地在任何地方和以任何方式使用该软件。

HoneyMoose

2021/10/29

7500

OpenSearch 文档如何进行编译

CentOS7.9+OpenSearch2.7环境下安装GrayLog5.1

centos7 data 开源软件软件云服务

2021 年，开发Elasticsearch 和Kibana的Elastic公司宣布更改许可证，此举旨在禁止云服务商如AWS使用它的软件作为一种服务提供给客户，但这也意味着这两个软件不再是开源软件。发生此事的原因是，Elastic认为云服务商只使用开源软件，而不向开源软件做贡献。

yuanfan2012

2023/09/06

1.1K0

CentOS7.9+OpenSearch2.7环境下安装GrayLog5.1

将Error异常日志从普通日志中剥离

开发过程中经常需要调试和线上环境查看异常日志的需求，但普通消息与异常消息混在一起实在是非常难得找，上则NM的文档够你头痛，所以就将Error级别的日志抽离出来。　　本示例采用log4net来配置：　　1、先配置web.config，添加： <configSections>  <section name="log4net" type="log4net.Config.Log4NetConfigurationSectionHandler,log4n

欢醉

2018/01/22

7500

将Error异常日志从普通日志中剥离

腾讯云 ES Serverless 初体验

serverless Elasticsearch Service

我们在之前的文章，《浅谈Elasticsearch Serverless设计与选择》中提到过，云上许多数据存储和分析应用正在向 Serverless 模式进行转变。Serverless 是对专有的、需要自管理的集群模式的一种极大补充，特别是对于需要灵活应对需求和负载的变化又不希望预付服务器租赁费用，同时，又期望能够减少运维和管理成本的企业来说，Serverless 不仅便宜，而且更适合快速的构建业务和将产品推向市场，并提供更大的容错性和更低的试错成本。

点火三周

2023/08/15

1.9K1

腾讯云 ES Serverless 初体验

腾讯云 ES Serverless 初体验

serverless es 腾讯云数据索引

我们在之前的文章，《浅谈Elasticsearch Serverless设计与选择》中提到过，云上许多数据存储和分析应用正在向 Serverless 模式进行转变。Serverless 是对专有的、需要自管理的集群模式的一种极大补充，特别是对于需要灵活应对需求和负载的变化又不希望预付服务器租赁费用，同时，又期望能够减少运维和管理成本的企业来说，Serverless 不仅便宜，而且更适合快速的构建业务和将产品推向市场，并提供更大的容错性和更低的试错成本。

铭毅天下

2023/09/20

3660

腾讯云 ES Serverless 初体验

linux审计日志在哪里,linux – 将审计日志发送到SYSLOG服务器

https java 网络安全

这个答案可能仍然有效,但在2014年,using the Audisp plugin是更好的答案.

全栈程序员站长

2022/08/23

4.1K0

Open Distro for Elasticsearch：AWS Elasticsearch 发行版

Elasticsearch Service sql apache 开源

Open Distro for Elasticsearch 是 AWS 2019年宣布开源的 Elasticsearch 发行版。Open Distro for Elasticsearch 是一款完全社区驱动、100%开源、企业级的增强版 Elasticsearch，自带包含安全、告警、SQL、深度性能分析等在内的诸多核心功能。

大数据技术架构

2019/08/16

1.8K0

03 . Go开发一个日志平台之Elasticsearch使用及kafka消费消息发送到Elasticsearch

https://www.cnblogs.com/you-men/p/13391265.html

iginkgo18

2020/09/27

1.2K0

03 . Go开发一个日志平台之Elasticsearch使用及kafka消费消息发送到Elasticsearch

Elasticsearch：Elasticsearch 中的慢日志

大数据 Elasticsearch Service

Shard 级慢速搜索日志允许将慢速搜索（查询和获取阶段）记录到专用日志文件中。日志记录是任何应用程序不可缺的一部分。对于像 Elasticsearch 这样的分布式解决方案，它必须处理大量的请求，因此日志记录不可避免，其重要性至关重要。

腾讯云大数据

2020/10/28

5.3K0

Elasticsearch：Elasticsearch 中的慢日志

Facebook 如何将 Instagram 从 AWS 搬到自己的服务器

迁移 tcp/ip 私有网络

当Instagram在2012年加入Facebook，我们快速建立了大量的Facebook基础设施整合点，以加速产品开发，使社区更加安全。一开始我们通过使用ad-hoc端点在Facebook web服务之间有效传递来构建这些整合。不过我们发现这种方式可能稍显笨拙，还限制了我们使用内部的Facebook服务的能力。

星哥玩云

2022/07/03

1.1K0

点击加载更多

相似问题

AWS ElasticSearch/OpenSearch不从java连接

136

由CloudFormation创建AWS ElasticSearch域(现为AWS OpenSearch服务)时出错

24

将日志从Javascript发送到ElasticSearch

13

在PHP Symfony中从ElasticSearch迁移到OpenSearch

139

AWS OpenSearch vs AWS ElasticSearch。他们之间的主要区别

18

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例