使用google-fluend将错误消息从nginx日志解析到stackdriver
Google Fluent是Google Cloud Stackdriver的一个开源工具，用于将日志数据从各种来源（包括Nginx日志）解析并发送到Google Cloud Stackdriver日志服务。它提供了一个灵活的方式来收集、解析和传输日志数据，以便进行监控、分析和故障排除。
使用Google Fluent将错误消息从Nginx日志解析到Stackdriver的步骤如下：
- 安装和配置Google Fluent：首先，您需要在您的服务器上安装和配置Google Fluent。您可以按照官方文档（https://github.com/GoogleCloudPlatform/fluent-plugin-google-cloud）提供的步骤进行安装和配置。
- 配置Nginx日志：在Nginx配置文件中，您需要指定日志格式和日志路径。您可以使用以下示例配置：
- 配置Nginx日志：在Nginx配置文件中，您需要指定日志格式和日志路径。您可以使用以下示例配置：
- 这将定义一个名为"stackdriver"的日志格式，并将访问日志写入
/var/log/nginx/access.log文件。 - 配置Google Fluent输入插件：在Google Fluent的配置文件中，您需要配置输入插件以解析Nginx日志。您可以使用以下示例配置：
- 配置Google Fluent输入插件：在Google Fluent的配置文件中，您需要配置输入插件以解析Nginx日志。您可以使用以下示例配置：
- 这将配置Google Fluent使用tail插件来监视Nginx访问日志文件，并使用正则表达式解析日志行。
- 配置Google Fluent输出插件：在Google Fluent的配置文件中，您需要配置输出插件以将解析后的日志发送到Stackdriver。您可以使用以下示例配置：
- 配置Google Fluent输出插件：在Google Fluent的配置文件中，您需要配置输出插件以将解析后的日志发送到Stackdriver。您可以使用以下示例配置：
- 这将配置Google Fluent使用google_cloud插件将解析后的日志发送到Stackdriver。您需要将
YOUR_PROJECT_ID替换为您的Google Cloud项目ID，并提供适当的密钥文件路径。 - 启动Google Fluent：完成配置后，您可以启动Google Fluent以开始收集、解析和发送Nginx日志到Stackdriver。您可以使用以下命令启动Google Fluent：
- 启动Google Fluent：完成配置后，您可以启动Google Fluent以开始收集、解析和发送Nginx日志到Stackdriver。您可以使用以下命令启动Google Fluent：
- Google Fluent将开始监视Nginx日志文件，并将解析后的日志发送到Stackdriver。
通过使用Google Fluent将错误消息从Nginx日志解析到Stackdriver，您可以实现以下优势和应用场景：
- 实时监控：Google Fluent可以实时收集和传输Nginx日志数据到Stackdriver，使您能够实时监控服务器的运行状况和错误情况。
- 故障排除：通过将Nginx日志解析为结构化数据，并将其发送到Stackdriver，您可以更轻松地分析和故障排除服务器错误和异常情况。
- 日志分析：Stackdriver提供了强大的日志分析功能，可以帮助您识别和分析Nginx日志中的模式、趋势和异常情况。
- 自定义报警：通过将Nginx日志发送到Stackdriver，您可以基于特定的日志事件设置自定义报警规则，以便在出现错误或异常情况时及时通知您的团队。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云日志服务：https://cloud.tencent.com/product/cls
- 腾讯云监控服务：https://cloud.tencent.com/product/monitor
- 腾讯云云原生应用引擎：https://cloud.tencent.com/product/tke
- 腾讯云安全中心：https://cloud.tencent.com/product/ssc
- 腾讯云人工智能：https://cloud.tencent.com/product/ai
- 腾讯云物联网：https://cloud.tencent.com/product/iot
- 腾讯云移动开发：https://cloud.tencent.com/product/mad
- 腾讯云对象存储：https://cloud.tencent.com/product/cos
- 腾讯云区块链：https://cloud.tencent.com/product/baas
- 腾讯云游戏多媒体引擎：https://cloud.tencent.com/product/gme
- 腾讯云元宇宙：https://cloud.tencent.com/product/mu
相关·内容
我有一个基本的nginx部署，用于在GKE集群上运行静态内容。我已经按照指令为集群配置了Stackdriver (我为现有集群启用了日志记录)，我还启用了Stackdriver监视特性解释了。日志本身似乎运行良好，因为我可以在Stackdriver中看到nginx中的日志。
我正在尝试创建一些基于日志的度量标准，比如已完成的2xx请求的数量，但是我在Stackdriver中的日志条目中得到的只是textPayload字段。据我所了解，在集群上启用Stackdriver会增加一些Fluentd代理(如果我运行kubectl get pods -n kube-system，就可以看到这些代理)，而
浏览 0提问于2019-01-16得票数 4
回答已采纳
我们开始为我们的项目启用Stackdriver，但当我有一个带有stackdriver日志的ubuntu实例，并且我正在将日志发回(我可以在Stackdriver日志中看到日志)时，当我浏览到错误报告时，它只是一个空白屏幕，上面有一个"Setup Error Reporting“按钮，它将我带到一些API文档，我认为这些文档是为新应用程序编码量身定做的。我们正在运行nginx，日志也在工作，但我无论如何也想不出如何让错误报告正常工作，如果这是可行的话。
浏览 0提问于2016-12-23得票数 0
我在Stackdriver中有一个日志，记录每个进入我的api并失败的请求，我想写一个脚本来统计每个错误消息出现的次数。问题是，Stackdriver V2中的导出功能只允许我接收即将到来的错误消息，但我只关心日志中已经存在的日志条目。有没有办法从Stackdriver下载完整的日志？
浏览 51提问于2017-08-30得票数 16
回答已采纳
我在Linux上运行一个API，作为Google中的Compute实例。这个API是与systemd一起运行的，它正在登录到syslog。我运行StackDriver日志代理将日志传输到StackDriver。
从这个API中，我将Json消息记录到标准输出。如果我阅读/var/log/syslog (或做systemctl status)，我会看到这样的消息：
May 9 14:10:25 test-rulesapi-core-473n dotnet-example[4021]: {"customfield": "value"}
我想要实现的是使这个Json
浏览 0提问于2018-05-09得票数 1
我正在尝试使用google_cloud_logging和Django将JSON日志记录到Stackdriver中。然而，在Stackdriver上收到的格式并不像我期望的那样。 我的settings.py日志设置如下所示： LOGGING = {
'version': 1,
'disable_existing_loggers': False,
'handlers': {
'console': {
'class': 'logging.Strea
浏览 13提问于2019-10-09得票数 1
我们有一个由我们的开发人员创建的内部Java应用程序，它使用log4j来格式化它的日志消息。最近，我们开始在Google引擎上运行这个程序，这样日志就会自动从stdout传输到Stackdriver。但是，所有日志都显示在严重性级别INFO中。其中一条消息有一个textPayload，开头如下：
18 Jul 2019 10:11:32.334 [ERROR] [req=api-test--870259294-18071111-11 sess=cwfscqttcfqh1acsictx3toxv reqMs=4]
显然，开发人员的意图是这是一条ERROR严重性消息，但是因为他们还没有考虑到Sta
浏览 0提问于2019-07-18得票数 1
回答已采纳
我试图在cos映像上设置StackDriver的日志代理，但它的报告是一个不受支持的系统。我的想法是创建一个"sidecar“容器，类似于AppEngine灵活的VM如何将它的日志放入堆栈驱动程序中，但是对于如何实现这一点却很少有指导，而且google通过gcr.io/ URL使用的容器映像没有很好的文档记录(甚至应该在Google之外使用？)
有人对如何做这件事有建议吗？我希望能够监视和警告某些日志，我的nginx容器输出，以及查看主机VM本身的日志。
现在，通过使用我的StackDriver命令中的--log-driver=gcplogs标志，我可以从nginx容器中获得日志到do
浏览 0提问于2017-04-07得票数 3
Stackdriver日志导出会导出整个json对象，而不仅仅是我发送的jsonPayload。
我正在通过Python SDK将JSON数据发送到stackdriver。
数据可以很好地插入到Stackdriver中，格式如下
{
insertId: ""
jsonPaload: [what I sent]
labels: []
logname: ""
receiveTimestamp: ""
resource: {}
timestamp: ""
}
当我将日志导出到GCS时，整个有效负载都会被发送，而不仅仅是我的jsonPl
浏览 1提问于2019-08-30得票数 0
我想知道我需要遵循哪些步骤才能将在我的自定义apache容器中创建的日志(部署在一个带有Kubernetes的容器中)发送给Stackdriver收集器。
我注意到，如果我创建一个带有标准apache (或nginx)容器的容器，access.log和error.log将自动发送到Stackdriver。
事实上，我可以在Kubernetes仪表板和Google仪表板上看到日志-->日志-->日志，而我没有看到任何与我的自定义apache有关的东西.
有什么建议吗？
浏览 5提问于2017-11-25得票数 1
回答已采纳
1回答
只查看中的VM stderr？
、、、、
我将一个玩具程序部署到运行在(GCE)上的VM实例中。这个玩具程序碰巧将格式化的错误消息记录到标准错误流(stderr)。VM实例启用了Stackdriver，并且我能够看到我的程序中的一些错误消息与许多其他消息交织在一起，这些消息可能是由GCE本身生成的。
是否可以过滤Stackdriver日志查看器，仅显示从VM标准错误流发送的消息，以简化故障排除？
理想情况下，为了简单起见，我不希望依赖任何客户端库。我已经考虑过创建一个筛选器来匹配我可以从环境变量注入的一个特殊的唯一令牌，但是对于一个看似简单的任务(查看标准日志消息)来说，这似乎很复杂。
日志消息如下所示：
2018-10-20T16:
浏览 1提问于2018-10-20得票数 0
1回答
我正在使用标准AppEngine (Java)来开发Java服务。似乎向服务发出的每个请求都被stackdriver自动记录为“请求日志”，并且每个“请求日志”都附加了多个“应用程序日志”。
我需要以某种方式传递一些额外的信息来记录到stackdriver中(比如发出请求的人的用户名)，然后可以通过脚本从stackdriver中提取或抓取这些信息。
我对此有两个问题：
无论如何，我可以将这些附加信息附加到请求日志中吗？
如果我将附加信息作为显示在应用程序日志中的普通日志消息进行日志记录，是否有方法可以将可区分的标记/标签附加到该消息，从而帮助我轻松可靠地提取该消息？(而不是依赖于在消息本身的文
浏览 0提问于2018-07-06得票数 1
我有用json格式编写日志的坞容器。当它们在GKE上运行时，日志以StackDriver格式显示，但是当我使用kubernetes (而不是GKE)在某些VM上运行相同的容器并使用fluentd将日志路由到StackDriver时，日志消息将在" log“键下转义到达。
例：{“流”：“stdout”，"log":"{\"time\":\"2019-07-25T09:55:18.2393210Z\"，.
我如何配置fluentd以与GKE上相同的格式获得日志(没有"log"：和未转义)？
浏览 1提问于2019-07-25得票数 2
2回答
我试图让堆栈驱动程序在Google中运行一个简单的Go应用程序(完全管理)，但是在CloudRun日志中看不到堆栈驱动程序条目。
我创建了基于的
云运行文档，不应执行任何其他操作来编写堆栈驱动程序日志。
我的服务使用默认服务帐户。
我使用Go 1.13编译代码(Dockerfile是从“as- is”复制的)
我试过把它部署到不同的地区，但没有成功
在本地运行容器时，使用服务帐户凭据，堆栈驱动程序日志消息不会出现在本地终端或堆栈驱动程序控制台中。
无论如何，在应用程序启动时，我只看到"Before stackdriver logging"后面跟着"After stack
浏览 1提问于2019-11-17得票数 9
回答已采纳
我在GKE上的k8s集群在默认情况下有一个fluentd pod设置(当前名称为fluentd-gcp-v3.1.0-....)，但是所有的日志都是非结构化的，挤在一个textPayload字段中。如果我的nginx (和所有其他)日志都以jsonPayload格式输出，那会好得多。
如果你打算自己手动安装代理，文档中有很多信息，但似乎没有任何关于在默认情况下在后台安装fluend的GKE上启用结构化日志的信息。
进入其中一个fluentd容器，我看到了以下文件，它们不是上面的结构化日志记录文档中列出的默认配置(nginx/syslog/apache)。
/etc/google-fluentd
浏览 0提问于2019-03-16得票数 4
我正在用Google Script做一个项目，但是Stackdriver日志记录给我带来了一些问题。当我从项目中运行脚本时，我可以查看执行列表，并单击某个执行以“展开”它并显示日志，例如错误消息。但是，如果脚本作为web应用程序运行，例如调用post请求，我就无法查看日志。单击执行不会执行任何操作。这是一个问题，因为我看不到任何错误消息，只是执行失败。
浏览 20提问于2020-02-10得票数 1
回答已采纳
是否可以将PHP、Stacktrace和其他错误显示到用Fluentd和日志文件报告的Stackdriver错误中？
在Java、Python或Go中的一些应用程序中，在Stackdriver报告中会自动显示错误，但PHP不会这样做，我也不知道为什么。
例如，这类错误会自动发送到Google日志记录，但不会显示在错误报告中。
[error] 8795#8795: *6 FastCGI sent in stderr: "PHP message: PHP Fatal error: Uncaught Exception: Always throw this error in /var/www
浏览 0提问于2018-07-31得票数 1
回答已采纳
我正在运行一个部署到Google App Engine的Node.js应用程序。我在使用库的同时还使用了'Stackdriver Logging Winston plugin‘@google-cloud/logging-winston。
[]
[]
我正在通过创建一个接收器将stackdriver日志导出到Google Storage Bucket。目前，所有日志都以'json‘文件的形式存储在存储桶中。我想让他们存储为'csv‘文件。
我目前正在尝试修改生成winston日志的格式，以便将它们转换为csv格式，但无法这样做。
我还研究了Stackdriver Logg
浏览 6提问于2018-02-22得票数 0
回答已采纳
.netcore应用程序的默认日志条目被写入标准输出，并被GCP解释为一条信息消息，即使它是一个错误。是否有一种方式将.netcore错误写入stderr或以某种方式配置它们，以便Stackdriver将它们解释为错误？
Stackdriver日志条目：
.netcore应用程序日志条目：
浏览 5提问于2020-07-21得票数 5
回答已采纳
1回答
我正在使用django进行日志记录。这是我到目前为止所知道的：
from google.cloud import logging
client = logging.Client.from_service_account_json('file.json')
client.setup_logging()
LOGGING = {
'version': 1,
'handlers': {
'stackdriver': {
'level': 'INFO',
浏览 0提问于2018-11-13得票数 2
1回答
我正在尝试使用现有的google代码(PubSubToBigQuery.java)来解析StackDriver日志消息并将它们推入BigQuery。
问题之一是SD日志字段的名称是"@type"，这是BigQuery不能接受的。因此，我用不同的字段名(mytest)在BigQuery中创建了该表。
现在，当我运行PubSubToBigQuery.java时，显然我得到了一个错误消息
"@type“字段未找到。
如何在我的束代码中将列名从"@type"重命名为"mytype"？
浏览 0提问于2019-02-09得票数 1
回答已采纳
1回答
我有一个运行在google计算云上的VM微实例，我想将一条错误消息记录到stackdriver。此页面的显示了此示例
logger "Some test message"
这对于正常的消息非常有效，但我希望stackdriver将一些消息识别为错误，这样它们就会在这里显示，这将允许我获得电子邮件通知。
我知道gcloud工具有一个测试版的日志记录解决方案，但我希望避免安装它所需的额外组件。
浏览 12提问于2017-08-20得票数 0
2回答
我似乎在某处遗漏了一些配置，但不知道在哪里。
我的应用程序(golang)正在使用stackdriver日志记录。当我在本地运行时，它工作正常，并且我的日志消息显示在Stackdriver中。当我在GKE中运行时，我的自定义记录器消息不会显示。
任何标准输出消息(fmt.println())都将显示在堆栈驱动程序中。他们只是不会有适当的严重性，而更愿意使用日志API。我可能在GKE实例中错误配置了什么，导致google日志不显示？
对于这篇含糊的帖子，我很抱歉，但我没有太多东西可以继续，也没有收到任何错误。
这是我发送消息的代码，如果有帮助的话。
func logMessage(mes
浏览 2提问于2018-12-15得票数 4
我们将json内容从我们的pod记录到STDOUT中，GKE很好地将它们发送到stackdriver日志记录中，然后在stackdriver日志记录中将其解析成一个jsonPayload。
当我们在GKE集群定义中选中Try the new Beta Monitoring and Logging experience复选框时，json解析能力就会丢失，日志内容就会被当作一个textPayload，所有的json解析都消失了。
这是一个bug吗?有没有需要修复的ETA？
浏览 0提问于2019-02-19得票数 0
我在Google平台上使用云功能。我已经设置了一个Stackdriver警告策略，以便在这些函数超过执行时间阈值时向我发送通知。
我想具体地获取违反此策略的函数实例的日志。但是，当我单击Stackdriver用户界面的策略冲突页面上的" logs“链接时，它将显示该函数的所有日志。
如何过滤云函数日志以只获取违反Stackdriver警告策略的实例日志？
更新：
为了澄清，我的意图是获取违反策略的实例的文本日志，而不是摘要度量。
浏览 0提问于2019-09-05得票数 0
1回答
嗨，假设我有一个从StackDriver到谷歌云存储的接收器，用于存档。日志在StackDriver上的保留期结束后，我是否可以使用登录到谷歌云存储上的日志再次填充StackDriver？
浏览 14提问于2020-09-30得票数 0
回答已采纳
我真的希望有人能帮我解决这个问题，因为我已经想了好几天了。
我在GKE的kubernetes有集装箱。在/var/log/containers/my_carner.log中，我有类似的内容(在其他一些具有不同格式的日志中)：
{"log":"17-Oct-2017;04:36:29.744 : [main] [server:] [id:] [yt:] ERROR no.myproject.service.Server - call failed for some reason\n","stream":"stdout","t
浏览 4提问于2017-10-17得票数 1
回答已采纳
我最近将我的Rails应用程序部署到了GAE。然而，它抛出了一个错误，因此我需要检查日志文件，以找出发生了什么。通常，我会访问logs/production.log来查看哪里出了问题。这种情况下如何访问logs/production.log？
我已经检查了Stackdriver日志提供的日志，但它们大多是nginx和构建日志，并且我找不到production.log文件。
浏览 0提问于2017-06-07得票数 0
我最近开始在我的Kubernetes集群上使用stackdriver日志。服务正在记录json有效负载。在stackdriver日志中，我看到json有效负载被正确解析，但所有内容都有严重的“错误”。这不是故意的。这些日志大部分都不是错误。它们也不包含错误字段或类似字段。有没有办法告诉stackdriver如何确定从kubernetes中的日志代理收到的日志条目的严重性？或者我需要以某种方式修改我的结构化日志输出，以使stackdriver更好地理解它？
提前谢谢。
浏览 1提问于2017-04-04得票数 14
3回答
将日志从GCP导出到Splunk
、、、、
我很难理解GCP：的这个定价图
我正在尝试将日志从日志API直接导出到Cloud /Sub，但是我看到的所有实现这一目标的文档都是从Stackdriver创建一个接收器：
我不希望在将日志导出到Cloud /Sub之前将日志输入到Stackdriver中，因为这会带来成本。我是正确地看了图表，还是他们没有为此收费？
任何帮助都是非常感谢的。
浏览 1提问于2019-02-21得票数 1
回答已采纳
5回答
我正在尝试将信息/错误日志从用Go编写的云函数发送到GCP上的StackDriver日志，但是所有日志都没有日志级别分配。
我已经从创建了函数来演示问题。
浏览 0提问于2019-08-06得票数 2
我一直在尝试设置一个自定义的多行日志解析器，以便将带有一些可读字段的日志放入Stackdriver中。目前它看起来是这样的：
<source>
type tail
read_from_head true
path /root/ansible.log
pos_file /var/lib/google-fluentd/pos/ansible.pos
time_format "%a %b %e %T %Z %Y"
format multiline
format_firstline /Started ansible r
浏览 2提问于2017-07-06得票数 0
我有一个运行在appengine上的java应用程序。
我将我的日志记录在json结构中，然后我可以在上看到我的日志(就像在中一样)
package com.foo.bar;
public class MyClass {
private static final Logger log = Logger.getLogger(MyClass.class.getName());
public void myFunc() {
log.info("{msg: 'hello', corId: '123'}");
浏览 1提问于2017-03-23得票数 1
我在GAE标准环境中有一个python应用程序，我使用内置的python日志api记录错误： logging.error('some error') 然后，此错误将作为错误日志项正确显示在StackDriver日志中。 是否有可以设置的设置，以便在StackDriver日志记录中添加新的错误日志项时收到电子邮件通知？ 请注意，我指的不是StackDriver错误报告页面。这是另外一件事，上面的错误没有出现在那里，因为对于StackDriver错误报告项AFAIK，我需要使用一些特定的API调用。 我指的是出现标准StackDriver日志的python日志查看器。我是否可以在
浏览 27提问于2019-05-12得票数 0
回答已采纳
我已经为数据流作业生成的一些日志消息创建了基于日志的度量。此度量所基于的筛选器运行正常(使用此筛选器时，预期数据将显示在日志查看器中)。
我正在尝试使用此用户定义的基于日志的指标创建仪表板，遵循此处所述的步骤
但是，在我从metric下拉列表中选择自定义指标后，预览图表中没有显示任何数据，并且Save按钮也未启用。尝试使用高级选项也无济于事。
故障排除部分没有帮助。此外，在创建基于日志的度量之后，在尝试创建图表以确保数据可用之前，我等待了很长时间(以排除上面提到的页面上提到的情况：“注意:创建基于日志的度量后，它将出现在相关的Stackdriver Monitoring菜单中，但它将没有数据。
浏览 6提问于2016-10-26得票数 4
我遇到了一个问题，谷歌云日志模块似乎没有记录到StackDriver中正确的严重性过滤器。我已经尝试了模块的V1和V2，但我只能将内容记录到info严重性或error严重性。我们真的可以使用日志级别来匹配严重性筛选器，以便像logging.debug这样的语句实际上打印到StackDriver Debug严重性。此外，如果我们需要提供更多信息，我们希望这些消息可以作为dict对象发送，并发布到函数日志中，而不是StackDriver中的全局日志。
我能让它工作的唯一方法就是这个笨重的日志方法log_struct，而且我必须在每个日志中传入一个资源，这对其他开发人员来说很麻烦。我真的可以使用一种
浏览 5提问于2020-03-11得票数 0
回答已采纳
我有大量日志数据从StackDriver导出到。我正在尝试使用BigQuery运行查询。
但是，在BigQuery Dataset中创建表时，我将得到
Invalid field name "k8s-app".
Fields must contain only letters, numbers, and underscores, start with a letter or underscore, and be at most 128 characters long.
Table: bq_table
大量日志数据是从包含大量唯一列名的StackDriver接收器中导出的。其
浏览 0提问于2019-09-04得票数 0
回答已采纳
我对stackdriver中的警报有点纠结。我的目标是从MySQL错误的解析日志中发出警报。我有textPayload: "2020-06-24T17:25:05.766410Z 332837 [ERROR] /usr/sbin/mysqld: Out of memory (Needed 1073741816 bytes)"消息，当我有5条这样的消息时，我需要提醒。但是我被指标卡住了，当我试图创建和设置时，我遇到了reg exp错误。也许我需要其他方法来配置它？ ?
浏览 22提问于2020-12-03得票数 2
回答已采纳
我添加了一条简单的日志消息，然后在Stackdriver中看到日志。
但是，有效载荷不会被分割成单独的值。
问题是，有效载荷显示为一个包含消息和有效载荷的大字符串。
我需要一个值列表，这样我就可以查询ex isValid或内容。
如何获得Stackdriver中的值列表的有效负载？
// Log a JSON object at a DEBUG level. The log is labeled
// with the message string in the log viewer, and the JSON content
// is displayed in the expan
浏览 3提问于2020-12-16得票数 2
回答已采纳
我想将一些nginx日志从fluentd发送到elasticsearch，但是由于以下错误消息，fluentd无法启动：
客户端无法验证服务器是否为Elasticsearch。如果服务器正在运行不受支持的产品，某些功能可能不兼容。。
#0意外错误error_class=Elasticsearch::UnsupportedProductError error=“客户端注意到服务器不是Elasticsearch，我们不支持这个未知产品”。
这是我的流利配置：
<source>
@type tail
<parse>
@type n
浏览 10提问于2022-02-26得票数 3
我已经用Deploy a container image to this VM instance在gcp中创建了一个实例模板。
然后创建一个托管实例组，然后登录到其中一台机器中。
在这里，默认情况下堆栈驱动器代理正在运行。
instance-group-1-0qlh # docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS
浏览 2提问于2020-06-28得票数 2
1回答
我试图在StackDriver工具中保存尽可能多的日志。我知道日志可以创建、删除和读取(使用客户机库或gcloud CLI)。
在我的情况下，“审核日志”不是一个问题，因为它们不能被删除，但是其他日志呢？
例如:来自计算实例VM或容器的syslog。
是否有一种方法可以知道哪个用户帐户或服务帐户被用来从Stackdriver中删除日志？StackDriver中的删除会被记录吗？
浏览 0提问于2019-08-29得票数 0
回答已采纳
我想知道对于Cloud Composer部署来说，向Stackdriver发送结构化日志记录的合适方法是什么。我已经研究了python的模块，以便在插件或DAG中调用，但它看起来是为尚未部署日志的项目设计的。
我遵循将我的记录器的输出修改为json格式，输出类似于：{"message": "test error", "severity": "ERROR"}
但是，在检查Stackdriver日志时，这不会被解析为JSON，而是按原样放在消息体中。
下面是它在Stackdriver UI中的样子(我已经用泛型替换了敏感信息。消息字符
浏览 5提问于2018-07-11得票数 1
回答已采纳
Google灵活的环境自动将stdout和stderr输送到Stackdriver (Google日志记录)。但这只支持没有任何元数据的纯文本日志消息(甚至不支持日志级别)。
我找到了用于google云日志记录的Logback appender。
但这似乎还不支持结构化日志记录。此外，它还对遮罩下的每个日志条目进行GRPC调用。因此，我想知道它有多大的可伸缩性(特别是与当前拥有单独的Fluentd代理处理日志的应用程序引擎结构相比)。
是否有任何开箱即用或简单的解决方案将结构化日志从App发送到Stackdriver？
浏览 3提问于2018-06-21得票数 1
回答已采纳
TL、DR;日志级别在使用来自容器的进行Stackdriver调用时被忽略。
Detail;从运行在Google上的Docker容器中获取日志的推荐方法是使用
在所有VM实例上运行Stackdriver代理是最佳实践。代理在Linux和Windows下运行。若要安装Stackdriver代理，请参阅安装日志代理。
成功地完成了下列步骤：
确保Compute默认服务帐户具有Editor和Logs Writer角色。
确保VM实例具有Stackdriver的Cloud访问范围(完整)
安装并启动堆栈驱动程序日志代理。
然后，我从谷歌的中复制了示例。
import log
浏览 0提问于2018-08-22得票数 6
堆栈驱动程序日志似乎截断超过256个字符的日志行。这真的很烦人，因为Stackdriver也不允许您筛选匹配特定字符串的日志行，然后找到它的相邻日志行。
我们的用例是，有时我们希望记录一个非常长的消息(例如，堆栈跟踪)。然后，我们希望能够通过只出现在第一行的标识符来过滤这些消息。我们不能跨多行输出消息，因为当我们过滤时，我们只能找到第一行，而不能找到相邻的行。我们也不能将整个消息输出到一行，因为Stackdriver在~256个字符处截断我们。这使得调试许多错误几乎是不可能的。
FTR，奇怪的是，我并不总是在256个字符处被截断--有时是260，有时是256，我想其他时候可能介于两者之间。
或
浏览 1提问于2017-03-08得票数 4
回答已采纳
2回答
我正在尝试为部署到GKE的应用程序设置Stackdriver错误报告。
据我所知，有两种方法可以做到这一点：Stackdriver日志代理和错误报告REST 。
根据文档，如果我已经有一个正在运行的日志代理，我可以在localhost:24224上找到它。
看起来GKE已经有了一个日志代理：
✗ kubectl get pods --namespace=kube-system
NAME READY STATUS RESTARTS AGE
fluentd-cloud-log
浏览 6提问于2017-01-25得票数 0
回答已采纳
我正在考虑将我的日志发送到StackDriver，而不是CloudWatch。但从文档中看，它似乎只描述了如何使用EC2来做这件事。那么lambda呢？我更喜欢将日志直接发送到StackDriver，而不是从CloudWatch读取StackDriver，以完全消除CloudWatch成本。
浏览 19提问于2019-11-10得票数 0
我正在为我们的网络属性提供分析，基于我们通过一个简单的图像信标收集的仪器数据。我们的数据管道从Flume开始，我需要最快的方法来解析查询字符串参数，形成一条简单的文本消息，并将其推入Flume。
出于性能原因，我倾向于使用nginx。由于已经支持从内存中提供静态图像，因此我的任务简化为处理querystring并将消息转发到Flume。因此，问题是：
集成nginx和Flume最简单、最可靠的方法是什么？我正在考虑使用syslog (Flume支持syslog监听器)，但我正在为如何配置nginx以将自定义日志消息转发到在远程服务器和自定义端口上运行的syslog (或仅TCP)监听器而苦苦挣
浏览 3提问于2012-11-17得票数 1
回答已采纳
1回答
我在GCP上使用了一种不受支持的语言。
Stackdriver是很棒的，它收集我的stdout日志，这是最优秀的。
然而，我似乎不能确定一个严重的。
所有的文档页似乎都围绕着发送完整的日志。
我想知道在将消息发送到stdout时需要什么样子，这样就可以了解消息的严重性。举个例子就太棒了。
浏览 4提问于2019-12-28得票数 3
回答已采纳
如果GCP上禁用了StackDriver，我们将无法从运行容器的GKE集群中获取日志。我知道它在代理stderr/stdout，但当Stackdriver被禁用时，它似乎很难阻止这些输出。
如何让一个ELF堆栈在GKE上运行，而不是为StackDriver收费，也就是完全禁用它？或者它是GKE的一部分，以至于这是不可行的？
来自关于GCP的类似问题的链接的文章：
"Kubernetes没有指定日志记录代理，但Kubernetes版本附带了两个可选的日志记录代理:用于Google Cloud Platform的堆栈驱动程序日志记录和Elasticsearch。您可以在专用文档中找到更多信
浏览 2提问于2018-05-24得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
