我正在寻找一种将存储在GCP存储桶中的数据自动导出到端点URL (https源)的方法。
我想导出的数据是雪花日志文件,它们按照本指南复制到GCP存储中:
我想将这些日志文件(csv或json)导出到收集器。我见过这样一种情况,即日志资源管理器中的日志可以使用logs + Pub/Sub发送到类似的端点URL。
我做这个最好的方法是什么?
看看Firebaes、Bigquery和其他GCP产品,我目前的问题找不到解决方案。
发布于 2022-04-05 00:00:41
我认为(!?) 日志路由器只适用于发送到谷歌云日志服务的日志条目(记录)。
在这种情况下,雪花将其日志文件直接发送到云存储,您希望基于这些文件触发行为。
基于对云存储桶和对象的更改触发行为的一种方法是在云函数中使用云存储触发器。
我还没有使用EventArc,但它被描述为一种事件驱动机制,并且似乎打算成为一种更通用的方式(支持更广泛的事件集)来触发操作。云存储是EventArc和- IIUC的事件源,您可以使用云运行服务(但不是云函数)作为目标。
下一代云函数平台将云功能部署为云运行服务。所以,如果我是您(重申一下,我不是自己构建的),我想我会尝试在Cloud中使用EventArc,如果这不起作用,就恢复到Cloud触发器。
https://stackoverflow.com/questions/71743804
复制相似问题