GCP MIG容器日志到GCS存储桶

文章/答案/技术大牛

发布

1回答

docker、google-cloud-platform

在我的GCP项目中，我有托管spring boot的docker容器的MIG。目前，来自spring boot应用程序的日志驻留在容器中，要访问日志，我必须运行以下命令。docker logs <container_id> 我需要从容器中提取日志并将其导出到GCS Bucket。 GCP中有内置的解决方案吗?或者我是否需要在Vms中安装fluentd并使用它将容器日志导

浏览 26提问于2021-09-14得票数 0

回答已采纳

3回答

在无状态(Google Cloud Engine) docker上保存来自R的永久日志的最佳方式是什么？

r、docker、google-cloud-platform

那么，我如何才能保留一个可以从R读取和写入的永久日志呢？目前，我正在更新Google Drive上的一个文本文件，但这并不是最快或最稳定的解决方案--还有更好的想法吗？

浏览 0提问于2020-10-16得票数 1

1回答

GCP -将数据从存储桶迁移到Datalab实例存储

python、machine-learning、google-cloud-platform、google-cloud-datalab

我有一个Cloud Datalab VM，我知道它有一些持久性存储。我将一些数据存储在GCP存储桶中。问题： 1) Cloud Datalab VM持久性存储是否提供比GCP存储桶更好的性能?2)如何将存储桶中的数据迁移到Datalab VM？

浏览 13提问于2018-02-20得票数 0

2回答

授权Google平台服务帐户只访问一个Google存储桶

google-cloud-platform、google-cloud-storage、gsutil、google-cloud-iam

我创建了一个Google服务帐户$GCP_SERVICE_ACCOUNT，它具有存储管理( Storage，roles/storage.admin)角色。现在，我希望限制这个帐户，以便它只能访问特定的Google (GCS)桶($GCS_BUCKET_NAME)。现在的问题是，$GCP_SERVICE_ACCOUNT可以访问所有的 GCS存储桶。我无法从其他GCS存储桶

浏览 5提问于2019-12-04得票数 14

2回答

从python创建GCP实例时复制文件

google-cloud-platform、google-compute-engine、google-api-python-client

现在，我想做的一件事是在实例创建阶段通过python代码将文件复制到这个实例。实现这一目标的方法可能是什么？理想情况下，工作方式是能够检测到实例已经启动，然后能够复制这些文件。

浏览 14提问于2019-11-11得票数 0

回答已采纳

1回答

如何使用VPC网络保护GCS存储桶

google-cloud-platform、google-cloud-storage、google-cloud-networking、google-vpc

我正在探索GCP上的网络安全，有没有人可以解释一下如何在VPC下创建GCS存储桶，或者如何在GCS存储桶上配置VPC？

浏览 16提问于2020-11-17得票数 0

4回答

如何使用python将文件夹从本地上载到GCP桶

python-3.x、google-cloud-platform

我正在跟踪这个链接并得到一些错误： buc="py*****" #this is my GCP bucket address uploa

浏览 22提问于2022-03-25得票数 1

1回答

最优(容错，低成本)方式，以保持写前日志(WAL)在IaaS？

amazon-web-services、google-cloud-platform、fault-tolerance

任何DBMS都需要的一个特性是在崩溃后重放状态的预写日志(WAL) .实现WAL的天真的“云遗忘”方法是将其变成DBMS守护进程管理的磁盘上的文件。在云设置中，这意味着WAL日志要么位于本地附加的“临时”磁盘中，要么位于附加在VM管理程序(如iSCSI )上的SAN (例如EBS、GCE )卷中。考虑到这些语义，我想知道是否还有比SAN卷更适合处理WAL写和崩溃恢复流量的其他IaaS基础设施--组件。我所说的“更合适”，指的是这些考虑因素的某种组合：流协议可以用来与这个底层组件进行通信，它比iSCSI那样的块存储协议更符

浏览 0提问于2019-10-02得票数 0

1回答

项目的GCS存储桶权限

google-cloud-storage、google-compute-engine

我使用GCS bucket上传内容。我正在向我的用户分发一个脚本，帮助他们将GCS存储桶中的内容下载到他们的本地目录。每个用户都是GCP项目的所有者。如何在GCS存储桶中设置权限，仅允许选定的GCP项目访问内容？谢谢

浏览 2提问于2014-11-26得票数 1

1回答

为什么在Firebase云函数中创建的存储桶不会出现在控制台中？

firebase、google-cloud-storage、google-cloud-functions

我正在使用云函数创建一个存储桶，如下所示：这一切都很好，只是我只能在存储浏览器()中看到新的存储桶

浏览 5提问于2018-08-23得票数 0

4回答

码头容积阻力的最佳解决方案

docker、nfs、google-cloud-platform、google-compute-engine、glusterfs

或者我可以使用AWS云存储或类似的解决方案？谢谢你的建议。

浏览 0提问于2018-09-26得票数 3

3回答

如何将Airflow的计划程序日志输出到标准输出或S3 / GCS

airflow、airflow-scheduler

Airflow的调度器容器将其日志输出到/usr/local/airflow/logs/scheduler。我正在寻找将调度程序日志输出到标准输出或S3/GCS存储桶的方法，但找不到。是否可以将调度程序日志输出到标准输出或S3&

浏览 3提问于2021-01-10得票数 1

2回答

为terraform设置gcs后端的问题

google-cloud-platform、google-cloud-storage、terraform、terraform-provider-gcp

我一直在尝试设置一个terraform后端来存储GCS存储桶中的状态文件。我已经创建了一个服务帐户，该帐户是项目所有者，并具有gcs存储桶存储管理员访问权限，但仍面临以下错误： * writing "gs://terraform-ubuntu-state-maintain&#

浏览 0提问于2019-12-21得票数 3

1回答

多区域Cloud联邦BigQuery查询不工作

google-cloud-platform、google-bigquery

根据Cloud联邦查询文档，可以运行多区域BigQuery作业，在指定的多个区域所包含的区域中查询Cloud实例：但是，当我试图在US 4中的Cloud实例上运行一个查询时，它会抛出一个神秘的错误。 SELECT id FROM EXTERNAL_QUERY("project.us-e

浏览 11提问于2020-02-05得票数 2

回答已采纳

1回答

气流遥控测井不工作

logging、google-cloud-storage、apache-airflow

我有一个工作连接(和它的ID)写到，我的气流用户有写到桶的权限。= 'gs://my-bucket/log'仅此而已(我没有碰任何配置，只是那个) 我重新启动了所有的服务，但是日志并没有上传到gcs (我的桶仍然是空的)，我的文件系统空间仍然在减少。您是否已成功地使用gcs启用远程日志？如果是，你改变了什么/做了什么？

浏览 0提问于2017-09-19得票数 3

回答已采纳

1回答

如何用TPU策略加载权重？

tensorflow、keras、tpu

with strategy.scope(): num_layers=NUM_LAYERS, d_model=D_MODEL, is_encoder=True,

浏览 4提问于2022-04-30得票数 0

1回答

在Visual Studio Code上编辑和运行Google Cloud Platform中的Jupyter笔记本

visual-studio-code、google-cloud-platform、jupyter-notebook、google-cloud-storage、google-cloud-dataproc

我有一个运行在GCP上的Dataproc集群，安装了Jupyter组件，它将笔记本存储到GCS上集群的临时存储桶中，并直接通过Dataproc的Jupyter web界面进行编辑。有没有办法使用VSCode直接从GCS编辑和运行(使用jupyter扩展)我机器上的笔记本，这样我仍然可以使用集群的计算资源和GCP中的在线数据？

浏览 41提问于2021-08-17得票数 2

1回答

从GCS (google云存储)外部阶段加载数据的斯诺管道支持

snowflake-cloud-data-platform

(一个用户提出了一个有趣的问题，该用户在这个论坛上发表文章) 我们正在尝试从GCS中摄取数据，并希望使用斯诺管道REST进行此操作，但在这一点上我们没有成功。你们能让我们知道GCS是否支持斯诺管道(用于连续加载以及通过REST端点触发)。此外，如果不支持它，我们能知道时间线什么时候雪管支持将在那里的GCS。

浏览 3提问于2019-10-15得票数 1

回答已采纳

1回答

利用Google和图像优化创建CDN

google-app-engine、google-cloud-platform、google-cloud-storage、google-cloud-functions、google-cdn

我有很多网站，也有客户做的网站，我想优化。我目前正在使用不同的CDN提供者，但我想简化我的工作流程，并希望也降低成本。理想情况下，我还可以访问每个拉区的统计数据(因为我希望向客户收取此服务的费用，而不是猜测)。非常感谢:

浏览 0提问于2018-12-06得票数 13

1回答

确定访问或下载了多少次Google桶中的文件

google-cloud-platform、google-cloud-storage、gcs

有人能告诉我如何跟踪谷歌云存储桶中的文件被访问或下载多少次的逐步说明吗？是的，我知道我可以在GCP日志中创建一个接收器来将日志导出到BigQuery。但我不清楚只导出GCS访问日志的包含筛选器应该是什么，我也不清楚如何查询日志条目。应该不难跟踪一个GCS文件被读取或下载了多少次，但是我还没有找到一步一步的教程来说明如何去做。

浏览 6提问于2022-06-28得票数 0

点击加载更多