如何更改已有Dataproc集群的云存储分段存储桶？
要更改已有Dataproc集群的云存储分段存储桶，可以按照以下步骤进行操作：
- 登录到Google Cloud Console。
- 在导航菜单中，选择"Dataproc"。
- 在Dataproc控制台中，选择要更改存储桶的集群。
- 在集群详细信息页面的顶部，点击"编辑"按钮。
- 在"编辑集群"页面中，找到"Cloud Storage分段存储桶"选项。
- 在"Cloud Storage分段存储桶"下拉菜单中，选择新的存储桶。
- 确认其他配置项是否需要修改，如需要可以进行相应的修改。
- 点击页面底部的"保存"按钮，保存更改。
- 等待一段时间，系统会自动将集群的云存储分段存储桶更改为新的存储桶。
相关·内容
目前，我在欧洲地区运行我的Dataproc集群。我在同一个集群上运行spark应用程序。当使用spark中的Google云存储连接器写入bucket时，bucket会自动使用Multi-Region类和美国属性中的多个区域创建。这将在具有上述属性的位置中创建新的存储桶。
已尝试查找配置以在连接器中设置存储类，但未成功。我们如何解决这个问题。
浏览 0提问于2019-06-09得票数 1
我有一个Dataproc集群，它的Cloud Storage staging bucket被设置为一个不再存在的存储桶(仅用于测试目的)。我们希望使用另一个存储桶来代替。我如何将这个集群连接到那个存储桶？我对Google Cloud平台非常陌生，因此任何额外的概念性信息也将非常有用。
浏览 18提问于2018-01-26得票数 0
我是gcloud和dataproc的新手，我使用gcloud控制台。Dataproc无法自动为我的帐户生成登台存储桶，每次我需要在配置集群时将每个新集群的现有存储桶指定为“登台存储桶”，否则会显示错误。{ "message": "Google Cloud Storage bucke
浏览 3提问于2020-06-09得票数 2
由于Dataproc集群的计算引擎使用默认的服务或自定义服务帐户凭据来使用--properties core:fs.gs.auth.service.account.json.keyfile连接到存储桶，hadoop集群，而且gcloud cli也没有在客户端的存储桶上执行任何访问验证，作业总是以root用户的身份执行。请让我知道如何将用户映射到他们的服务帐户，您有
浏览 2提问于2018-10-29得票数 3
在我创建了一个基于google-cloud的支持hadoop的集群之后，我想要将默认存储桶更改为不同的存储桶，我该怎么做呢？我在谷歌云文档中找不到答案。谢谢!
浏览 8提问于2015-10-28得票数 0
我正在使用Google Cloud dataproc集群运行Spark。在将数据集写入GCS存储桶(Google云存储)时，它命中了最后一个分区，这永远不会结束。 它显示799/800任务已完成。但是挂起的%1任务永远不会结束。
浏览 17提问于2020-06-23得票数 1
每当有新文件上传到云存储存储桶时，都会触发云函数。此函数应调用用pyspark编写的dataproc作业，以读取文件并将其加载到BigQuery。我想知道如何从云函数调用google dataproc作业。请提个建议。
浏览 2提问于2018-05-10得票数 2
1回答
我使用Dataproc创建了一个星火库集群，并将Jupyter Notebook附加到其中。然后，我删除了集群，我以为笔记本已经不见了。但是，在创建了另一个集群(连接到同一个Bucket)之后，我可以看到我的旧笔记本。这是否意味着笔记本(或他们的检查点)存储在我的桶里？或者它们存储在哪里，以及如何确保它们被删除？
浏览 4提问于2022-02-09得票数 0
回答已采纳
我正在尝试理解dataproc的操作方面。如果我创建一个dataproc集群，并让该集群节点同时运行该脚本，那么如何在集群节点之间实现并行化呢？每个节点会尝试读取所有文件并进行聚合，还是每个节点都会自动读取各自的
浏览 2提问于2018-11-24得票数 1
我希望在作业完成并删除群集后，能够以编程方式访问我的驱动程序日志。我可以将作业和集群id存储在某个地方，以便以后查找，但我认为只告诉dataproc将日志存储在一个众所周知的位置会更容易一些。有什么方法可以覆盖spark作业的驱动程序输出的位置吗？
浏览 20提问于2019-05-21得票数 1
回答已采纳
1回答
我在Dataproc中运行了一个pyspark作业。目前，我们正在登录控制台/纱线日志。根据我们的要求，我们需要将日志存储在GCS桶中。有没有一种方法可以直接登录到GCS中带有python日志模块的文件？logging.basicConf
浏览 4提问于2022-10-14得票数 2
回答已采纳
2回答
我正在尝试从Dataproc集群访问存储在Google存储桶中的数据。然而，到目前为止，即使我声明我的存储桶文件是公开的，我的作业也会退出，并返回一个错误，即该文件不存在。我考虑尝试将存储桶挂载到集群计算机中的一个文件夹中。为此，我已经成功地在我的初始化脚本中安装了gcsfuse包，并且当我ssh进入集
浏览 0提问于2018-05-01得票数 0
我想使用hadoop文件系统API访问跨gcp项目的云存储，以读取拼图、avro和序列文件。如果我在一个名为"proj1“的gcp项目中设置了一个dataproc集群，如何使用"proj1”中的dataproc集群来读取其他名为"proj2“的gcp项目中的云存储文件？
浏览 15提问于2020-12-21得票数 1
我们正在将EMR集群迁移到Dataproc，并且我们依赖于Oozie来运行我们的工作流。第一个挑战是如何从云存储存储桶中加载workflow.xml。我们过去常常使用S3： oozie.coord.application.path=s3://my_workflow/workflows/daily 尝试在GCS上使用相同的方法根本不起作用 oozie.coord.application.path我
浏览 29提问于2020-04-16得票数 2
回答已采纳
在使用gs://作为默认文件系统创建dataproc集群时，我收到“DataNodes reporting的数量不足”错误。下面是我正在使用的dataproc cluster命令。gcloud dataproc clusters create cluster-538f --image-version 1.2 \
--bucket dataproc_bucket_testwww.googleapis.com/auth/clo
浏览 16提问于2018-09-10得票数 0
2回答
我想知道gcloud和gsuitl之间的区别。我们在哪里使用什么？为什么某些命令以gsutil开头，而其他命令则以gcloud开头？
浏览 1提问于2019-09-28得票数 14
我试图通过Apache气流版本:1.10.15Composer版本: 1.16.4通过DataprocClusterCreateOperator创建dataproc集群，我希望将项目使用的临时存储桶分配给集群，而不是谷歌在运行时创建的存储桶。当我们通过命令行使用option创建集群时，这个选项是可用的，但是这个变量不能通过ClusterCreateOperator传递。Dataproc</e
浏览 13提问于2022-03-04得票数 2
回答已采纳
在从和发出日志时，我已经看到了几个比特，但是没有发现任何可以让我从容器化过程中发出日志的东西，例如DataProcPySparkOperator。到目前为止，我已经将以下内容包含在运行在运算符集群中的pyspark脚本的顶部：logging.info('Test bare logger')
for ls in ['我假设我可以从集群中构建到云存储(或DB)的连接，也许可以从用于读取和写入文件
浏览 2提问于2020-12-08得票数 2
回答已采纳
GCP dataproc -当您终止dataproc集群时，HDFS会自动删除。如何使其持久化HDFS即使您删除了dataproc集群，它也不应该删除HDFS？有可能吗？
浏览 7提问于2021-05-12得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
