目前，我在欧洲地区运行我的Dataproc集群。我在同一个集群上运行spark应用程序。当使用spark中的Google云存储连接器写入bucket时，bucket会自动使用Multi-Region类和美国属性中的多个区域创建。这将在具有上述属性的位置中创建新的存储桶。
已尝试查找配置以在连接器中设置存储类，但未成功。我们如何解决这个问题。
浏览 0提问于2019-06-09得票数 1
我想使用一些AWS EBS卷作为部署的持久存储。我已经配置了存储类和PV，但我还无法配置云提供商。K8s (据我所知)是针对在特定云提供商上运行的Kubernetes集群，而不是使用云资源的on集群。正如标题所述:在on K8s集群上是否可能有AWS持久卷？如果是这样的话，您能成为现有集群的云提供商吗？(我在网上发现的一切都表明您在运行kubeadm init时添加了它)。
谢谢!
浏览 3提问于2020-01-16得票数 1
回答已采纳
这并不是设计用来在基于云的复杂场景中运行的。但是，由于云允许通过VM模拟单个节点，基于云的Hadoop集群应运而生。但这给我带来了理解上的困难。但这给理解基于云的集群是如何工作的带来了困难--特别是HDFS、数据局部性等概念。此外，我们将该存储作为节点本身的一部分，因此我们从不考虑杀死节点并保留存储以供以后使用。
现在，在基于云的Hadoop(HDInsight)模型中，我们可以为集群附加任何Azure存储<
浏览 2提问于2020-09-30得票数 0
回答已采纳
1回答
目前，我正在尝试将文件写入GoogleCloudStorage桶中。为此，我使用了包。$ kubectl exec -it foo-pod -c foo-container --namespace=testing python manage.py shell>>> from django.core.files.storage import default_storage
>>> f
浏览 1提问于2017-11-03得票数 7
回答已采纳
1回答
为什么google cloud click to deploy hadoop工作流程需要选择本地持久磁盘的大小，即使您计划将hadoop连接器用于云存储？默认大小为500 GB。在google云中使用hadoop云存储连接器时，是否有推荐的持久化磁盘大小？Hadoop将部署在单个集群中。默认部署创建1个主VM实例和2个工作VM，每个实例具有4个vCPU、15 GB内存和500 GB磁盘。创建一个临时部署协调器VM实例来管理集群设置。Hadoop集群使用云</em
浏览 7提问于2014-11-23得票数 0
我想使用hadoop文件系统API访问跨gcp项目的云存储，以读取拼图、avro和序列文件。如果我在一个名为"proj1“的gcp项目中设置了一个dataproc集群，如何使用"proj1”中的dataproc集群来读取其他名为"proj2“的gcp项目中的云存储文件？
浏览 15提问于2020-12-21得票数 1
我正在进行一个设计，我的git存储库将位于其中一个google云实例中。我正在尝试使用kubernetes集群并行运行我的测试。但是，我不能与kubernetes集群共享配置到我的实例的标准持久磁盘(拥有github存储库)。我需要容器在位于实例中的存储库上工作，而不想在集群实例中创建它的副本。我已经在虚拟机上使用docker实现了同样的功能，但现在我想将所有内容都放到云上，并在容器环境中运行它。
浏览 10提问于2018-08-17得票数 3
回答已采纳
我正在尝试将Google Cloud Storage文件加载到本地Hadoop集群。我开发了一个变通方法(程序)，将本地EdgeNode和distcp上的文件下载到Hadoop。我已经通过一些网站(，)总结了使用Hadoop谷歌云存储连接器进行这种过程，并需要基础设施级别的配置，这不是在所有情况下都可能的。有没有办法使用Python或Java以编程方式将文件从云存储直接复制到Hadoop。
浏览 0提问于2018-06-15得票数 1
我正在尝试将Redshift迁移到BigQuery。表的大小是2TB+，我正在使用bigquery红移数据传输服务。但是迁移已经运行了5个多小时。将2TB的数据从redshfit传输到BigQuery需要这么多时间，或者可以做一些事情来改进这项工作。
浏览 39提问于2019-07-22得票数 0
作为练习的一部分，我在Databricks平台上遵循了以下步骤：
数据(每个州名文件夹下的拼花文件/分区-从上面的屏幕截图)存
浏览 6提问于2022-05-20得票数 1
在solr中，云和独立模式之间的区别除了：
solr云模式与独立模式的区别在于它使用的是外部动物园管理员集群还是内部集群？先谢谢你
浏览 6提问于2016-12-27得票数 2
我正在从事一个Hadoop项目，并在我的本地集群中生成大量数据。不久之后，我将使用基于云的Hadoop解决方案，因为与实际工作负载相比，我的Hadoop集群非常小，但是到目前为止，我还没有选择我将使用哪一个，即基于Windows Azure、EMR或其他什么。我在本地生成了大量数据，并希望将这些数据存储到一些基于云的存储中，因为我稍后将在Hadoop中使用这些数据，但很快就会使用这些数据。
我正在寻找建议，以决定根据某人的经验选择哪个云商店。提前谢谢。
浏览 0提问于2012-05-08得票数 2
回答已采纳
1回答
我在一个of安装中有很多数据.我想将其中一些内容转移到Google (云存储)，但我有几点担心：
我担心它会在公共网络上传播。安全地将数据从HDFS存储转移到云存储的最佳方法是什么？
浏览 3提问于2017-09-19得票数 0
我已经创建了一个MSK集群和所有相关的配置使用云形成模板。现在我必须用更多的存储更新堆栈。我是否可以修改CF并在模板中指定新的存储要求，然后再次运行CF？它会创建一个新的MSK集群吗？
浏览 2提问于2021-05-11得票数 0
2回答
我正在使用云构建和GKE k8s集群，我已经从github到云构建设置了CI/CD。通过管理CI/k8 yaml文件，实现CI/CD云构建到GKE的最佳方法是什么？
浏览 2提问于2019-05-21得票数 1
回答已采纳
我需要在我自己的硬件上安装一个k8s集群，运行的是ubuntu 18和19，不会涉及云。我读过关于JuJu的文章，但它似乎非常适合各种云。巨菊安装doce提到在您自己的金属上安装，但只包含云(AWS)或在本地主机上安装microk8s的说明。它还谈到了迷人的库伯内特斯，那是什么。看来这些文档是市场部写的。我想要安装真正的kubernetes，而不是一些冒牌货，我想知道JuJu是否是为在我自己的硬件上创建k8s集群而设计的。如果是的话，这个程序在哪里被记录下来？
浏览 0提问于2020-02-23得票数 1
回答已采纳
我目前正在设置Kubernetes集群，但我注意到没有定义默认的存储类。在阅读文档时，有很多在云提供商上部署集群时使用的存储类示例，而不是自托管的。在我的情况下，我需要使用什么样的存储类？
浏览 4提问于2021-06-14得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
