我需要一个关于在Dataproc上设置Zookeeper集成的建议。手头的场景是一个项目，它将有3个长期运行的Dataproc集群，以及每个作业动态创建的许多临时集群。我希望至少有7名动物园管理员组成法定人数，但还没有找到任何如何做到这一点的文档。 我知道我可以将Zookeeper组件添加到每个Dataproc集群，但是如何创建由多个集群组成的集成呢？
浏览 15提问于2020-07-29得票数 0
我试图使用Dataproc集群的一个实例将大型CSV文件导入到HDFS，然后将它们导出为格式，最后将最新版本导入到Bigtable，如下所述：我似乎无法让HBase shell或ZooKeeper在dataproc主VM上运行，因此我无法从CLI运行一个简单的</
浏览 4提问于2015-09-30得票数 3
既然Druid已成为Google ()的可选组件，我想知道如何从Dataproc集群创建Druid配置？我尝试了以下gcloud命令：num-masters=1 --num-workers=2 --optional-components=ZOOKEEPER,DRUID --
properties=druid:druid.storage.type=google但是它
浏览 6提问于2020-08-03得票数 2
我在AWS EMR集群上运行了HBase Spark作业。最近我们搬到了GCP。我把所有的HBase数据都传输给了BigTable。现在，我在Dataproc中运行相同的Spark - Java/Scala作业。Spark作业失败，因为它正在查看spark.hbase.zookeeper.quorum设置。请让我知道，如何在不更改代码的情况下，让我的spark作业在BigTable上成功运行。
你好，Neeraj Verma
浏览 2提问于2018-05-27得票数 0
1回答
我为dataproc亚稳态(与composer的项目相同)创建了一个服务，并试图使用它而不是我的蜂巢仓库。命令成功地运行这个命令，但是当我尝试使用任何气流运算符(如DataprocClusterCreateOperator或DataprocCreateClusterOperator)时，我无法将这个外部dpms传递给我的dataproc我看到它接受了一些参数，比如'dataproc_metastore_service‘，没有任何语法错误，但是它实际上并没有使用
浏览 10提问于2022-06-28得票数 0
回答已采纳
我刚开始使用云服务，在谷歌的云平台上导航是非常可怕的。当涉及到Google Dataproc时，他们确实在宣传Hadoop、Spark和Hive。
我的问题是，Impala到底有没有？
浏览 1提问于2019-05-31得票数 2
1回答
在端口9094上启用了LoadBalancer，而没有TLS。apiVersion: kafka.strimzi.io/v1beta2metadata: logging: #9 loggers:
kafka
浏览 7提问于2022-01-31得票数 0
回答已采纳
',submit_pyspark.set_upstream(simple_bash) 这是我的dataprocjob.pyprojct.dataset.txn_w_ah_demo"df.printSchema() 我的composer管道在<em
浏览 37提问于2020-09-24得票数 2
尝试通过Jupyter Notebook使用Dataproc从计算机进行访问时，我使用pip安装了所需的库。但是，在导入时出现错误 import google.cloud.dataproc_v1 错误信息如下： ModuleNotFoundError Traceback(most recent call last)----> 1 import google.cloud.da
浏览 21提问于2020-09-11得票数 1
我编写了一个DAG来在DataProc集群上执行许多spark任务。这个DAG过去一直工作没有改变，但后来我不得不删除和重新安装气流。现在，当启动when服务器时，我会收到以下错误： task_id = 'run_spark_job',
浏览 0提问于2019-08-29得票数 4
回答已采纳
我们正在GKE上运行一个名为Airflow ()的开源产品。在这个吊舱中运行的进程需要与GCP的Dataproc服务进行交互，以便创建Dataproc集群。我们使用运行我们的GKE应用程序。Kubernetes服务帐户(KSA)已在Google帐户上被授予roles/iam.workloadIdentityUser资源static11-dp-airf@mygcpproject.iam.gserviceaccount.com"
浏览 3提问于2020-09-17得票数 1
回答已采纳
通过执行此中的步骤，我已经设置了一个运行Presto的Google Dataproc集群。
它工作得很好，我可以通过gcloud命令行工具运行查询，如链接所示。有没有办法通过我的Python应用程序在Dataproc集群上运行查询？我知道有适用于Presto的Python客户端，但我找不到有关如何将其与运行在Dataproc集群上的Presto连接的资源。类似地，有一个Python库可以向D
浏览 13提问于2021-03-14得票数 3
我想通过拥有多个机器类型来分析每个Dataproc集群的实际成本，但是我看不到任何选项来获取GCP项目中单个dataproc集群的成本细节，在GCP控制台中，我们可以看到每个dataproc集群的计费细节或成本细节吗
浏览 15提问于2022-11-27得票数 0
是通过网络将数据从Bigtable发送到Dataproc集群以执行映射阶段，还是映射阶段在Bigtable集群上物理运行？
浏览 3提问于2016-12-06得票数 1
回答已采纳
1回答
目前，我们要求通过气流在Dataproc上运行火花作业。
我们能够通过气流在Dataproc上运行Spark，并能够在GCP控制台上检查日志。但是想知道是否有一种方法可以从气流中获取Dataproc作业id并将Dataproc作业日志下载到GCS桶中？
浏览 5提问于2022-03-09得票数 2
我尝试在GCS和GitHub上保存我的笔记本，但没有成功。
浏览 3提问于2020-07-24得票数 1
我已经创建了一个简单的管道，它从SQL Server表中读取数据，然后写入到BigQuery表中。然后，我将其配置为使用Spark并部署和运行。它从提供dataproc集群开始，我可以看到它相对较快地创建了3个VM，一个master和两个worker。不过，在dataproc UI和Data Fusion UI中，主要的集群创建作业仍然是"provisioning“。大约17分钟后，它失败了。 我在一个企业实例和一个基本实例中都尝试过。06-21 10:59:42,087 - INFO [provisionin
浏览 26提问于2019-06-21得票数 3
回答已采纳
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号