我正在尝试使用Java API创建Dataproc集群，遵循本文档https://cloud.google.com/dataproc/docs/quickstarts/quickstart-lib 示例代码如下所示String.format("Error executing createCluster: %s ", e.getMessage())); }
} 因此，根据文档，我能够成功地创建它
浏览 15提问于2020-07-14得票数 2
回答已采纳
我正在尝试使用库在Dataproc中创建一个集群，然而，当设置region = 'us-central1'时，我得到以下异常：for
浏览 9提问于2018-11-21得票数 2
尝试通过Jupyter Notebook使用Dataproc从计算机进行访问时，我使用pip安装了所需的库。但是，在导入时出现错误 import google.cloud.dataproc_v1 错误信息如下： ModuleNotFoundError Traceback我还尝试了安装包python3 -m pip install google-cloud-dataproc。--
cachetools
浏览 21提问于2020-09-11得票数 1
通过执行此中的步骤，我已经设置了一个运行Presto的Google Dataproc集群。最后，本教程展示了如何通过java应用程序在Presto上运行查询。有没有办法通过我的Python应用程序在Dataproc集群上运行查询
浏览 13提问于2021-03-14得票数 3
我正在尝试使用Python mrjob库在Google Cloud Dataproc上运行Hadoop Map Reduce字数计算示例。: __init__() got an unexpected keyword argument 'channel' 我检查了是否正确设置了GOOGLE_APPLICATION_CREDENTIALS，在Google Cloud上启用了API，并
浏览 36提问于2020-11-01得票数 2
我尝试使用python 创建一个Dataproc集群，该集群的生存期为1天。为此，Dataproc的v1beta2引入了，它是ClusterConfig对象的子对象。我在传递给create_cluster方法的JSON文件中使用了这个对象。要设置特定的TTL，我使用字段auto_delete_ttl，该字段的值应为86,400秒(一天)。关于如何在JSON文件中表示持续时间的：工期应表示为带有后缀s的字符串，持续时间为0、3、6或9个
浏览 4提问于2020-02-11得票数 4
回答已采纳
我正在使用Dataproc集群设置来测试所有特性。我已经创建了一个集群模板，几乎每天都在使用creation命令，但是本周它停止了工作。post-hdfs See output in: gs://cluster_bucket/google-cloud-dataproc-metainfo/number/cluster_name-m/dataproc-post-hdfs-star
浏览 10提问于2022-03-03得票数 2
我正在尝试使用terraform资源google_dataproc_cluster在GCP中创建数据proc集群。我想在此同时创建组件网关。在查看这些文档后，已经说明了如何使用下面的代码片段进行创建： endpoint_config {
enable_http_port_access = "true"并且尝试使用override_properties和GCP数
浏览 11提问于2022-07-25得票数 2
回答已采纳
在创建集群之后，我尝试检索其他组件的URL地址(不使用GCP仪表板)。我使用的是de Dataproc python API，更具体地说是get_cluster()函数。from google.cloud import dataproc_v1
region = 'europe-west4'
client=
浏览 16提问于2020-01-06得票数 3
回答已采纳
我在dataproc中以作业的形式运行以下代码。在“群集”模式下运行时，无法在控制台中找到日志。start_time).total_seconds()如果使用deployMode作为cluster属性触发作业，则无法看到相应的日志。"spark.submit.deployMode"：“集群”
浏览 23提问于2021-12-07得票数 3
回答已采纳
1回答
有一个来自长期运行的操作(启动Dataproc集群)的operation_id，我试图让操作实例在Python中调用operation.result()。/json'gcloud dataproc operations describe some-operation-idclient_options = ClientOptions(
api_e
浏览 13提问于2022-07-26得票数 1
回答已采纳
是否有人有使用HBaseStorage通过Pig从Bigtable加载数据的经验或成功？
在Dataproc主服务器上安装HBase外壳(/opt/hbase-1.2.1)，遵循上的
浏览 6提问于2017-03-21得票数 2
回答已采纳
我正试图通过terraform在GCP中建立一个私有的dataproc集群(1M，2w)。它还应该需要可选的组件，如docker、anaconda和jupyter。" } gce_cluster_config { network
浏览 3提问于2020-03-06得票数 2
回答已采纳
我正在使用Gcloud Composer，试图创建一个创建DataProc集群的DAG，运行一个简单的Spark作业，然后拆卸集群。我正在尝试运行Spark PI示例作业。我知道在调用DataProcSparkOperator时，我只能选择定义main_jar或main_class属性。= CLUSTER_NAME
浏览 37提问于2019-02-20得票数 1
回答已采纳
我正在使用临时GCP Dataproc集群( Apache Spark 2.2.1、Apache Hadoop 2.8.4和Apache Hive 2.1.1)。这些集群都指向相同的Hive Metastore (托管在Google Cloud SQL实例上)。我在一个这样的集群上创建了一个数据库，并将其位置设置为‘HDFS:/ database _name’，如下所示：
$ gcloud dataproc jobs sub
浏览 4提问于2018-11-03得票数 2
目前，我正在谷歌DataProc上开发一个星火应用程序。我经常需要更新Python包。在配置期间，我运行以下命令：gsutil cp gs://mybucket/mypackage.tar.gzmypackage
sudo apt-get install -y python-pip
python setu
浏览 1提问于2016-03-12得票数 0
回答已采纳
2回答
我正试图在google上使用PEX打包一个pyspark作业，但是我得到了一个Permission Denied错误。from google.cloud import dataproc_v1 as dataproc job_clie
浏览 18提问于2022-01-19得票数 2
回答已采纳
我正在使用GCP Composer2来调度pyspark (结构化流)作业，pyspark代码读/写到Kafka。DAG使用操作符- DataprocCreateClusterOperator (创建一个GKE集群)、DataprocSubmitJobOperator (运行吡火花作业)、使用运算符- DataprocSubmitJobOperator( project_id
浏览 29提问于2022-06-02得票数 1
云服务器
ICP备案
云直播
实时音视频
即时通信 IM
腾讯云开发者
