我是python的新手，这里我想使用http请求创建dataproc集群。我遵循下面的dataproc文档，它们在REST API部分中提到。请参阅下面的Endpoint_URL = "https://dataproc.googleapis.com/v1/projects/*******/regions/us-central1
浏览 20提问于2019-08-09得票数 2
过去，我可以通过Yarn杀死命令而不是通过命令(这要慢得多)来杀死在Dataproc上运行的Spark作业。然而，我不再能够这样做--只有GCP UI才能工作。
是什么改变了还是我现在做错了什么？我使用的是Dataproc版本1.2 (这在过去曾经起过作用)。
浏览 2提问于2019-07-10得票数 2
回答已采纳
我正在通过REST API ( ZEPPELIN类型)创建Dataproc集群。在关机之前，我想将一些设置复制到GS (例如解释器实例)，然后在启动后加载它。计算实例本身包含这样的选项(https://cloud.google.com/compute/docs/shutdownscript)，但是如何通过REST API将其集成到集群创建</
浏览 6提问于2019-03-05得票数 0
回答已采纳
我需要触发Spark使用API调用从JSON文件聚合数据。我使用spring引导来创建资源。因此，解决方案的步骤如下：
使用指定的jars、类从REST方法中触发聚合spark作业，参数是json文件链接。我希望使用Dataproc的Java客户机而不是控制台或命令行来触发作业。你是怎么做到的？
浏览 1提问于2016-02-24得票数 5
回答已采纳
对于处理，我们目前使用的是google cloud dataproc & spark-streaming。我想使用REST API提交一个Spark作业，但是当我使用api-key调用URI时，我得到了以下错误！caller does not have permission", }URI :- *
我从google console> API管理器创建</em
浏览 2提问于2016-06-13得票数 0
2回答
Databricks是否支持提交类似于Google Cloud Dataproc的SparkSQL作业？ Databricks job API似乎没有用于提交Spark SQL作业的选项。参考：https://docs.databricks.com/dev-tools/api/latest/jobs.html https://cloud.google.com/dataproc/docs/reference/
浏览 41提问于2020-07-01得票数 0
1回答
我在Dataproc集群上运行了一个Spark作业。如何配置环境，以便使用IDE在本地计算机上调试它？
浏览 1提问于2020-07-23得票数 6
回答已采纳
我需要提供一个dataproc集群保护，就像一个AWS EMR集群一样。我看到VM保护是一件事(但是找不到任何有关dataproc集群保护的东西)，所以我决定尝试一下。我创建了一个dataproc集群，用于打开删除保护的每个实例。
为了测试这种安排的安全性，我尝试从命令行中删除集群。因此，集群现在一直有一个危险的标志。我的问题是:考虑到持久的错误消息，集群还行吗？我是否完成了我所寻求的集群<
浏览 1提问于2018-09-27得票数 2
回答已采纳
我使用rest在dataproc中创建了我的集群，并使用了自动区域放置来自动选择区域。我在请求中给出了zoneURI:'‘
我的问题是，自动区域的放置是随机的吗？
浏览 1提问于2022-07-19得票数 2
我正在尝试在Dataproc工作流模板中设置自动区域放置Google Cloud SDK 244.0.0PROJECT
--metadata google-compute-default-region=$REGION
创建模板gcloud dataproc workflow-templates create $TEMPLA
浏览 0提问于2019-05-06得票数 3
我想为我正在运行的所有dataproc集群创建一个空闲或正常运行时间度量，从我在堆栈驱动程序中看到的情况来看，我无法这样做。我的场景是，我对每天运行的dataproc作业进行了计时，在完成作业后，我删除了集群。如果有空闲的dataproc集群在一个小时内什么都不做，或者一个dataproc集群的正常运行时间超过24小时(甚至20小时)，我想通过电子邮件创建一个警报。
谢谢。
浏览 0提问于2018-05-23得票数 1
回答已采纳
我可以通过命令行向dataproc提交作业。gcloud dataproc jobs submit pyspark --cluster=my_cluster --region=myregion --py-files file1.py script.py我想将此命令行转换为对rest api https://cloud.google.com/dataproc/docs/guides/submit-job的POST请求</e
浏览 16提问于2020-04-23得票数 3
回答已采纳
我是Google云和评估Dataproc集群的新手，其核心需求之一是动态创建集群并处理作业。对于各种文档读取和，我尝试创建一个服务帐户并添加以"Dataproc“开头的角色。gcloud auth activate-service-account --key-file=<Key File>
浏览 4提问于2020-05-07得票数 2
回答已采纳
1回答
通过查看Google文档，我能够向Dataproc集群提交Spark作业，并在集群中安装JupyterLab，以便在笔记本上运行迭代操作。但是，我无法找到使用DataProc集群资源从本地木星笔记本(在我的计算机上)运行迭代命令的正确配置。我特别感兴趣的是从本地JupyterLab创建集群，然后使用pySpark (考拉)对托管在BigQuery和GCS上的大型数据文件执行一系列操作。我的目标是在本地JupyerLab中使用Dataproc</
浏览 3提问于2022-01-11得票数 2
1回答
有一个来自长期运行的操作(启动Dataproc集群)的operation_id，我试图让操作实例在Python中调用operation.result()。首先查看Rest引用，生成的GET请求如预期的那样工作： 'https://dataproc.googleapis.com/v1/projects/myproject/regions/以下是我尝试过的：
client_options = ClientOpti
浏览 13提问于2022-07-26得票数 1
回答已采纳
在这个吊舱中运行的进程需要与GCP的Dataproc服务进行交互，以便创建Dataproc集群。我们使用运行我们的GKE应用程序。iam.workloadIdentityUser serviceAccount:mygcpproject.svc.id.goog[static11-dsp-dp-airflow/dp-airflow] },
该自定义角色获得了调用dataproc API
浏览 3提问于2020-09-17得票数 1
回答已采纳
2回答
我在自己创建的集群上通过Google的dataproc运行一个pyspark应用程序。在一个阶段，应用程序需要访问亚马逊S3目录中的目录。在那个阶段，我得到了错误：
s3访问密钥ID和秘密访问密钥必须分别指定为AWS URL的用户名或密码，或者分别通过设置fs.s3.awsAccessKeyId或fs.s3.awsSecretAccessKey我登录到集群的头节点，并使用我的AWS_ACCESS_KEY_ID和AWS_SECRET_ACCESS_KEY
浏览 12提问于2016-09-07得票数 2
假设我们有一个api：我们想要获得id为678的人，然后用这段信息呈现一个页面。我假设这可以做类似这样的事情： var people = get("/api/people/678");});
在一些研究之后，我发
浏览 2提问于2016-01-08得票数 0
当试图使用Dataproc创建一个新的Compute集群时，它会抱怨说，当我指定一个“真实”区域(如“us-west1 1-a”或“us-central1 1-f”)时，我会收到一个错误消息，即指定的区域不受此端点的支持endpoint; permitted regions: [global]"生成以下内容的代码段：createOp = dataproc.projects
浏览 3提问于2016-12-08得票数 0
回答已采纳
这些作业在dataproc上作为火花作业运行。白天有很多工作要做，但晚上可能没有工作。我想知道在这些停机期间终止集群并在收到新作业后重新启动或重新创建集群的最佳方法是什么？
浏览 2提问于2016-04-05得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
即时通信 IM活动推荐
腾讯云开发者
