在Google Cloud命令行CLI运行的情况下，您可以使用--jars标志指定本地jar。但是，我想使用Python API提交一个作业。我让它正常工作，但是当我指定jar时，如果我使用file:前缀，它将在Dataproc主集群上查看，而不是在我的本地工作站上。有一个简
浏览 10提问于2021-02-26得票数 2
回答已采纳
我正在使用气流中的DataprocSubmitJobOperator来安排火花放电作业，而且当我无法将pyfiles传递给火花放电作业时达格
# working - passing，我将move2mongo_api.zip上传到存储桶( gs://dagger-mongo/move2mongo_api.zip)。当我运行这个工作流时，我得到<em
浏览 10提问于2022-07-17得票数 1
回答已采纳
我试图通过将gcloud命令转换为API来使用Dataproc，但是我在文档中找不到一个很好的例子。%pip install google-cloud-dataprocfrom google.cloud import dataproc_v1
我需要将以下gcloud命令转换为Python<
浏览 0提问于2019-04-08得票数 1
回答已采纳
谁知道我在哪里可以找到GCP的数据处理程序的docker镜像？我使用过dataproc集群，发现它们相当不错，但我想在本地开发，只有在我准备好处理大型工作时才将我的计算转移到云上。我已经找到了一些可以与pyspark一起工作的docker图像，但我想得到一些像GCP dataproc一样流畅的东西。
浏览 27提问于2021-10-13得票数 0
回答已采纳
我在试着做一份在当地工作的火花作业。它使用谷歌存储。()Lcom/google/api/client/util/DateTime;
at com.google.cloud.storage.BlobInfo.fromPb(BlobInfo.javaDataproc作业使用gcloud-java-storage-0.2.8.jar，尽管定义了该方法，但我尝试了google-api-
浏览 3提问于2016-09-14得票数 2
回答已采纳
我正在尝试使用Python mrjob库在Google Cloud Dataproc上运行Hadoop Map Reduce字数计算示例。Google Cloud上启用了API，并为服务帐户设置了所有必需的角色。mrjob成功地将文件上传到谷歌云存储。但是一旦它试图创建一个新的Dataproc集群就失败了。 可能会出什么问题呢？在Dataproc上启动mrjob的
浏览 36提问于2020-11-01得票数 2
从google-dataproc集群使用/安装python google云api的正确方式是什么？例如，如果我在集群上使用zeppelin/pyspark，并且我想使用pub-sub api，我应该如何准备它？我不清楚在默认集群配置期间安装了什么和没有安装什么，也不清楚我是否应该/如何尝试为google cl
浏览 2提问于2016-03-26得票数 0
我正在尝试将大量数据从GCS传输到S3桶。我使用Google DataProc构建了一个hadoop集群。]@aws-bucket/folder dataproc_hadoop_jars=None,
浏览 7提问于2018-01-11得票数 0
回答已采纳
尝试通过Jupyter Notebook使用Dataproc从计算机进行访问时，我使用pip安装了所需的库。但是，在导入时出现错误 import google.cloud.dataproc_v1 错误信息如下： ModuleNotFoundError Traceback(most recent call last)
<ipython-input-3-fc8862c62c75> in <mod
浏览 21提问于2020-09-11得票数 1
我试着在网站上运行第一个示例 Path jarPath = new Path("target/HadoopStudy-0.0.1-SNAPSHOT.jar");
FileSystem并将应用程序提交给纱线，但是应用程序总是失败的，我在主机上查看了nodemanger日志，我发现了这些错误。PC A上运行这个例子，但是我在PC B上部署hadoop，jar在PC A上。经过调
浏览 3提问于2013-11-08得票数 1
回答已采纳
在使用gs://作为默认文件系统创建dataproc集群时，我收到“DataNodes reporting的数量不足”错误。下面是我正在使用的dataproc cluster命令。gcloud dataproc clusters create cluster-538f --image-version 1.2 \
--bucket dataproc_bucket_testw
浏览 16提问于2018-09-10得票数 0
我正在使用谷歌OCR API，我正在阅读图像和PDF文件，我能够读取和处理图像文件，但是，对于PDF文件，根据，他们已经提到，我们需要将我们的文档存储到谷歌云服务。话虽如此，由于数据的保密性，我不能将我的数据存储到Google Cloud中，我想从我的本地系统上传我的PDF，
浏览 7提问于2018-08-24得票数 6
在google云中使用dataproc镜像版本2.0.x，因为在这个dataproc镜像版本中提供了delta0.7.0。然而，这个dataproc实例附带了pyspark 3.1.1的默认版本，Apache Spark 3.1.1还没有正式发布。因此，没有与3.1兼容的Delta Lake版本，因此建议降级。我已经尝试了下面的方法，在dataproc实例<e
浏览 1提问于2021-02-09得票数 1
2回答
我已经在Google Dataproc/ Spark中使用Python2.7实现了一个推荐引擎，需要将输出作为记录存储在Datastore中，以便随后由App engine API使用。然而，似乎没有一种方法可以直接做到这一点。
据我所知，目前还没有用于Dataproc的Python Datastore连接器。Python Dataflow SDK不支持写入Datastore (尽管Jav
浏览 2提问于2016-11-10得票数 0
我正在使用Google dataproc提交spark作业，并使用google cloud composer来安排它们。不幸的是，我正面临着困难。我依靠.conf文件(类型安全配置文件)将参数传递给我的spark作业。我对airflow数据过程使用了以下python代码：
浏览 0提问于2018-09-15得票数 3
我试图在GCP中创建一个自定义Dataproc映像。它可以很好地处理处于稳定发布状态的基本映像(例如1.3.24)。但是，如果我指定了预览中的基本图像(例如1.4.0)，则会收到以下错误消息：
1.4我得到了RuntimeError: ('Cannot find dataproc base image
浏览 1提问于2019-02-20得票数 0
回答已采纳
我使用以下命令在谷歌DataProc中创建了一个集群： gcloud beta dataproc clusters create my-cluster \
--project my-project \中添加gs://goog-dataproc-initialization-actions-${REGION}/python/pip-install.sh，链接如下：Dataproc python configurat
浏览 10提问于2020-01-29得票数 2
回答已采纳
出于自学的目的，我正在尝试在Google云中创建端到端数据流：我在通过sqoop访问mysql表时遇到了麻烦。我尝试通过以下方式解决此问题:1.将本地主机替换为公网ip。.* TO test@'<ip>' IDENTIFIED B
浏览 26提问于2020-03-06得票数 0
我希望使用JDBC将其连接/写入到使用Cloud编程运行的Postgres SQL实例。我使用了以下jars：
2019-
浏览 0提问于2019-04-01得票数 2
回答已采纳
我正在为一个类项目编写一些代码，该类项目将作业发送到GCP中的dataproc集群。我最近遇到了一个奇怪的错误，我很难把头绕在上面。:67)at com.google.cloud.dataproc.v1我必须为我的项目更改一个依赖项，以便它
浏览 14提问于2021-11-27得票数 3
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
