我想使用Dataproc在Google Cloud上创建一个摄取/聚合流程，在此之前，我每天/小时都希望在收集的数据上运行Spark作业。 有没有办法安排Spark作业？
浏览 23提问于2020-08-24得票数 2
回答已采纳
我正在使用Google dataproc提交spark作业，并使用google cloud composer来安排它们。不幸的是，我正面临着困难。我依靠.conf文件(类型安全配置文件)将参数传递给我的spark作业。',
dataproc_spark_jars='gs://snapshots/jars/pubsub-assembly-0.1.14-S
浏览 0提问于2018-09-15得票数 3
1回答
我有一系列问题(很抱歉，Google文档太糟糕了，而且不方便用户使用)：
您可以将ssh放入头计算机并在整个集群中运行星火，还是使用Google的gcloud dataproc jobs submit ...命令？当我在本地运行Spark作业并尝试访问时，我这样做是没有问题的。当我尝试使用Dataproc时，
浏览 3提问于2019-01-18得票数 3
2回答
我试图在google dataproc集群上运行星星之火作业，如--jarhadoop-mapreduce-examples.jar \--arg1 \但是“工作”抛出错误
(gcloud.dataproc.jobs
浏览 6提问于2017-04-12得票数 9
回答已采纳
1回答
是否可以使用VertexAI自定义容器模型构建来训练spark/pyspark ML库模型？我在vertex ai文档中找不到任何关于spark模型训练的参考。
浏览 30提问于2021-09-03得票数 0
我有多个谷歌数据流作业，用于数据收集和ETL目的。然后google dataproc作业(Spark)用于进一步的机器学习。
我想把这些工作像工作流一样绑在一起，然后我就可以安排整个工作流程了。
浏览 0提问于2016-05-26得票数 2
我试图提交一个火花作业使用'gcloud数据提交作业提交火花‘，我已经设置为纱线的spark.master。当作业在dataproc集群上执行时，是否可以使用我在gcloud中通过身份验证的google用户或在命令中设置代理用户来运行它？示例命令：- --cluster gov-demo --region europe-west4 \
浏览 0提问于2019-10-14得票数 1
我试图使用REST服务来使用Dataproc客户端触发Spark作业。但是，dataproc集群中的每个作业都需要10-15秒来初始化星火驱动程序并提交应用程序。我想知道是否有一种有效的方法来消除gs桶中的JAR文件触发的Spark作业的初始化时间？我正在考虑的一些解决办法是：
有
浏览 6提问于2016-03-02得票数 0
回答已采纳
我以这种方式向dataproc提交了一个火花作业：
gcloud dataproc作业提交星星之火--集群=$集群--region=$REGION --properties spark.jars.packages=com.google.cloud.spark:spark-bigquery-with-dependencies_2.11:0.19.1，spark.submit.deployMode=cluster错误：(gcloud.<e
浏览 2提问于2021-04-29得票数 4
回答已采纳
我正在使用气流中的DataprocSubmitJobOperator来安排火花放电作业，而且当我无法将pyfiles传递给火花放电作业时达格
# working - passing-4.0.5.jar','gs://dataproc-spark-jars/mongo-spark-connector_2.12-3.0.2.jar','gs://dataproc
浏览 10提问于2022-07-17得票数 1
回答已采纳
我目前在Google BigQuery上有一些reddit数据，我想对选择的subreddits上的所有评论做一个单词计数。查询大约是90GiB，因此不可能直接加载到DataLab中并转换为数据帧。有人建议我使用DataProc中的Hadoop或Spark作业来创建字数统计，并设置一个连接器将BigQuery数据导入到DataProc中，以便DataProc可以进行字数统计。我如何在DataLab中运行它？
浏览 33提问于2021-10-25得票数 1
我在google dataproc上运行apache spark java作业。该作业创建spark上下文，分析日志，最后关闭spark上下文。然后为另一组分析创建另一个spark上下文。根据对SO的回答，当启动作业时没有足够的可用资源时，就会发生这种情况。但这通常发生在工作中途。 我希望dataproc作业出错并退出。但是，作业只会记录此错误。我如何才能使<em
浏览 21提问于2021-04-09得票数 4
我正在使用Dataproc在使用spark-shell的集群上运行Spark命令。我经常收到错误/警告消息，表明我失去了与执行器的连接。: Lost executor 5 on spark-cluster-femibyte-w-0.c.gcebook-1039.internal: remote Rpc client disassociatedReason: [Disassociated]
16/01/20 10:10:24 WARN org.apache.spark
浏览 0提问于2016-01-20得票数 1
我希望在我的dataproc集群的每个节点上设置一个环境变量，以便它可以用于将运行在该集群上的pyspark作业。做这件事最好的方法是什么？我想知道是否有一种使用Compute Engine元数据的方法(虽然到目前为止我的研究表明Compute Engine元数据可以通过Compute Engine实例上的元数据服务器获得，而不是通过环境变量除此之外，除了在dataproc初始化脚本中发出export命令之外，我想不出有什么方法可以做到这一点。
有人能提出其他选择吗？
浏览 1提问于2020-04-14得票数 4
回答已采纳
我在AWS EMR集群上运行了HBase Spark作业。最近我们搬到了GCP。我把所有的HBase数据都传输给了BigTable。现在，我在Dataproc中运行相同的Spark - Java/Scala作业。Spark作业失败，因为它正在查看spark.hbase.zookeeper.quorum设置。请让我知道，如何在不更改代码的情况下，让我的spark作业在Big
浏览 2提问于2018-05-27得票数 0
我在Google dataproc集群版本1.4和spark版本2.4.5中运行spark作业，它从GS存储桶中读取路径中具有正则表达式的文件，并获取以下错误。Exception in thread "main" org.apache.spark.sql.AnalysisException: Path does not exist: gs://<gs_path)
at org.apache.spark.sql.exe
浏览 219提问于2020-08-07得票数 1
可以将Talend连接到Google Cloud Dataproc吗？有没有可用的连接器？在上，它说有，但找不到任何与它相关的文档。如果上述情况属实，我也想知道是否可以使用Talend在Dataproc中的Spark/Hadoop上运行作业。
谢谢。
浏览 1提问于2017-05-16得票数 0
我正在尝试从dataproc spark作业中获取GCP密钥管理器密码。但是我得到了错误"Exception in thread "main“java.lang.NoClassDefFoundError: com/google/cloud/secretmanager/v1/AccessSecretVersionResponse".我已经在dataproc spark作业依赖项中添加了jar
浏览 14提问于2021-03-18得票数 2
通常情况下，如果我将Scala用于Spark作业，我将编译一个jarfile并使用gcloud dataproc jobs submit spark提交它，但有时对于非常轻量级的作业，我可能在笔记本中使用未编译的Scala代码，或者使用spark-shell REPL，在这里我假设SparkContext已经可用。对于其中的一些轻量级用例，我可以等效地使用PySpark并与gcloud dataproc jobs submit pyspark一起提交，但有时我需要更容易
浏览 2提问于2020-03-08得票数 5
回答已采纳
我在Google Cloud Dataproc集群上使用Spark，我想在PySpark作业中访问Bigtable。我们有没有像谷歌BigQuery连接器那样的Spark的Bigtable连接器？
浏览 4提问于2016-11-02得票数 5
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
腾讯云开发者
