1回答
我成功地提交了一个Pyspark作业，我想输出作业的结果。clusterResp.clusterUuid}/` + )
.download(); 但是，结果还包括该作业的所有日志有没有办法让我的pyspark文件打印输出而不显示任何日志信息？
浏览 19提问于2020-04-11得票数 1
1回答
如果pyspark作业符合某个条件，我需要将"DEAD"/"FAIL“返回到作业"status”。示例： from pyspark.sql import SparkSession .master("yarn")\ print("Bye " + str(i))
#Exit the progr
浏览 41提问于2020-01-08得票数 1
我试图在中间层集群上运行一个PySpark作业，但是我似乎无法让它运行。我知道Mesos不支持PySpark应用的集群部署模式，需要在客户端模式下运行。我相信这就是问题所在。当我尝试提交一个PySpark作业时，我得到了下面的输出。... socket.hpp:107] Shutdown failed on fd=48: Transport endpoint is not connected [107]
我认为在客户端模式下运行的sp
浏览 0提问于2015-09-16得票数 3
假设我使用dataproc工作流模板和临时集群运行一个pyspark作业...如何获取在pyspark作业中创建的集群的名称
浏览 0提问于2019-10-17得票数 2
1回答
在dataproc服务器上运行PySpark作业时，如下所示编辑：我想在转换中打印/记录信息。做一些调查，我发现了这个，但是，测试它提供了的结果，它的答案是，在转换中日志
浏览 0提问于2016-05-24得票数 10
回答已采纳
2回答
我正在运行pyspark作业，并且在我的本地机器上使用pycharm，当我的作业运行时，我在控制台中看到以下输出： [Stage 1:========>
浏览 21提问于2020-12-04得票数 0
1回答
所需的输入数据文件也在我的存储桶中。如何触发提交并获得输出？(https://github.com/LiuShifeng/Matrix_Factor_Python/blob/master/dsgd_mf.py) 我已经在GCP上运行了Jupyter notebook
浏览 18提问于2019-04-30得票数 1
在亚马逊网络服务的文档中，他们指定了如何激活对Spark作业()的监控，但不是python外壳作业。使用原样的代码会给出这个错误：ModuleNotFoundError: No module named 'pyspark'
更糟糕的是，在注释掉from pyspark.context import SparkContextpython shell作业似乎不能访问glue上下文？
浏览 0提问于2020-05-22得票数 1
我有一个具有以下内容的sql2.py文件：import pyspark.sqlfrom pyspark.sql import SQLContextfromage >= 13 AND age <= 19")
浏览 2提问于2015-04-18得票数 1
回答已采纳
目前我的Pyspark项目在'dbfs‘上。我配置了一个spark-submit作业来执行我的Pyspark代码(.py文件)。然而，根据Databricks文档，spark-submit作业只能在新的自动化集群上运行(可能是设计出来的)。
有没有办法在现有的交互式集群上运行我的Pyspark代码？我还尝试在%sh单元格中的notebook中运行spark-submit命令，但没有使用。
浏览 4提问于2020-05-22得票数 0
1回答
我有一个在执行期间输出一些日志的DataProc作业。我可以在作业输出中看到这些日志。dataproc.logging.stackdriver.job.driver.enable=true我可以在日志中看到所有系统日志，但看不到我工作的输出。我找到的最大值是滚动输出文件(甚至不是具体文件)的URL
浏览 1提问于2021-03-15得票数 1
1回答
在星团和纱线上运行
、、、
我已经在Apache中创建并运行了一个%pyspark程序，它运行在一个带有纱线客户端的星火集群上。该程序正在从HDFS读取Dataframe中的一个文件，并执行一个简单的groupby命令并成功地打印输出。我使用的是Zeppellin版本0.6.2和Spark2.0.0。我可以看到作业在纱线中运行(参见application_1480590511892_0007)：
但是，当我同时检查Spark时，这个工作没有任何内容：问题1：这个作业不应该出现在这
浏览 1提问于2016-12-01得票数 0
回答已采纳
如何将参数传递到在dataproc pyspark作业提交中调用的python脚本？这是我一直在使用的cmd： file:///usr/test-pyspark.py\这是返回的输出</em
浏览 1提问于2017-11-29得票数 3
回答已采纳
我正在尝试使用Hue在Oozie上运行一个简单的python脚本。}" ]; thenfiPYSPARK<
浏览 1提问于2017-10-20得票数 1
回答已采纳
我刚在Jenkins 1.526上安装了NodeJS插件
但是在主配置上，NodeJS自动安装程序没有出现，这个插件是不是过时了？
浏览 3提问于2013-08-13得票数 7
回答已采纳
我在Windows10环境下使用Python3.9.10在JupyterLab中本地测试简单的JupyterLab函数。(numb)
输出：输出：type(cubedRDD)pyspark.rdd.PipelinedR
浏览 6提问于2022-03-03得票数 0
回答已采纳
我在Google Cloud Dataproc上使用Spark streaming来执行一个框架(用Python编写)，它由几个连续的管道组成，每个管道代表Dataproc上的一个作业，它基本上是从Kafka队列读取并将转换后的输出写入Bigtable。在Dataproc上运行这个Spark streaming框架在5月初(准确地说是5月3日)之前一直相当稳定:我们开始遇到频繁的套接字超时异常，这会终止我们的管道。此外，这似乎只发生在有4个工作节点的集
浏览 0提问于2016-05-24得票数 3
我使用通过airflow在GCP dataproc中运行作业。在每个作业执行之前，使用检查该作业是否可以附加到以前执行的作业的钩子。附加作业时，除非我删除前一个(附加的)作业，否则dataprock不会执行该作业有什么方法可以禁用附件吗？
浏览 1提问于2020-06-03得票数 3
当我运行一个用pyspark编写的spark作业时，我运行了一个jvm，它有一个我似乎不能设置的Xmx1g设置。下面是ps aux的输出：我的问题是，如何设置此属性？
浏览 2提问于2018-04-30得票数 1
我需要在亚马逊EC2上运行太空火花脚本。脚本使用这样的库，如numpy，pandas等。问题是我在/usr/local/lib64/python2.7/site-packages中安装了numpy，默认情况下这个文件夹不在PYTHONPATH中。PYTHONPATH:/usr/local/lib64/python2.7/site-packages时，通常的python会检测到它(import numpy不会造成任何问题)，但是当我尝试将它导入pyspa
浏览 1提问于2015-08-05得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
