我读了一些关于我现在看到的错误的文章，一些建议给，但是我已经看到了，但是我仍然看到了错误。1. create a yml file and include the needed packages (including the py4j)3. create a kernel pointing to the env5. running `import pyspark
浏览 1提问于2018-10-12得票数 1
回答已采纳
1回答
/lib/lib_<ts>/spark2/activation-1.1.1.jar/user/oozie/share&#
浏览 10提问于2020-04-14得票数 1
我正在尝试从notebook连接到redshift，到目前为止我已经完成了以下操作-"customDeps": [ "com.databricks:spark-avro_2.11:3.2.0",]ui-logs-1422> [Tue Aug 22 2
浏览 7提问于2017-08-23得票数 0
我们希望tar.gz所有以下的jars文件2.6.4.0-91/spark2/jars/univocity-parsers-2.2.1.jar2.6.4.0-91/spark2/jars/xbean-asm5-
浏览 0提问于2018-09-06得票数 0
回答已采纳
1回答
config=config, Path: /opt/cloudera/parcels/SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354/lib/s
浏览 2提问于2018-11-13得票数 2
我们有两个可用版本的星火(1.6和2.1)。我已经设置了环境变量(如SPARK_MAJOR_VERSION=2)，以便在直接打开火花放电或火花壳时，它使用Spark2.1。但是，当我试图在IPython会话中导入pyspark时，它使用Spark1.6。默认情况下，如何将其设置为使用2.1？
浏览 2提问于2018-06-12得票数 0
回答已采纳
我想在SparkR上使用Jupyter笔记本，我想在我的Spark集群上安装Jupyter上的IR内核。我已经在AWS-EMR集群上创建了我的Spark集群。
浏览 1提问于2016-05-25得票数 0
我在cloudera文档中看到Oozie Spark2操作不受支持。这就是我得到这个例外的原因吗？如果是的话，还有其他方法可以使用oozie运行Spark2.0作业吗？
浏览 8提问于2018-01-09得票数 2
回答已采纳
在安装过程中，我安装了spark2。到目前为止一切都很好。但是当我查看它的时候，我没有发现其中有任何python或pyspark包吗？我必须单独安装它们吗？为什么pyspark包没有从HDP2.6.0.3-8堆栈安装spark2？
浏览 18提问于2020-02-26得票数 0
为了在$"my_column"中使用spark sql结构，我们需要：然而，这并不能在jupyter笔记本单元中工作:结果是：Message: <console>:49: error: stable identifier required, but this.$line7$read.spark.implicits found. ^
我以前见过笔记本，但它们可能是zeppe
浏览 1提问于2018-03-22得票数 1
回答已采纳
1回答
使用UDF时忽略条件
、、、、
_jdf.showString(n, int(truncate)))
/opt/SPARK2/lib/spark2/python/lib/py4j-0.10.4-src.zip/py4j/java_gateway.py/lib/spark2/python/lib/py4j-0.10.4-src.zip/py4j/protocol.py in get_return_value(ans
浏览 0提问于2018-04-03得票数 6
回答已采纳
1回答
" /home/sshuser/project1_2.11-0.1.0-SNAPSHOT.jar
--jars /usr/hdp/2.6.5.3015-8/spark2/jars/brickhouse-0.6.0.jar,/usr/hdp/2.6.5.3015-8/spark2/jars/spark-csv_2.10-1.5.0.jar,/usr/hdp/2.6.5.3
浏览 3提问于2020-05-04得票数 1
回答已采纳
我已经为我的Spark2和星火配置提供了Spark2。它用于保持/火花-历史/清洁，但没有为/火花2-历史做任何事情。对为什么不起作用有什么想法吗？
浏览 4提问于2017-11-30得票数 2
我在Hadoop集群中使用的是HDFS 2.7.3和Spark2 2.0.0。当我启动Spark2 Thrift服务器时，它成功地启动了，但从配置单元用户自动开始运行一个作业，它似乎永远挂起。但是如果我停止Spark2 Thrift服务器，它就会终止作业。你能帮我理解一下这个问题吗？
提前谢谢。
浏览 0提问于2017-04-21得票数 3
2回答
print sc.wholeTextFiles(data_dir).flatMap(update).top(10)#groupByKey().map(store) File "/home/user/spark2/python/pyspark/rdd.py", line 2107, in _jrddpickled_command = s
浏览 4提问于2015-01-25得票数 7
回答已采纳
1回答
我正在使用Cloudera 5.11和spark 2.2.0，如果我面临由jira任务解决的错误，我如何将此修复应用于我的环境？用于的链接
浏览 5提问于2018-07-23得票数 0
1回答
_open_support_mask(x) & (scale > 0)
/opt/cloudera/parcels/SPARK2/lib/spark2/python/
浏览 5提问于2019-12-16得票数 0
5回答
我在我的hortonworks集群上安装了Spark1.6.2和Spark2.0。每次启动spark-shell时，我都会得到：Multiple versions of Spark are installed but SPARK_MAJOR_VERSION is not set当我查看版本时，我得到：res0: String = 1.6.2
如何启动另一个版本(Spark2.0的火花外壳
浏览 4提问于2016-12-14得票数 13
回答已采纳
2回答
我正在按照cloudera关于安装这个组件的说明在cloudera集群(评估版本)中安装Spark2。我下载了CSD，安装了它，使用了这个包下载了组件，分发了它，但是当我试图激活它时，我收到了这样的消息：
Java名称: HotSpot(TM) 64位服务器VMJava版本: 1.7.0_67
SPARK2</e
浏览 2提问于2017-10-31得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
