我一直试图在我的Macbook中保留Python3作为Spark的默认版本，但没有进行设置。我不能运行我的程序也是因为这个原因。这是我在Pycharm中得到的错误 “例外: worker中的Python2.7版本与驱动程序3.7中的版本不同，PySpark不能在不同的次要versions.Please检查环境变
浏览 18提问于2019-02-25得票数 0
1回答
我在aws上玩apache火花，尝试使用将集群设置为使用python3，当我使用它时，集群在引导过程中崩溃se
浏览 0提问于2018-10-29得票数 1
回答已采纳
23回答
我试图将默认的python版本设置为python3 in Ubuntu 16.04。默认情况下是python2 (2.7)。update-alternatives --remove python /usr/bin/python2
update-alternatives --install /usr/bin/python python /usr/bin/python3</em
浏览 25提问于2017-02-01得票数 278
回答已采纳
我读了几篇关于如何将集群配置为需要Python3的文章，我想测试设置是否正确，所以我创建了一个简单的应用程序来打印sys.version。然后我将这个作业提交到集群中。当我使用spark-submit --deploy-mode client /local/path/to/version.py或在客户端模式下提交一个步骤在主服务器上运行它时，它可以工作，我看到了版本信息在容器container_
浏览 3提问于2017-05-31得票数 2
我刚刚使用Homebrew将Spark从1.5.2升级到1.6.0，并将我的SPARK_HOME环境变量重置为/usr/local/Cellar/apache-spark/1.6.0。现在，在执行pyspark时，它会给出一个拒绝权限的错误。
如果我进入前面的1.5.2安装目录，然后从那里执行pyspark，它就会运行得很好。但是，在1.6.0安装目录中运行pyspark失败，此权限被
浏览 11提问于2016-01-06得票数 10
回答已采纳
我已经根据这个文档安装了Scala内核：内核在那里：Available kernels:
python3 /usr/local/homebrew/Cellar/python3/3.6.4_2/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/ipykernelimpor
浏览 1提问于2018-03-29得票数 1
回答已采纳
我正在寻找最简单的建议来更正我的Spark安装和设置，以便我可以在jupyter笔记本上正确运行： from pyspark import SparkContext
sc = SparkContext() 在jupyter notebook中，我在之前安装spark-2.0.0-bin-hadoop2.7的目录中得到了与file not file错误相关的以下错误。我刚开始设置变量，不能正确地完成整
浏览 10提问于2019-06-11得票数 1
1回答
如果我在MacOS上执行这些步骤，一切都会很好。但是，如果我在Linux (Ubuntu 16)上运行它们，则会选择不正确的Python版本。当然，我以前在Linux上做过export PYSPARK_PYTHON=python3，但仍然是同一个问题。下面我解释所有步骤：
2. add the code into the file: export PYSPARK_PYTHON=pytho
浏览 0提问于2018-12-10得票数 0
回答已采纳
1回答
我是macos的新手，我想要开发一个开发环境.我需要pip，但是只需要pip就可以得到错误消息。pkg_resources.DistributionNotFound: The 'pip==20.0.2' distribution was not found and is required by the application
Python3是与macos一起安装的，我试图安装2.x版本，并将其设置为全局默认
浏览 17提问于2022-03-28得票数 0
回答已采纳
由于一些非常烦人的原因，spark-ec2文件(我使用Spark1.5)拆分了一个使用python2.6 (！)的集群。默认情况下，我不能使用字典理解。我在星星之火的env.sh文件中设置了export PYSPARK_PYTHON="/usr/bin/python3" (旋转集群中的文件)，但是我仍然得到了错误：
java.io.IOException(Cannot
浏览 2提问于2015-11-09得票数 0
回答已采纳
19回答
我使用的是星星之火1.4.0-rc2，所以我可以使用python 3和spark。如果我将export PYSPARK_PYTHON=python3添加到我的.bashrc文件中，我可以与Python3交互地运行spark。但是，如果我想在本地模式下运行一个独立的程序，我会得到一个错误：
例外: worker中的Python版本与驱动程序2.7中的版本不同，PySpark不能在不同的</e
浏览 12提问于2015-05-28得票数 97
回答已采纳
2回答
我想更新一个以orc格式的hive表，我可以从我的ambari hive视图中进行更新，但是无法从sacla运行相同的update语句(星火壳)。，出现了一些可注意的异常(更新附近的无效语法等)，因为我可以从Ambari视图进行更新(因为我设置了所有必需的配置，即TBLPROPERTIES "orc.compress"="NONE”事务性true进口以下
import org.apache.spa
浏览 0提问于2015-12-30得票数 5
回答已采纳
4回答
我想通过Google平台dataproc运行一个pyspark作业，但是我不知道如何设置pyspark来运行python3，而不是默认的2.7。我能找到的最好的方法就是添加这些(a) python命令仍然是python2，
(b)由于python 2不兼容，我的工作失败了。我尝试过卸载python2并在我的init.sh脚本中别名alias python='python3'，但是没有
浏览 0提问于2017-08-23得票数 9
回答已采纳
我试图运行火星雨在齐柏林和python3 (3.5)对火花2.1.0。3.5 than that in driver 2.7, PySpark cannot run with different minor versions在zeppelin.pyspark.python中引用了一个设置，默认为python，但从文档中不清楚如何&
浏览 4提问于2017-02-15得票数 5
回答已采纳
无论我如何修补yarn-site.xml中的设置，也就是使用以下所有选项yarn.nodemanager.resource.memory-mbyarn.nodemanager.resource.cpu-vcoresyarn.scheduler.maximum-allocation-vcores
我仍然无法让我的应用程序(即Spark )利用集群上<
浏览 0提问于2015-04-30得票数 30
回答已采纳
我尝试过在hadoop-home/conf中将log4j.properties.template更改为log4j.properties，但是spark仍然没有恢复它。我试过设置但这也行不通。星火在启动时仍在使用其默认设置。Using Spark's def
浏览 0提问于2015-08-06得票数 2
回答已采纳
1回答
连接到星盘群集时的序列化问题
、、、、
使用Spark的默认序列化程序，我得到以下内容：
java.lang.ClassCastException: cannot assign instance of scala.collection.immutable.Listin instance of org.apache.spark.sql.execution.FilterExec。从大量的互联网搜索中，我发现这可能是由于Spark版本，甚至Java版本之间的不兼
浏览 1提问于2019-07-01得票数 1
回答已采纳
我正试图在MacOS上配置apache火花。所有在线指南都要求下载spark并设置一些env变量，或者使用brew install apache-spark，然后设置一些env变量。现在，我使用brew install apache-spark安装了apache。我在终端中运行pyspark，并得到一个python提示，这表明安装是成功的。现在，当我尝试在
浏览 0提问于2017-01-19得票数 0
回答已采纳
2回答
对于我的项目，如果系统上安装了一个共享库(任何版本的>=3.2)，我希望能够动态加载和使用Python3共享库。如果安装了多个Python3版本，最好知道哪个版本是默认版本(即当用户在终端中输入python3时使用的版本)。在Windows上，可以通过注册表发现Python位置，但是，我不确定在MacOS和Linux上是否
浏览 2提问于2019-10-05得票数 1
使用AWS EMR w/ Spark 2.4.3export PYSPARK_PYTHON=python3在火花壳中证实了这一点sc.pythonExecSC.pythonVer
p
浏览 2提问于2019-08-01得票数 4
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号