3回答
我已经安装了PySpark独立/本地(在Windows上)我感到有点惊讶，我已经可以在命令行中运行pyspark，或者在木星笔记本中使用它，而且它不需要安装一个适当的我遇到的大多数教程都说需要“在安装PySpark之前安装火花”。这将同意我的观点，即PySpark基本上是Spark的包装器。但也许我错了-谁能解释一下：
这两种技术之间的确切联系是什么？为什么安装
浏览 1提问于2018-08-07得票数 36
回答已采纳
我是pyspark的新手，我想在我的Ubuntu 12.04机器上使用Ipython notebook来使用pyspark。下面是pyspark和Ipython notebook的配置。conf ec2 lib licenses python README.md sbin spark-1.5.2-bin-hadoop2.6.tgz
我安装了= os.environ.get("PYSPARK_SUBMIT_ARGS", ""
浏览 5提问于2016-04-23得票数 0
我正在尝试使用pip install安装pyspark，如下所示。但是我得到了以下错误。(python_virenv)edamame$ pip install pyspark Could not find a version that satisfiesthe requirement pyspark (from versions: )有谁知道吗？
浏览 7提问于2016-07-16得票数 6
2回答
将PySpark与木星笔记本集成
、、、、
我遵循这个安装朱庇特笔记本，PySpark，并整合两者。我打开了kernel.json并编写了以下内容： "display_name": "pySpark</e
浏览 5提问于2016-08-25得票数 2
回答已采纳
我正在参加一个使用Jupyter笔记本的Apache PySpark在线课程。MAC OS)： export SPARK_HOME="(INSERTED MY SPARK DIRECTORY)"export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook' 我对Linux不是很熟悉，课程也没有解释这些代码行是做什么的。在此之
浏览 9提问于2019-10-04得票数 0
目前我们使用EMR版本5.23.0来提交我们的pyspark作业。我们希望将python版本升级到3.7，并想检查当前的EMR版本5.23.0是否支持python 3.7。
浏览 6提问于2020-05-13得票数 1
3回答
处理PYTHONSTARTUP文件/Users/simon/spark-1.6.0-bin-hadoop2.6/python/pyspark/shell.py中的IPKernelApp警告
exp
浏览 10提问于2017-10-04得票数 2
pip3安装火花放电
/usr/local/bin/火星-提交:第27行:/bin/火花类:没有这样的文件或目录
我注意到，即使在安装火花放电之前我想知道为什么安装火花放电会导致这个问题，以及如何解决它？
浏览 3提问于2018-04-28得票数 0
回答已采纳
2回答
当从脚本中执行pyspark代码时。在df.show()时获取以下错误。from pyspark.sql.types import StructType,StructField, StringType, IntegerTypedf.show(truncate=False)
AttributeError: Can't get attribute '_fill_function' on <m
浏览 12提问于2021-06-06得票数 2
我试图通过在控制台输入PySpark来启动浏览器中的pyspark notebook，但是我得到了以下错误：python: can't open file '
浏览 1提问于2017-02-21得票数 0
利用蟒蛇分布2.7 PYSPARK_VENV]/lib/python2.7/site-packages/地点有熊猫。
浏览 0提问于2019-01-25得票数 0
回答已采纳
2回答
我遵循了Microsoft提供的教程，使用azure门户上的脚本操作功能来安装python包
这似乎只是安装了这些包，以便可以通过pyspark内核访问它们，而不是同时安装pyspark和pyspark我想知道有没有人知道让pyspark 3内核看到它的方法？
浏览 0提问于2018-03-29得票数 0
1回答
我在yarn集群上部署了pyspark应用程序，在所有节点都可以访问的挂载上部署了python venv。我遇到的问题是，节点上的python安装是不一致的，有些节点安装了必需的模块(这是python构建的一部分)，而其他节点则不安装，这会导致频繁的崩溃。我注意到，在使用python -m venv创建一个venv时，它并不复制python安装，而是向它创建一个symlink。事实证明，与负责集群的团队就这一问题进行沟通非常繁琐，因此我想在挂载上创建一个完全隔离的python安装，作为解
浏览 23提问于2022-10-10得票数 0
我正在尝试使用AWS CLI创建一个EMR集群，以运行python脚本(使用pyspark)，如下所示： --log-uri "s3://mybucket/logs"
bootstrap脚本设置Python3.7，安装<
浏览 0提问于2020-08-02得票数 2
我已经安装了pyspark，但没有单独安装任何hadoop或spark版本。当pyspark想要访问winutilis.exe时，它会在HADOOP_HOME环境变量(用户变量)指定的文件夹的bin目录中查找它。因此，我将winutils.exe复制到pyspark (.\site-packages\pyspark\bin)的bin目录中，并将HADOOP_HOME指定为.\site-packages\pyspark\。Hadoop，然后为HADDOP_HOME指定其<
浏览 4提问于2020-03-24得票数 1
在anaconda my-env中，因为我需要在那里安装开源RDkit，因此我再次安装了PySpark (而不是使用预先安装的)。现在，使用下面的代码，我在my-env中得到了错误，但在my-env之外没有得到错误 代码： from pyspark.sql.types import StructField, StructType,StringType, LongTypefrom py4j.protocol imp
浏览 40提问于2020-01-29得票数 1
我通过pip install pyspark安装了pyskem3.2.0。我已经在一个名为pyspark的conda环境中安装了电火花。我找不到spark-defaults.conf。我在~/miniconda3/envs/pyspark/lib/python3.9/site-packages/pyspark中搜索它，因为这是我对SPARK_HOME应该是什么的理解。我想修改它，，，我在将SPARK_HOME设置为<e
浏览 7提问于2021-12-07得票数 3
回答已采纳
1回答
我正在尝试安装pyspark。遵循这个主题，特别是来自OneCricketeer和zero323的建议。我做了以下工作：2-在我的.bashrc文件中设置：export PYSPARK_PYTHON=$ANACONDA_ROOT/bin
浏览 1提问于2020-09-26得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
