我希望在我的Windows10机器上安装PySpark，但一直无法正确指定PYSPARK_SUBMIT_ARGS参数。这是我从gitbash运行"pyspark“命令时看到的错误： $ pyspark
set PYSPARK_SUBMIT_ARGS="--name" "PySparkShell" "pyspark-shell" && jupyter notebook 我已经卸载了除版本
浏览 63提问于2020-09-28得票数 1
回答已采纳
但是，我无法通过在内核文件中的以下位置使用PYTHONPATH变量在pySpark内核中导入包：
/usr/local/share/jupyter/kernels/apache_toree_pyspark
浏览 9提问于2017-07-06得票数 1
回答已采纳
我有一台运行着spark的Jupyter笔记本。from pyspark.sql import SparkSession .builder \ .getOrCreate()
output.s
浏览 7提问于2020-09-01得票数 0
我正通过docker工具箱在我的Windows7机器上运行jupyter/pyspark-notebook。我的start命令是：
docker run -it --rm --name ds -v /c/Users/<some-folder>:/home/jovyan/work/share -p 8888:8888jupyter/pyspark-notebook start-notebook</e
浏览 1提问于2017-05-29得票数 2
我试图通过在控制台输入PySpark来启动浏览器中的pyspark notebook，但是我得到了以下错误：python: can't open file 'notebook': [Errno 2] No such file or directory
我在这里做错了什么？
浏览 1提问于2017-02-21得票数 0
我发现了一些关于如何配置IPython笔记本以使用PySpark (如：)加载火花上下文变量sc的教程。问题是:木星笔记本上将在启动时执行脚本00-pyspark-setup.py的配置是什么？
浏览 6提问于2016-04-28得票数 7
我已经从EMR启动了notebook，下面是代码的详细信息。py4j/java_gateway.py", line 1257, in __call__ answer, self.gateway_client, self.target_id, self.namenotebook</e
浏览 94提问于2019-05-02得票数 3
我正试图在jupyter中使用火花放电内核。我对这两方面都很陌生，并且在jupyter中尝试着让pyflem2.1.0在jupyter工作。我已经在.bashrc中设置了以下导出：export PYSPARK_SUBMIT_ARGS="--master local[2] pyspark-shellexport PYSPARK_DRIVER_PYTHON_OPTS="<em
浏览 0提问于2017-02-05得票数 2
回答已采纳
我在Jupyter Notebook中初始化PySpark，如下所示：#
conf = SparkConf().setAppName(
浏览 0提问于2018-07-31得票数 5
= os.environ.get("PYSPARK_SUBMIT_ARGS", "") os.environ["PYSPARK_SUBMIT_ARGS"] = pyspark_submit
浏览 5提问于2016-04-23得票数 0
我安装了findspark，然后在我的Jupyter Notebook中启动了pyspark。gateway process exited before sending the driver its port number PYSPARK_SUBMIT_ARGS="--master local[2] pyspark-shell"
如果你有任何想法我可以解决这个问题，我将不胜感激。
浏览 0提问于2018-04-03得票数 4
回答已采纳
我已经按照下面的2个教程设置了我的配置
1.ipython_notebook_config.pyc.NotebookApp.ip.bash_profile中添加了以下两行：source ~/.bash_profileipython notebook非常感谢ipython/Jupy
浏览 1提问于2015-09-26得票数 4
如何在装有英特尔Python 3.6的本地计算机上安装与使用MMLSpark？import pandas as pdspark = pyspark.sql.SparkSession.builder.appName("MyApp") \ .getOrCreate()
from mmlsp
浏览 214提问于2018-07-11得票数 -2
回答已采纳
literal_evalfrom pyspark.sql.functions import expr
spark = SparkSessionpython3.6/site-packages/pyspa
浏览 136提问于2018-05-04得票数 3
回答已采纳
我用的是jupyter笔记本上的电火花。
我不知道在pyspark-shell in PYSPARK_SUBMIT_ARGS之后指定的选项是否被排除在外(如果我试图在pyspa
浏览 0提问于2019-12-11得票数 0
6回答
朱庇特电火花:无模块名为火星雨
、、、、
nm-local-dir/usercache/xxxx/filecache/33/spark-assembly-1.6.3-hadoop2.2.0.jar{ "display_name": "Apache Toree - PySpark",
"envs
浏览 3提问于2017-02-03得票数 9
回答已采纳
3回答
我正在使用这个答案中的以下说明来为Jupyter 配置spark~/sparkSFOM00618927ASFOM00618927A:bin $ pyspark根据答案，在执行完所有我能做的步骤之后在终端中的任何目录，它应该启动一个jupytertexbin:/Users/854319/spark/bin
export PYS
浏览 4提问于2016-08-06得票数 6
然后我输入： import findspark
print(findspark.init()) 并显示；ValueError:找不到Spark，请确保设置了SPARK_HOME环境或Spark位于预期位置
浏览 670提问于2020-10-02得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
