我的ipthon启动脚本如下所示--notebook-dir='/usr/hdp/2.3.2.0-2950/spark/' \--ip='*' --no-browser" pyspark在Spark 2.0
浏览 7提问于2017-03-08得票数 4
下面是错误的链接：在我输入pyspark之后，ipthon notebook应该会在一个新的选项卡中打开，但它没有。谢谢，马特
浏览 1提问于2015-02-02得票数 0
我试图遵循这个中的实时编码
所以numpy被安装了：Requirement already然而，当我运行依赖于model = KMeans.train(data, k=5)的numpy命令时，火花使用的Py4Java库会抛出此错误。如何告诉py4j/protocol.py文件夹中的.----------------------
Py4JJavaError Traceback (most
浏览 1提问于2015-02-02得票数 2
回答已采纳
我使用IPython notebook运行PySpark，只是在notebook中添加了以下内容：os.chdir('../data_files')import pandas as pdfrom IPython.display import Imagesy
浏览 4提问于2015-05-20得票数 6
回答已采纳
8回答
我想加载IPython外壳(而不是IPython笔记本)，在其中我可以通过命令行使用PySpark。这有可能吗？我安装了火花-1.4.1。
浏览 9提问于2015-08-06得票数 35
回答已采纳
ipython解释器。我尝试以这种方式修改我的.bashprofile，并使用别名：export SPARK_HOME="/Users/micahshanks/spark-2.1.0-bin-hadoop2.7"
export PYTHONPATH="/Users/micahshanks/spark-2.1.0-bin-hadoop2.7/python
浏览 5提问于2017-06-27得票数 1
回答已采纳
我有Ipython和3.2(Jupiter)在hrl6上运行pyspark。我一次只能启动一个python2脚本，因为只有一个spark上下文。当我在Ipython中启动并运行另一个脚本(内核)时，我收到一个“地址已经在使用0.0.0.0:4040”。为了能够在同一个spark+yarn集群上运行多个开发工作，我认为我需要多个SparkContext实例。我如何在同一个Ipython笔记本上实现spark上的这种并行
浏览 3提问于2015-07-09得票数 2
1回答
在ec2上启动笔记本
、、、、
我刚刚从1.4升级到Spark2.0，并从github.com/amplab/smack-ec2/tree/分支- 2.0下载了ec2目录。./spark-ec2 -k <keypair> -i <key-file> -s <num-slaves> launch <cluster-name>
./spark</em
浏览 2提问于2016-12-28得票数 0
回答已采纳
我目前正在使用Spark 1.6.1，并在Jupyter Ipython笔记本和Java 8中使用它。对于Java，我只需修改我的maven pom以导入Spark 2.0，但我不确定如何在ipython中做同样的事情。我认为我需要安装2.0，但这是可行的，因为我已经安装了Spark 1.6.1？我可以在我的macbook上同时使用两个版本，并从pyspark中选择使用哪个版本吗？多么?更新:这是我在终端% IPYTHON</
浏览 2提问于2016-09-22得票数 0
我在CDH5.12和RHEL上有一个包含Spark2.2的集群，我正在尝试设置IPython以与pyspark2一起使用。我已经安装了IPython 5.xLTS(长期支持)，但是我不能让它工作。yum -y install python-pipyum install python-devel
pip install IPython
浏览 3提问于2017-10-31得票数 0
我更喜欢使用ipython增强型REPL而不是python，因此我在pyspark命令行中这样指定： PYSPARK_DRIVER_PYTHON=ipython MASTER="local[*]" $SPARK_HOME/bin/pyspark结果：jupyter notebook<
浏览 0提问于2018-07-21得票数 1
回答已采纳
1回答
我试图在Ipython笔记本上运行GraphX。首先，我启动了Spark/Hadoop集群，然后使用本教程()启动了ipython笔记本。但是现在我只有Python2内核，我需要GraphX来处理图形。我怎么能运行它？
浏览 1提问于2016-11-12得票数 0
回答已采纳
我正尝试在spark cluster (v2.0)上远程使用jupyter-notebook (v4.2.2)，但当我运行以下命令时，它不会在spark上运行，而只在本地运行：
PYSPARK_DRIVER_PYTHON=jupyter PYSPARK_DRIVER_PYTHON_OPTS="notebook --no-browser --port=7777" pyspark --master spark://**spark_master_hostname**:70
浏览 5提问于2016-09-16得票数 8
我安装了Anaconda，并尝试在顶部使用spark。当我使用Ipython_OPTS=" notebook“启动spark时，python版本是与anaconda的笔记本python版本相关联的版本。0 defaults如果启动spark-shell，我可以精确地确定我感兴趣的环境版本(我想要2.
浏览 1提问于2016-05-27得票数 1
我正在尝试使用带有Apache Spark 1.4.0的IPython笔记本。我已经按照下面的2个教程设置了我的配置
1.ipython_notebook_config.pyc.NotebookApp.ip= os.environ.get('SPARK_HOME', None)
sys.path.insert(0, spark_home + "/pyt
浏览 1提问于2015-09-26得票数 4
我已经设置了环境变量(如SPARK_MAJOR_VERSION=2)，以便在直接打开火花放电或火花壳时，它使用Spark2.1。但是，当我试图在IPython会话中导入pyspark时，它使用Spark1.6。默认情况下，如何将其设置为使用2.1？
浏览 2提问于2018-06-12得票数 0
回答已采纳
2回答
鼓励我尝试使用spark-csv来读取PySpark中的.csv文件。我发现有几篇文章描述了如何使用，比如ipython notebook --profile=pysparkipython notebook --profile=pyspark --packages com.databricks:
浏览 1提问于2015-11-25得票数 8
嗨，我正在交互式地使用pyspark。我想我无法正确加载本地文件。或者是pyspark所在的默认目录？谢谢
浏览 16提问于2016-05-03得票数 3
回答已采纳
我是Spark的初学者，从这里开始尝试遵循如何使用cmd：从Python初始化Spark shell的说明C:\Users\Alex\Desktop\spark-1.4.1-bin-hadoop2.4\>c:\Python27\python bin\pyspark File "bin\pyspark", line 21
export SPARK_HOME附言:在cmd中，我只尝试使用C:\User
浏览 3提问于2015-07-28得票数 4
1回答
我想了解如何设置一切，以便能够有一个iPython笔记本和火花放电工作。如果我错了，请告诉我，但我想我可以用这个：()aws emr create-clust
浏览 4提问于2015-10-23得票数 0
回答已采纳
云服务器
ICP备案
云直播
即时通信 IM
对象存储
腾讯云开发者
