我已经成功安装了spark1.6和Anaconda2。当我尝试使用ipython时，我遇到了如下问题：at org.apache.spark.scheduler.Task.run(Task.scala:89)
at org.apache.spark.execu
浏览 0提问于2016-08-11得票数 1
1回答
在ec2上启动笔记本
、、、、
我刚刚从1.4升级到Spark2.0，并从github.com/amplab/smack-ec2/tree/分支- 2.0下载了ec2目录。./spark-ec2 -k <keypair> -i <key-file> -s <num-slaves> launch <cluster-name>
./spark-ec2 -k <keypair> -i
浏览 2提问于2016-12-28得票数 0
回答已采纳
1回答
PySpark与and解析
、、、、
如何使用argparse为PySpark脚本指定命令行参数？我一直在为这件事绞尽脑汁，我发誓我在别的地方找不到解决办法。spark-submit file.py --v1 5 --v2 4运行该文件时，会得到一个错误，如下所示：
[TerminalIPythonApp] CRITICAL | Bad config encounteredfile.py)时，它使用参数解析器中的默认值2和3正确地完成和，并按预期显示"5“。所以很明显，它正在正确地读取from解析
浏览 0提问于2020-04-27得票数 2
回答已采纳
2回答
我想检查一下，看看从暴风闪电中调用Spark代码是不是一个好主意。我们在Storm中有一个基于流的系统。因此，根据消息，我们希望这样做ML，我们正在考虑使用Spark来实现。
浏览 0提问于2015-05-01得票数 0
我正在尝试使用CLI使用Spark启动一个EMR集群，其中我将Spark指定为。我还有一些引导脚本，可以在Spark上配置IPython notebooks之类的东西。但是，当我尝试在我的引导脚本(/usr/bin/spark或/usr/lib/spark/bin)中引用公共Spark<
浏览 0提问于2015-08-29得票数 1
8回答
我想加载IPython外壳(而不是IPython笔记本)，在其中我可以通过命令行使用PySpark。这有可能吗？我安装了火花-1.4.1。
浏览 9提问于2015-08-06得票数 35
回答已采纳
dbutils.widgets.text('config', '', 'config') Traceback (most recent call last): NameError: name 'dbutils' is not defined
那么，有没有办法通过包含databricks包来在pyspark中运行它感谢您<e
浏览 13提问于2018-08-17得票数 7
我正在尝试使用带有Apache Spark 1.4.0的IPython笔记本。我已经按照下面的2个教程设置了我的配置
1.ipython_notebook_config.pyc.NotebookApp.ip, 'python/pyspark/shell.py'))
我还在我的.bash_profile中</e
浏览 1提问于2015-09-26得票数 4
我试图使用dbutil模块移动一个文件。) import IPython我得到了一个错误: ModuleNotFoundError:没有名为“pyspark.dbutils”的模块，有解决办法吗？下面是另一个Azure机器学习笔记本中</
浏览 13提问于2020-05-01得票数 3
回答已采纳
下面是错误的链接：似乎找不到其中包含“notebook”的内容，但不确定
谢谢，马特
浏览 1提问于2015-02-02得票数 0
我的IPython并行程序昨天午夜崩溃了。下面是错误消息。我不知道这个信息到底是什么意思？我怎样才能追踪异常？"BadStatusLine“这个信息是什么意思？File "/usr/local/lib/python2.7/dist-packages/ipython-0.12-py2.7.egg/IPython/para
浏览 2提问于2012-02-04得票数 0
当我启动pyspark时，可以正确地加载火花，但是我最终会在标准python环境中结束。ipython解释器。我尝试以这种方式修改我的.bashprofile，并使用别名：export SPARK_HOME="/Users/micahshanks/spark-2.1.0-bin-hadoop2.7=ipython
export PATH=$SPARK_HOM
浏览 5提问于2017-06-27得票数 1
回答已采纳
我已经在Ubuntu14.04上的ipython笔记本中成功地使用了pyspark和Python2.7，为spark创建了一个特殊的配置文件，并通过调用$ipython notebook --profile许多网站上都给出了创建spark配置文件的机制，但我使用的是中给出的机制。(SPARK_HOME, "python
浏览 1提问于2016-06-25得票数 0
如果我使用Spark 1.6.2，Scala2.10和spark-streaming-kafka_2.10，我能从Scala代码中消费来自Kafka 0.10.1.0的消息吗？或者这意味着我应该使用Spark 2。with Spark 2.0 on Scala and Java workloads
例如，对于消费消息，Scala不处理Kafka队列参数(代理列表、zookeeper ip等)，而只是将它们直接发送到这
浏览 5提问于2017-01-02得票数 1
回答已采纳
我遵循这个链接，以便为IPython创建PySpark配置文件。00-pyspark-setup.pyimport ossys.path.insert(0, spark_home + "\python")
# Add the py4j to the pat
浏览 2提问于2015-04-21得票数 7
回答已采纳
我使用IPython notebook运行PySpark，只是在notebook中添加了以下内容：os.chdir('../data_files')import pandas as pdfrom IPython.display import Image
os.environ['SPARK_HOME']="spark-1.3.1-bin-
浏览 4提问于2015-05-20得票数 6
回答已采纳
我的ipthon启动脚本如下所示--notebook-dir='/usr/hdp/2.3.2.0-2950/spark/' \--ip='*' --no-browser" pyspark在
浏览 7提问于2017-03-08得票数 4
python版本为2.7.6，但当我安装IPython时ipython指向python3.4.0。这会导致模块中出现许多语法错误，这是由于python3.x不兼容造成的。#!/usr/bin/python3.4#!/usr/bin/pyth
浏览 5提问于2015-05-15得票数 6
回答已采纳
我已经安装了spark发行版：spark-2.2.0-bin-hadoop2.7。我使用的是Windows 10 OS我设置了我的环境变量：
PYS
浏览 1提问于2017-11-18得票数 3
我已经运行了pip install ipdb，但是当我在iPython中运行import ipdb时，我仍然得到错误：ImportError: No module named 'ipdb'
这是什么意思类似地，当我在iPython中导入文件(扩展名为.py )时，我也得到了这个错误(ImportError: No module named Chapter_1_Python_Syntax)，尽管我检查了目录的
浏览 1提问于2016-01-16得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
