pyspark需要在本地安装Spark吗？
pyspark是一个用于在Python中进行大规模数据处理和分析的工具，它是基于Apache Spark的Python API。在使用pyspark之前，确实需要在本地安装Spark。
Spark是一个快速、通用的大数据处理框架，它提供了分布式计算的能力，可以处理大规模数据集。pyspark作为Spark的Python API，可以让开发者使用Python编写Spark应用程序，并利用Spark的分布式计算能力进行数据处理和分析。
安装Spark可以提供以下优势：
- 分布式计算能力：Spark可以在集群中并行处理数据，充分利用集群的计算资源，加快数据处理速度。
- 大规模数据处理：Spark可以处理大规模的数据集，适用于需要处理海量数据的场景。
- 强大的数据处理功能：Spark提供了丰富的数据处理和分析功能，包括数据清洗、转换、聚合、机器学习等，可以满足各种数据处理需求。
对于pyspark的应用场景，主要包括以下几个方面：
- 大数据处理和分析：pyspark可以用于处理和分析大规模的结构化和非结构化数据，包括数据清洗、转换、聚合、特征提取等。
- 机器学习和数据挖掘：pyspark提供了丰富的机器学习算法和工具，可以用于构建和训练机器学习模型。
- 实时数据处理：Spark Streaming是Spark的实时数据处理模块，pyspark可以用于实时处理流式数据。
- 图计算：GraphX是Spark的图计算库，pyspark可以用于处理和分析大规模图数据。
腾讯云提供了Spark on Tencent Cloud（腾讯云上的Spark服务），可以方便地在云上部署和管理Spark集群。您可以通过腾讯云的Spark on Tencent Cloud产品了解更多信息：Spark on Tencent Cloud
总结：是的，使用pyspark需要在本地安装Spark，Spark提供了分布式计算能力和丰富的数据处理功能，pyspark可以用于大数据处理、机器学习、实时数据处理和图计算等场景。腾讯云提供了Spark on Tencent Cloud服务，方便在云上部署和管理Spark集群。
相关·内容
1回答
我遵循这个在集群上安装Spark独立模式，在集群上的每个节点上放置预构建版本的Spark，并在Master上运行./sbin/start-master.sh，在从节点上运行./sbin/start-slave.sh <master-spark-URL>。我如何从那里继续设置一个pyspark应用程序，例如在ipython笔记本中使用集群？我需要在本地计算机(笔记本电脑)上安装ipython吗？
浏览 5提问于2015-08-24得票数 3
3回答
我使用的是PyCharm 2018.1，使用的是Python3.4，其中的Spark2.3是通过pip安装在一个虚拟环境中的。本地主机上没有安装hadoop，因此没有Spark安装(因此没有SPARK_HOME、HADOOP_HOME等)。
当我尝试这样做时：
from pyspark import SparkConf
from pyspark import SparkContext
conf = SparkConf()\
.setMaster("local")\
.setAppName("pyspark-unittests")\
.se
浏览 0提问于2018-05-05得票数 4
回答已采纳
我想在本地机器上运行下面的代码。 from pyspark import SparkContext
from pyspark.sql.session import SparkSession
def quiet_logs( sc ):
logger = sc._jvm.org.apache.log4j
logger.LogManager.getLogger("org"). setLevel( logger.Level.ERROR )
logger.LogManager.getLogger("akka").setLevel( logger.Leve
浏览 13提问于2020-06-15得票数 0
我尝试使用spark_session和sqlContext将本地文件加载为dataframe。
df = spark_session.read...load(localpath)
它不能读取本地文件。df是空的。但是，在从spark_context创建sqlcontext之后，它可以加载一个本地文件。
sqlContext = SQLContext(spark_context)
df = sqlContext.read...load(localpath)
效果很好。但我不明白为什么。原因是什么？
环境: Windows10，spark 2.2.1
编辑
我终于解决了这个问题。根本原因是在本地
浏览 0提问于2018-11-28得票数 0
回答已采纳
1回答
我正在尝试从cassandra获取已安装在AWS ec2中的数据。当我通过pyspark运行以下命令时，我能够从AWS读取，但是当我通过spark-submit提交相同的python文件时，我从本地获取rdd。你能给我推荐一下我缺少配置的地方吗？
from pyspark import SparkConf, SparkContext
from pyspark.sql.session import SparkSession
conf = SparkConf().setAppName("testCassandra").set("spark.cassandra.connec
浏览 0提问于2017-04-14得票数 2
这可能是一个非常愚蠢的问题，但我在谷歌上找不到答案。我已经编写了一个简单的pyspark ETL脚本，它读取CSV并将其写入Parquet，类似于：
spark = SparkSession.builder.getOrCreate()
sqlContext = SQLContext(spark.sparkContext)
df = sqlContext.read.csv(input_filename)
df.write.parquet(output_path)
为了运行它，我在Docker中启动了一个本地Spark集群：
$ docker run --network=host jupyter/
浏览 0提问于2019-02-12得票数 6
我正试图在MacOS上配置apache火花。所有在线指南都要求下载spark并设置一些env变量，或者使用brew install apache-spark，然后设置一些env变量。
现在，我使用brew install apache-spark安装了apache。我在终端中运行pyspark，并得到一个python提示，这表明安装是成功的。
现在，当我尝试在python文件中执行import pyspark时，我在说ImportError: No module named pyspark时遇到了错误
最奇怪的是，我无法理解的是，它如何能够启动pyspark的REPL，而不能将模块导入pyth
浏览 0提问于2017-01-19得票数 0
回答已采纳
我已经在我的本地机器(Windows 10)上安装了火花，遵循以下指南：。
从Anaconda启动笔记本并运行时：
spark_session = SparkSession\
.builder\
.master("local[*]")\
.appName("Z_PA")\
.getOrCreate()
它要花很长时间才能完成(至少在60分钟内)。
在此之前，我得到了错误“java-网关-进程-退出-之前.”。在阅读了这个步骤："“之后，我安装了以下版本，并更改了没有空格的目录。
我已装好并安
浏览 3提问于2022-02-24得票数 1
我已经安装了pyspark，但没有单独安装任何hadoop或spark版本。
显然，在Windows下，pyspark需要访问Hadoop的winutils.exe来做一些事情(例如，将文件写入磁盘)。当pyspark想要访问winutilis.exe时，它会在HADOOP_HOME环境变量(用户变量)指定的文件夹的bin目录中查找它。因此，我将winutils.exe复制到pyspark (.\site-packages\pyspark\bin)的bin目录中，并将HADOOP_HOME指定为.\site-packages\pyspark\。这解决了获取错误消息的问题：Failed to l
浏览 4提问于2020-03-24得票数 1
如何在装有英特尔Python 3.6的本地计算机上安装与使用MMLSpark？
import numpy as np
import pandas as pd
import pyspark
spark = pyspark.sql.SparkSession.builder.appName("MyApp") \
.config("spark.jars.packages", "Azure:mmlspark:0.13") \
.getOrCreate()
import mmlspark
from mmlsp
浏览 214提问于2018-07-11得票数 -2
回答已采纳
1回答
通过查看Google文档，我能够向Dataproc集群提交Spark作业，并在集群中安装JupyterLab，以便在笔记本上运行迭代操作。
但是，我无法找到使用DataProc集群资源从本地木星笔记本(在我的计算机上)运行迭代命令的正确配置。
我特别感兴趣的是从本地JupyterLab创建集群，然后使用pySpark (考拉)对托管在BigQuery和GCS上的大型数据文件执行一系列操作。我的目标是在本地JupyerLab中使用Dataproc，就像访问集群机器或顶点IA中的JupyterLab安装一样。
有人知道如何配置它吗？
浏览 3提问于2022-01-11得票数 2
我正在选修一门机器学习课程，并试图安装火花放电来完成一些课堂作业。我从这个中下载了pyspark，将其解压缩并放在我的主目录中，并将以下行添加到.bash_profile中。
export SPARK_PATH=~/spark-3.3.0-bin-hadoop2.6
export PYSPARK_DRIVER_PYTHON="jupyter"
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"
但是，当我尝试运行命令时：
pyspark
要启动会话，我会得到以下错误：
-bash: pyspark: command n
浏览 20提问于2022-09-12得票数 0
安装星火似乎有两种方法。
通过从，下载预构建的火花版本(例如spark-2.4.5-bin-hadoop2.7.tgz)来安装火花时
- do I need to additionally install `java` command, by installing JRE?
- Do I need to additionally install java compiler `javac` by installing JDK?
- Do I need to additionally install scala compiler? (I guess no, because I sa
浏览 3提问于2020-03-14得票数 0
6回答
朱庇特电火花:无模块名为火星雨
、、、、
谷歌确实有很多解决这个问题的方法，但不幸的是，即使在尝试了所有的可能性之后，我也无法让它发挥作用，所以请耐心等待，看看是否有什么东西能打动你。
操作系统: MAC
火花: 1.6.3 (2.10)
木星笔记本: 4.4.0
Python : 2.7
Scala : 2.12.1
我成功地安装并运行了木星笔记本。接下来，我尝试将其配置为与Spark一起工作，为此，我使用Apache安装了spark解释器。现在，当我尝试在笔记本中运行任何RDD操作时，会引发以下错误
Error from python worker:
/usr/bin/python: No module named pyspa
浏览 3提问于2017-02-03得票数 9
回答已采纳
我只是想更多地了解Spark。所以我想问这个问题。
我目前在本地机器上安装了Spark。这是一台16 Its的Mach。
我连接了一个运行Pyspark的Jupyter笔记本。
所以，现在当我在笔记本中进行任何编码时，比如读取数据并将数据转换为Spark DataFrame，我想检查一下：
1)。其中所有数据集都分布在本地机器上。例如，它是否使用不同的CPU核心来分发数据集等？有没有办法找出答案呢？
2)。使用没有spark的Jupyter notebook运行代码和计算与使用Pyspark运行Jupyter notebook是不同的？像第一个一样，只使用机器的一个核心，使用一个线程运行，而使
浏览 0提问于2016-08-13得票数 0
我正试图在windows本地机器上对我的pyspark代码运行一个测试。Pytest在我的测试代码中创建SparkSession的地方卡住了。我必须在本地机器上安装/配置spark才能运行Pytest吗？最后，测试将作为CI/CD的一部分执行，我还需要在构建机器上配置Spark吗？我有一个相关的，但看起来问题不是与Visual studio代码有关，而是pytest (当我从命令行运行pytest时也有同样的问题)
下面是我的测试代码
# test code
from pyspark.sql import SparkSession, Row, DataFrame
import pytest
浏览 2提问于2021-09-16得票数 0
我已经编写了在本地运行的Spark代码。我已经创建了一个用户定义的函数，该函数需要应用于通过交叉连接从本地文件读取的两个表创建的数据帧。
不知何故，我正在应用的用户定义函数没有使用，它没有被分发。我已经在所有节点上安装了所需的python包。使用spark-submit，我已经指定了内核和内存的数量。这是我的代码：
spark = SparkSession.builder.appName("WordSimilarities").enableHiveSupport().getOrCreate()
spark.sparkContext.parallelize(range(1,100
浏览 2提问于2018-01-09得票数 1
1回答
我已经在本地机器上安装了Hadoop-Spark。我尝试连接到AWS S3，并且成功了。为此，我使用了hadoop-aws-2.8.0.jar。但是，我一直在尝试使用EMR提供的jar文件emr-ddb-hadoop.jar连接到DynamoDB。我已安装所有AWS依赖项，并可在本地使用。但是，我不断地得到以下异常。
java.lang.ClassCastException: org.apache.hadoop.dynamodb.read.DynamoDBInputFormat cannot be cast to org.apache.hadoop.mapreduce.InputFormat
浏览 0提问于2017-09-23得票数 0
我安装了databricks-connect 6.6.0，其Spark版本为2.4.6。到目前为止，我一直在使用databricks集群，但我正在尝试切换到使用本地spark会话进行单元测试。但是，每次我运行它时，它仍然显示在集群Spark UI上以及xxxxxx:4040上的本地Spark UI上。 我尝试过使用SparkConf()、SparkContext()和SQLContext()进行初始化，但它们都做同样的事情。我还分别设置了正确的SPARK_HOME、HADOOP_HOME和JAVA_HOME以及下载的winutils.exe，这些目录都没有空格。我也尝试过使用spark-su
浏览 43提问于2020-11-07得票数 1
回答已采纳
2回答
我设法在MacV10.15.7和我的一个Pycharm项目(让我们称之为项目A)上本地设置了Spark。然而，我无法在另一个Pycharm项目(项目B)中启动Spark，该项目是我使用与项目A相同的解释器设置的。
在项目B环境中，我似乎能够调用spark会话。当我去http://localhost:4040/的时候，已经建立了一个spark会话。但是，当我开始执行命令时，我收到如下消息
Exception: Python in worker has different version 2.7 than that in driver 3.7, PySpark cannot run with di
浏览 3提问于2020-11-30得票数 0
我正尝试在spark cluster (v2.0)上远程使用jupyter-notebook (v4.2.2)，但当我运行以下命令时，它不会在spark上运行，而只在本地运行：
PYSPARK_DRIVER_PYTHON=jupyter PYSPARK_DRIVER_PYTHON_OPTS="notebook --no-browser --port=7777" pyspark --master spark://**spark_master_hostname**:7077
当我单独使用相同的--master argument运行pyspark时，spark集群的进程在"R
浏览 5提问于2016-09-16得票数 8
1回答
Spark使用Scala内核
、、、、
我在从Spark访问S3数据时遇到了问题。我已经为spylon-kernel安装了JupyterHub (它是带有Spark集成的Scala内核)。它使用pyspark。不幸的是，最新的火花放电仍然使用hadoop-2.7.3库。当我试图访问法兰克福地区的S3桶时，我得到以下：
"com.amazonaws.services.s3.model.AmazonS3Exception:状态代码: 400，服务： S3，AWS请求ID: xxxxxxxxxx，错误代码: null，AWS错误消息:坏请求“
从我的研究来看，这似乎是hadoop 2.7.3问题。对于较新的版本(3.1.1)，它
浏览 1提问于2020-04-25得票数 2
3回答
我在斯卡拉使用星火已经很久了。现在我第一次使用火花放电。这是在Mac上
首先，我使用安装了火花放电，然后它安装了pyspark 2.2.0。
我使用brew安装apache-spark安装了spark本身，它似乎已经安装了apache 2.2.0
但当我运行火星雨时，它就会喷出。
/Users/me/anaconda/bin/pyspark: line 24: /Users/bruceho/spark-1.6/spark-1.6.2-bin-hadoop2.6/bin/load-spark-env.sh: No such file or directory
/Users/me/
浏览 10提问于2017-09-24得票数 2
回答已采纳
3回答
我已经安装了PySpark独立/本地(在Windows上)
pip install pyspark
我感到有点惊讶，我已经可以在命令行中运行pyspark，或者在木星笔记本中使用它，而且它不需要安装一个适当的 (例如，我不需要执行本教程中的大部分步骤 )。
我遇到的大多数教程都说需要“在安装PySpark之前安装火花”。这将同意我的观点，即PySpark基本上是Spark的包装器。但也许我错了-谁能解释一下：
这两种技术之间的确切联系是什么？
为什么安装PySpark足够让它运行呢？它真的在引擎盖下安装了火花吗？如果是，在哪里？
如果您只安装了PySpark，您是否遗漏了什么(例如
浏览 1提问于2018-08-07得票数 36
回答已采纳
如果我想使用python库来完成特定的任务，比如NLTK或BeautifulSoup，我可以在本地机器上使用Spark来完成，但是同样的事情在Spark on YARN上就不起作用了。
下面是一个示例代码：
from pyspark.sql.functions import udf
from pyspark.sql.types import StringType
def html_parsing(x):
""" Cleans the text from Data Frame text column"""
textcleaned
浏览 8提问于2017-02-22得票数 1
我有一个小集群(4台机器)，它有3个从站和一个主节点，全部安装在/home/spark/spark上。(即，$SPARK_HOME是/home/spark/spark)
当我使用火花外壳：/home/spark/spark/bin/pyspark --master spark://192.168.0.11:7077时，一切都很好。但是，我希望我的同事能够从安装在他们希望的目录中的机器上的本地spark实例连接到集群。
目前，如果有人安装了/home/user12/spark并运行了/home/user12/spark/bin/pyspark --master spark://192.168.0
浏览 1提问于2014-07-16得票数 4
回答已采纳
2回答
在通过pyspark重新安装了pip install pyspark之后，我得到以下错误：
> pyspark
Could not find valid SPARK_HOME while searching ['/Users', '/usr/local/bin']
/usr/local/bin/pyspark: line 24: /bin/load-spark-env.sh: No such file or directory
/usr/local/bin/pyspark: line 77: /bin/spark-submit: No such file
浏览 1提问于2018-04-07得票数 6
回答已采纳
1回答
我很抱歉问了一个我以前在这里见过的问题，但我所经历的答案似乎都不能解决这个问题。我遵循了在本地机器上运行pyspark的安装文档。完成后，我将尝试使用以下命令测试安装 # Start pyspark via provided command
import pyspark
# Below code is Spark 2+
spark = pyspark.sql.SparkSession.builder.appName('test').getOrCreate()
spark.range(10).collect() 但我一直收到以下错误： /Users/usr123/opt/a
浏览 20提问于2020-07-08得票数 1
2回答
我试图在mac上本地设置一个独立的spark实例，并使用Python3API。为此，我完成了以下操作: 1.下载并安装了Scala和Spark。2.我设置了以下环境变量，
#Scala
export SCALA_HOME=$HOME/scala/scala-2.12.4
export PATH=$PATH:$SCALA_HOME/bin
#Spark
export SPARK_HOME=$HOME/spark/spark-2.2.1-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
#Jupyter Python
export PYSPARK_
浏览 1提问于2018-02-07得票数 0
回答已采纳
1回答
目前，我正在与其他人一起进行Python3.6项目。我们使用一个requirements.txt文件来存储我们的依赖项，这些依赖项将与pip或conda一起安装。
我添加了pyspark >= 2.2.0，它将运行pip install pyspark。我们利用蟒蛇。安装没有任何错误，我可以在本地Anaconda site-packages目录中找到pyspark目录。
当我运行我的python脚本时，脚本中包含一些火花代码。我得到了错误：Failed to find Spark jars directory。在进行了一些研究之后，我发现我需要构建吡火花代码，因为它在使用pip时并不是预
浏览 3提问于2017-12-12得票数 0
我正在尝试在cloudera VM上的Pyspark中运行Python脚本
首先我运行pyspark
$ which pyspark
$ pyspark
在启动spark之后，我尝试了：
$ spark-submit /home/cloudera/test.py
告诉我“没有定义'spark‘的名字”
$ ./bin/spark-submit /home/cloudera/test.py
提示"SyntaxError:无效语法“
我知道网上有很多类似的问题，但我还是想不通。有人能帮帮忙吗？
浏览 0提问于2017-02-24得票数 0
在安装Spark之后，我尝试从安装文件夹运行PySpark：
opt/spark/bin/pyspark
但是我得到了以下错误：
opt/spark/bin/pyspark: line 24: /opt/spark/bin/load-spark-env.sh: No such file or directory
opt/spark/bin/pyspark: line 68: /opt/spark/bin/spark-submit: No such file or directory
opt/spark/bin/pyspark: line 68: exec: /opt/spark/bin/spa
浏览 5提问于2020-04-24得票数 1
我在执行来自的示例代码时遇到了问题。我希望在脚本中运行代码，而不是jupyter笔记本(这就是运行示例的方式)。我的脚本如下：
##################################################################################
# start a local spark session
# https://spark.apache.org/docs/0.9.0/python-programming-guide.html
#######################################################
浏览 4提问于2017-09-18得票数 0
回答已采纳
1回答
我试图运行以下代码
import findspark
findspark.init('/opt/spark')
import os
os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages org.apache.spark:spark-streaming-kafka-0-8_2.11:2.3.0 pyspark-shell'
import sys
import time
from pyspark.context import SparkContext
from pyspark import SparkCon
浏览 1提问于2021-10-18得票数 0
回答已采纳
问题:我试图从我的本地机器运行一个spark-submit脚本到一个机器集群。集群所做的工作使用numpy。我目前得到以下错误：
ImportError:
Importing the multiarray numpy extension module failed. Most
likely you are trying to import a failed build of numpy.
If you're working with a numpy git repo, try `git clean -xdf` (removes all
files not under version
浏览 0提问于2017-09-07得票数 9
回答已采纳
我在本地运行spark-submit my_script.py测试glue时出现以下错误：
File "C:\Spark\spark-3.1.1-bin-hadoop2.7\python\lib\pyspark.zip\pyspark\context.py", line 384, in getOrCreate
File "C:\Spark\spark-3.1.1-bin-hadoop2.7\python\lib\pyspark.zip\pyspark\context.py", line 147, in __init__
File "C:\Sp
浏览 2提问于2021-05-14得票数 0
我正在尝试为pyspark安装geomesa，并在初始化时收到错误
命令:geomesa_pyspark.init_sql(火花)
~/opt/anaconda3/envs/geomesa-pyspark/lib/python3.7/site-packages/geomesa_pyspark/__init__.py in init_sql(spark)
113
114 def init_sql(spark):
--> 115 spark._jvm.org.apache.spark.sql.SQLTypes.init(spark._jwrapped)
TypeE
浏览 10提问于2021-11-30得票数 0
我想用pyspark运行graphframes。 我找到了这个answer，并按照它的说明操作，但它不起作用。 这是我的代码hello_spark.py import pyspark
conf = pyspark.SparkConf().set("spark.driver.host", "127.0.0.1")
sc = pyspark.SparkContext(master="local", appName="myAppName", conf=conf)
sc.addPyFile("/opt/spark/jars/s
浏览 86提问于2021-04-07得票数 0
回答已采纳
Docker对我来说是一个新事物，我甚至没有一般的技能，但我正在尝试使用一些已安装的库来创建特定的Zeppelin映像。
这是我的Dockerfile：
FROM apache/zeppelin:0.9.0
ENV SPARK_VERSION=2.4.6
USER root
RUN apt-get -y update && \
apt-get install sudo
ENV SPARK_HOME=/opt/conda/lib/python3.7/site-packages/pyspark
RUN installing some libraries...
我的问
浏览 2提问于2020-08-21得票数 1
1回答
我已经创建了一个包含findspark.init()函数的程序的对接映像。该程序在本地机器上运行良好。当我尝试使用docker run -p 5000:5000 imgname:latest运行映像时，我会得到以下错误：
Traceback (most recent call last):
File "app.py", line 37, in <module>
findspark.init()
File "/usr/local/lib/python3.8/site-packages/findspark.py", line 129, i
浏览 10提问于2021-12-19得票数 1
回答已采纳
3回答
我想使用GrameFrames包，如果我要在本地运行pyspark，我会使用以下命令：
~/hadoop/spark-2.3.1-bin-hadoop2.7/bin/pyspark --packages graphframes:graphframes:0.6.0-spark2.3-s_2.11
但是，我如何使用此程序包运行AWS Glue脚本？我在文档里什么也没找到...
浏览 3提问于2018-11-20得票数 3
在PySpark程序中，一旦将pyspark模块添加到path中，就可以导入from pyspark.sql import SparkSession并实例化SparkSession。 什么时候可以使用python3可执行文件(例如python3 myApp.py而不是spark-submit myApp.py？)提交pyspark作业？我已经在客户端模式下对其进行了本地测试，似乎运行良好。那么cluster模式呢？是什么原因使得在某些情况下需要使用spark-submit？ 使用集成开发环境可执行文件调用应用程序使得使用PyCharm之类的python3调试程序变得更容易(据我所知)。
浏览 62提问于2021-02-06得票数 0
这可能是一个新手问题。这是我的场景。 我已经在我的机器上安装了一个spark。我还没有启动它(使用sbin/ start -all.sh或sbin文件夹中的任何其他脚本)。然后我打开pyspark (使用bin/pyspark)，它启动时没有任何错误。我尝试运行示例程序： >>> var=sc.textFile('/home/rushikesh/sam.txt')
>>> var.count() 它工作正常，没有任何错误。 问题1:执行pyspark/ spark -shell程序不需要spark运行吗？ 问题2:还是只有Spark-su
浏览 271提问于2019-05-06得票数 4
我想在Jupyter notebook上运行pySpark。我下载并安装了Anaconda，它有Juptyer。我创建了以下代码行
from pyspark import SparkConf, SparkContext
conf = SparkConf().setMaster("local").setAppName("My App")
sc = SparkContext(conf = conf)
我得到以下错误
ImportError Traceback (most recent call las
浏览 2提问于2016-07-03得票数 2
1回答
我已经在集群中安装了Datastax Enterprise4.6，但是我不明白为什么pyspark抛出这个错误。scala接口工作得很好，但是python就不行了，有谁知道怎么解决这个问题吗？
Python 2.6.6 Centos 6.5
干杯
bash-4.1$ dse pyspark --master spark://IP:7077
Python 2.6.6 (r266:84292, Jan 22 2014, 01:49:05)
[GCC 4.4.7 20120313 (Red Hat 4.4.7-4)] on linux2
Type "help", "copyr
浏览 0提问于2015-01-13得票数 0
我目前正在使用Spark 1.6.1，并在Jupyter Ipython笔记本和Java 8中使用它。对于Java，我只需修改我的maven pom以导入Spark 2.0，但我不确定如何在ipython中做同样的事情。我认为我需要安装2.0，但这是可行的，因为我已经安装了Spark 1.6.1？我可以在我的macbook上同时使用两个版本，并从pyspark中选择使用哪个版本吗？多么?
更新:这是我在终端% IPYTHON_OPTS="notebook" pyspark上启动我的Jupyter pyspark笔记本=>的方式。我如何告诉它使用Spark 2.0启动？
浏览 2提问于2016-09-22得票数 0
2回答
熊猫与星星之火
、、
我有脚本，解析器二进制文件，并返回它的数据熊猫DataFrames。当我在没有集群的情况下运行脚本时，它工作得很好：
sc =SparkContext(“本地”，"TDMS解析器“)
但是，当我试图将主集群设置为本地集群时(我以前已经启动并将工作人员附加到其中)：
sc =SparkContext(“星星之火://roman:7077”，"TDMS解析器“)
它记录这样的错误。
> 15/07/03 16:36:20 WARN TaskSetManager: Lost task 0.0 in stage 0.0 (TID
> 0, 192.168.0
浏览 1提问于2015-07-03得票数 1
我正在尝试使用pyspark运行Python的Spark graphx。我的安装看起来是正确的，因为我能够很好地运行pyspark教程和(Java) GraphX教程。大概因为GraphX是Spark的一部分，所以pyspark应该能够连接它，对吗？
以下是pyspark的教程：
以下是针对GraphX的示例：
有人可以将GraphX教程转换为Python语言吗？
浏览 2提问于2014-04-26得票数 30
回答已采纳
我通过pip install pyspark安装了pyskem3.2.0。我已经在一个名为pyspark的conda环境中安装了电火花。我找不到spark-defaults.conf。我在~/miniconda3/envs/pyspark/lib/python3.9/site-packages/pyspark中搜索它，因为这是我对SPARK_HOME应该是什么的理解。
在哪里可以找到火花违约. can？我想修改它，，，我在将SPARK_HOME设置为pyspark 的安装位置时是否正确？
浏览 7提问于2021-12-07得票数 3
回答已采纳
我已经在Ubuntu14.04上的ipython笔记本中成功地使用了pyspark和Python2.7，为spark创建了一个特殊的配置文件，并通过调用$ipython notebook --profile spark启动了这个笔记本。许多网站上都给出了创建spark配置文件的机制，但我使用的是中给出的机制。
$HOME/.ipython/profile_spark/startup/00-pyspark-setup.py包含以下代码
import os
import sys
# Configure the environment
if 'SPARK_HOME' not in o
浏览 1提问于2016-06-25得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
