有一次，我在笔记本上试了一次：from sklearn import datasetsestimator = KMeans(k=3, seed=1)estimator.fit(spark_df)
我犯了个错误
浏览 4提问于2016-08-16得票数 5
我已经按照说明集成了pyspark和jupyter，但完成之后，我只能在命令提示符下运行pyspark。到目前为止，我一直遵循以下命令： set PYSPARK_DRIVER_PYTHON_OPTS = notebookpyspark
它在cmd本身中打开pyspark。
浏览 8提问于2016-08-23得票数 1
回答已采纳
1回答
PySpark与and解析
、、、、
如何使用argparse为PySpark脚本指定命令行参数？我一直在为这件事绞尽脑汁，我发誓我在别的地方找不到解决办法。这是我的测试脚本：from pyspark.sql import SparkSession
parser = argparse.ArgumentParser_main__": print(result)
当我尝试使用spark-submit file.py --v1 5 --v2 4运行该文件时，会得到一个
浏览 0提问于2020-04-27得票数 2
回答已采纳
当我试图在pyspark上执行这个命令行时我收到以下错误消息：org.apache.spark.api.python.PythonRDD.runJob.: Lost task 0.0 in stage 0.0 (TID 0, l
浏览 2提问于2020-03-29得票数 5
回答已采纳
我在一台jupyter笔记本上使用python和pyspark。我正在尝试从亚马逊网络服务的s3存储桶中读取几个拼图文件，并将它们转换为单个json文件。这就是我所拥有的：from pyspark.sql import DataFrame
for key in bucket.objects.all():
pr
浏览 3提问于2020-07-18得票数 1
1回答
DoubleType()) ).show()|values|| 1.0|| null|如果有任何值不能转换，有没有办法让转换产生错误
浏览 4提问于2017-09-29得票数 0
但是，在交互式shell中使用以下代码片段创建RDD时会发生错误(还可以检查上述书第32页中的示例2-1 )： File "D:\Software\spark-3.2.1-bin-hadoop3.2\python\pyspark\rdd.py", line 1226, in sum
return\spark-3.2.1-bin-hadoop3.2\python
浏览 24提问于2022-05-01得票数 0
我正在尝试创建一个虚拟env并使用它启动PySpark。--trusted-host host pandas(从本地存储库下载软件包)pyspark --conf spark.pyspark.virtualenv.bin.path=/home/user/venv1 --conf spark.pyspark.python=/home/user/venv1/
浏览 2提问于2020-07-24得票数 0
回答已采纳
4回答
为Python工作节点设置sys路径的“正确”方法是什么？通过.bashrc在工作节点中设置路径是个好主意吗？或者有什么标准的火种设置方式？
浏览 16提问于2015-10-06得票数 9
回答已采纳
1回答
在员工节点上安装火花模块
、、、
我可以从ipython笔记本上运行pyspark，但是一旦我添加了第二个工作节点，我的代码就会停止运行并返回一个错误。我很确定这是因为我的主节点上的模块对worker节点不可见。这是python2.6中的标准 """ """
浏览 6提问于2015-06-25得票数 6
回答已采纳
在worker和master中，如果我进入os.version_info并执行PYSPARK_PYTHON，我会得到3.5.2，我也正确地设置了所有的环境变量(如stackoverflow和google我通过运行以下命令得到错误：rdd.count() 16/08/13 18:44:31 ERROR Executor(most recent call last):
File "/opt/spa
浏览 1提问于2016-08-14得票数 1
如果我通过在控制台中键入/usr/bin/pyspark来启动火花放电，下面的示例代码将运行，不会出现任何错误。import *sqc = SQLContext(sc)
/opt/cloudera/parcels/CDH-5.4.2-1.cdh5.4.2.p0.2/lib/spark&
浏览 3提问于2015-10-01得票数 4
bin-without-hadoop，它位于以下目录中：当我转到该目录，然后执行bin并尝试运行pyspark时，我得到了以下错误：
/usr/local/bin/pyspark: line 24: ~/Desktop/ahajib/opt/spark-2.1.0-bin-without-hadoop/bi
浏览 0提问于2017-09-06得票数 1
13回答
我是新来的火花，我试图安装的PySpark参考下面的网站。
5
在命令窗口中，我可以看到以下错误更新：
在朋友的帮助下，我能够通过更正.ipython/profil
浏览 13提问于2015-06-10得票数 29
回答已采纳
2回答
在安装Spark之后，我尝试从安装文件夹运行PySpark：但是我得到了以下错误：opt/spark/bin/pyspark: line 68: &
浏览 5提问于2020-04-24得票数 1
产出：- |-- _1: string (nullable = true)但是，当我执行df.show()时，它的显示错误如下: Traceback (most recent call last):RuntimeEr
浏览 13提问于2022-02-04得票数 0
1回答
试图使用pyspark im运行spark，得到以下错误： File "/opt/spark/python/lib/pyspark.zip/pyspark/worker.
浏览 2提问于2021-07-26得票数 0
回答已采纳
当我在python脚本中运行以下代码并直接使用python运行它时，我会得到下面的错误。脚本中运行它时出错：
File "/usr/local/Cellar/apache-spark/3.1.1/libexec/python/lib/pyspark.zip/pyspark/worker.py/lib/pyspark.zip&
浏览 1提问于2021-03-22得票数 5
8回答
Python工作人员未能连接回
、、、、
wordCounts.items():在从终端运行之后：我不犯错误\lib\pyspark.zip\pyspark\worker.py", line 25, in <module>
ModuleNotFoundError: No module named 'resource\lib\pyspark.zip\pyspark
浏览 6提问于2018-11-11得票数 20
回答已采纳
我最近按照使用vscode安装Glue Interactive的说明，但我找不到pyspark内核(只能看到"Glue see“)。aws-glue-sessionsjupyter-kernelspec install glue_pyspark
浏览 10提问于2022-10-08得票数 1
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号