我正在学习PYSPARK，遇到了一个我无法修复的问题。我按照这段视频从PYSPARK文档中复制代码来加载线性回归的数据。当我在Jupyter notebook中运行这段代码时，它总是给我一些java错误，这个视频中的人和我做了完全相同的事情，但他没有得到这个错误。有人能帮我解决这个问题吗？
非常感谢！
浏览 0提问于2019-12-09得票数 2
阅读和观看教程视频，但没有一个似乎是有效的。寻求指导import pyspark from pyspark import SparkContext,SparkConf from pyspark.sql.functions import window, col, year, month, aggregate, date_add,timestamp_seconds, rank, split
浏览 9提问于2022-02-04得票数 -1
1回答
在spark上寻找kedro+ airflow的实现。这个插件现在可以用于spark了吗？ 查看了PipelineX，但在spark上找不到相关的示例？
浏览 8提问于2020-08-14得票数 0
我正在尝试从pyspark.sql创建一个session，以便加载一个.csv文件。但是，每次我试图执行第2行时(如下面所示)，该命令将持续执行数小时&永远不会生成代码的其他行。solution").config("spark.some.config.option", "some-value").getOrCreate()
~\anaconda3\lib\site-packages\pyspark~\anaconda3\lib\site-packages\pyspark\conte
浏览 4提问于2020-07-23得票数 5
我正在PySpark上学习一个视频课程。我试图使用下面的代码将json字符串转换为dataframe。import pyspark as ps
sc = ps.SparkContext
浏览 2提问于2017-10-02得票数 2
回答已采纳
我正在尝试理解Apache PySpark是如何工作的。视频: Spark Python API - Josh Rosen说Python API是Java API的包装器。它在内部调用Java方法。检查时间戳6.41
1)这意味着对于PySpark中每个方法，如map、reduce等，它将在Java语言中调用相应的方法5)我在IntelliJ中使用PySpark，并且已经从加载了源代码。
是否可以从PySpark到Scal
浏览 0提问于2017-10-21得票数 1
我需要为python解释器执行一些自定义设置:与pyspark特别相关："interpeter“实际上将是spark-submit (又名pyspark) shell脚本。其目的是能够在中运行 pyspark作业。在Run Configuration中运行也很好:这将是另一种方法。我使用IJ终极版--它有很好的python支持:除了这个特定的用例之外。我想把它设置为$SPARK_HOME/bin/pyspark？
浏览 3提问于2017-02-26得票数 0
回答已采纳
我尝试在IPython笔记本中运行Apache，遵循以下内容(以及注释中的所有建议)- ipython notebook --profile=pyspark=true" pyspark-shell'# Configure the necessary' to
# the end of
浏览 7提问于2015-07-02得票数 7
我是Pyspark的新手。我在ubuntu上安装了"bash Anaconda2-4.0.0-Linux-x86_64.sh“。还安装了pyspark。在终端中一切工作正常。当我在我的ubuntu终端中创建配置文件时，如下所示：[ProfileCreate] Generating default config file: u'/home/wanderer/.ipyt
浏览 0提问于2016-04-24得票数 3
我在CDH5.12和RHEL上有一个包含Spark2.2的集群，我正在尝试设置IPython以与pyspark2一起使用。我已经安装了IPython 5.xLTS(长期支持)，但是我不能让它工作。
浏览 3提问于2017-10-31得票数 0
command#setting path for Sparkexport PYSPARK_DRIVER_PYTHON="jupyter"alias snotebook='$SPARK_PATH/bin/pyspark --master
浏览 1提问于2016-09-03得票数 0
count / NUM_SAMPLES 1129 1120
1121 def count(self)
浏览 4提问于2020-02-26得票数 0
python/pyspark/serializers.py", line 590, in dumpspyspark_1 | File "/home/ubuntu/spark-2.4.4-bin-hadoop2.7/python/pyspark/cloudpickle.py", line/
浏览 2提问于2019-10-25得票数 2
回答已采纳
在PYCHARM上运行pyspark程序时，我得到以下错误，Error：
java.io.IOException:无法运行程序"python3"：CreateProcess error=2，系统找不到指定的文件
浏览 9提问于2021-08-08得票数 9
1回答
我试图安装火花放电，我打算使用pyspark.pandas。我试着这样检查我的包裹。import pandas as pdimport pyspark.pandas as ps
但是当我运行导入时，我会看到下面的错误。ImportError: cannot import name 'print_exec' from 'pyspark.cloudpickle' (C:\Users\smith\Anaconda3\lib\site-packages\pysp
浏览 6提问于2022-06-25得票数 0
回答已采纳
2回答
当从脚本中执行pyspark代码时。在df.show()时获取以下错误。from pyspark.sql.types import StructType,StructField, StringType, IntegerTypedf.show(truncate=False)
AttributeError: Can't get attribute '_fill_function' on <m
浏览 12提问于2021-06-06得票数 2
PySpark的文档在示例中包括以下内容：from pyspark.sql.functions import *from datetime import date, timedelta, datetime
我不认识或理解最后两行的语法。
浏览 5提问于2022-06-15得票数 0
回答已采纳
13回答
我是新来的火花，我试图安装的PySpark参考下面的网站。
在朋友的帮助下，我能够通过更正.ipython/profile_pyspark/startup/00-pyspark-setup.py文件的内容来修复与相关的问题
我现在只有星火上下文变量的问题
浏览 13提问于2015-06-10得票数 29
回答已采纳
我正在使用气流中的DataprocSubmitJobOperator来安排火花放电作业，而且当我无法将pyfiles传递给火花放电作业时达格PYSPARK_JOB"reference": {"project_id": PROJECT_ID}, "pyspark_job": {
浏览 10提问于2022-07-17得票数 1
回答已采纳
3回答
上个星期一去火场
、、、
我可以这样做： pyspark.sql.types.StructField('AccountCreationDate', pyspark.sql.types.DateType(), True), <e
浏览 7提问于2016-10-26得票数 10
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
