1回答
如果所有的值都是ASCII，我需要检入一个pyspark dataframe，我用下面的代码来做： def is_ascii(s): return all(ord(c) < 128for c in s) return None
df_result列的新数据，并收到以下错误： ExecutorLostFailure (
浏览 23提问于2020-12-11得票数 0
2回答
我有两个pyspark数据帧，我想检查第一个数据帧列值是否存在于第二列dataframe.If第一个数据帧列值不存在于第二个数据帧列中，我需要确定这些值并将其写入list.Is有没有更好的方法来使用pyspark
浏览 37提问于2020-09-03得票数 0
回答已采纳
使用spark.read.csv和encoding='utf-8'将带有外来字符的数据帧加载到Spark中，并尝试执行一个简单的show()。Traceback (most recent call last):File "/usr/lib/spark/python/pyspark_jdf.showString(n, truncate))
Unic
浏览 2提问于2016-09-23得票数 17
3回答
有没有办法检查pySpark中是否存在数据帧？我知道在原生python中，要检查dataframe是否存在：在pySpark中如何做到这一点呢？
浏览 41提问于2020-06-05得票数 4
回答已采纳
我正在尝试使用子集(drop_duplicates=‘’，keep=False)在我的数据帧中删除重复项。Notebook中工作正常，但当我试图通过终端以.py文件的形式执行时，我得到了以下错误： Traceback (most recent call last):TypeError: drop_duplicates() got an unexpe
浏览 110提问于2019-06-20得票数 1
1回答
我有一个列名和一个数据帧。我想检查该列中的所有值是否都为空，如果为空，则从数据帧中删除该列。我所做的是检查具有非空值的列的计数，如果count等于0，则删除该列，但在pyspark中这似乎是一个开销很大的操作
浏览 0提问于2019-08-09得票数 0
在链接中，用户可以在Spark3.2中的PySpark之上与熊猫合作。是否需要很长时间才能将PySpark数据帧转换为PySpark熊猫数据框架？我知道将PySpark数据帧转换为熊猫数据框架需要很长时间。
浏览 9提问于2022-03-02得票数 1
回答已采纳
我有一个包含1000万条记录和150列的spark数据帧。我正在尝试将其转换为熊猫DF。-> 159 ps = x.toPandas() 161 # "pol_eff_dt",
2032
浏览 0提问于2018-10-26得票数 6
我无法使用Jupyter Notebook中的PySpark将CSV文件从Azure Blob Storage直接加载到RDD中。我知道我也可以使用Pandas将数据加载到Notebook中，但之后我需要将Panda DF转换为RDD。 我理想的解决方案应该是这样的，但是这个特定的代码给我的错误是它不能推断出CSV的模式。inferSchema", "true").option("url",source).load() 我也看过这个答案：reading a csv file from azure blob s
浏览 21提问于2019-04-28得票数 0
2回答
在PySpark中有什么特定的方法可以像我们在r中那样绑定两个数据帧吗？
我需要在PySpark中同时绑定数据帧和作为一个数据帧。
浏览 1提问于2017-08-30得票数 3
我是否可以将Azure Synapse Dataframe转换为JSON？因为当我尝试的时候，它得到了一个错误。我使用脚本作为Pandas DataFrame函数df.to_json()，因为我假设Azure Synapse DataFrame与Pandas Dataframe相同。class UtilAzSynapse(UtilAzSynapse): def write_to_synapse(df, table, write_mode, url, tempDir):
浏览 19提问于2021-05-31得票数 0
回答已采纳
我有一个包含3列(col1字符串、col2整数、col3字符串)的数据帧(df)，如下所示，但是有上百万条记录：Tes#t 456 mnopqrstTest's 789 hdskfdss
当我尝试用下面的语句使用PySpark来写数据时，Col1中的特殊字符丢失了，并且在hdfs中创建目录时被ascii字符替换。有没有办法在将此数据帧写入hdfs时保留特殊字符并将其包含在目录路径中？
浏览 0提问于2017-09-08得票数 0
当我想要计算一个大约有1200万行的pyspark数据帧时，我得到了以下错误消息。此外，当我想要将数据帧转换为pandas时，我收到了一个错误消息。因此，每个检查函数都是这种错误的一种，如图所示。
浏览 0提问于2021-11-29得票数 0
1回答
我有一个pyspark管道(包含估算和一个机器学习模型)和一个pandas数据帧。我是否可以在不将其转换为Pyspark dataframe的情况下将管道应用于此pandas数据帧？如果不可能，我如何有效地使用pyspark管道来生成对pandas数据帧的预测？
浏览 3提问于2021-09-13得票数 1
1回答
因此，我需要传递列表中的列名(在下面的示例中，列名是其id和programid id)，以便在源数据帧和目标数据帧之间进行比较。在下面的示例中，我想检查src_id == id和src_programid == programid是否。from pyspark import SparkContext, SparkConf, SQLContext
from pyspark.sql.functions import col, when
浏览 14提问于2019-04-13得票数 0
最近我一直在使用pySpark，所以我已经习惯了它的语法、不同的API和HiveContext函数。很多时候，当我开始处理一个项目时，我并不完全知道它的范围是什么，或者输入数据的大小，所以有时我最终需要分布式计算的全部功能，而在另一些情况下，我最终得到了一些在我的本地计算机上运行良好的脚本。我的问题是，与常规的Python/Pandas相比，将pySpark作为我的主要语言进行编码是否存在劣势，即使只是进行一些探索性分析？我这么问主要是因为在不同语言之间切换的认知工作，以及如果我需要分发工作，将代码从Python迁移到py
浏览 0提问于2016-07-27得票数 1
1回答
将列有条件地添加到数据帧中
、、、、
我在PySpark中有一个数据帧。我想有条件地在数据框架中添加一列。
如果数据帧没有列，那么添加一个带有null值的列。如果列存在，则不执行任何操作，并返回与新数据帧相同的数据帧。如何在PySpark中传递条件语句
浏览 6提问于2017-01-20得票数 0
回答已采纳
1回答
我希望用pyspark和spark dataframe做同样的事情。我知道我必须使用窗口函数，但它比熊猫更难理解，所以我迷路了…… 我有这个，但我不知道如何让它工作。
浏览 29提问于2020-06-26得票数 0
回答已采纳
2回答
我有一个PySpark数据框架，它只包含一个元素。如何从数据帧中提取数字？
例如，如何从PySpark数据帧中获得数字5.0？
浏览 0提问于2022-07-13得票数 1
回答已采纳
我在pyspark中有所有这些支持库，并且我能够为parent创建数据帧- def xmlReader(root, row, filename):
return xref
df1.head() 我无法创建子<em
浏览 11提问于2019-03-15得票数 0
云服务器
ICP备案
云直播
实时音视频
即时通信 IM
腾讯云开发者
