我有一个包含200列和大约5亿条记录的Dataframe 'DF‘。我有另一个值列表'l‘。我想要检查，对于列表l中的每个值，每个值都出现在我的Dataframe DF的哪一列中。
浏览 51提问于2021-02-02得票数 2
2回答
我有两个pyspark数据帧，我想检查第一个数据帧列值是否存在于第二列dataframe.If第一个数据帧列值不存在于第二个数据帧列中，我需要确定这些值并将其写入list.Is有没有更好的方法来使用pyspark<
浏览 37提问于2020-09-03得票数 0
回答已采纳
1回答
将列有条件地添加到数据帧中
、、、、
我在PySpark中有一个数据帧。我想有条件地在数据框架中添加一列。
如果数据帧没有列，那么添加一个带有null值的列。如果列存在，则不执行任何操作，并返回与新数据帧相同的数据帧。如何在PySpark中传递条件语句
浏览 6提问于2017-01-20得票数 0
回答已采纳
1回答
我有一个PySpark数据帧(Df)，其中包含50+列，其中包含一些动态列，这些列可能存在也可能不存在，但它们存在于一个单独的列表(Reqd_col)中。我想对列表(Reqd_col)中存在的PySpark data frame(df)中的那些列进行汇总(按固定列‘regio
浏览 24提问于2021-09-08得票数 0
1回答
我有一个列名和一个数据帧。我想检查该列中的所有值是否都为空，如果为空，则从数据帧中删除该列。我所做的是检查具有非空值的列的计数，如果count等于0，则删除该列，但在pyspark中这似乎是一个开销很大的操作
浏览 0提问于2019-08-09得票数 0
我想在pandas或pyspark数据帧中执行以下操作，但我仍然没有找到解决方案。我描述的操作可以在下图中看到。
请记住，输出数据帧在第一列上不会有任何值，因为输入表中的第一列不能被前一列减去，因为它不存在。
浏览 1提问于2016-07-12得票数 4
回答已采纳
1回答
根据列值添加行
、、、、
数据帧从另一个数据帧列中提取，我从列水果中提取列的唯一值。fruits.unique()，其结果是数组()获取项目列表，只需遍历索引值并将其存储在列表中
循环列表，以检查列表中的值是否显示在
浏览 6提问于2022-03-04得票数 0
得到一个有5列的数据框架和包含20个值的列表。
期望产出：我的代码用于检查列表中的值是否存在</e
浏览 10提问于2022-02-07得票数 1
回答已采纳
3回答
有没有办法检查pySpark中是否存在数据帧？我知道在原生python中，要检查dataframe是否存在：在pySpark中如何做到这一点呢？
浏览 41提问于2020-06-05得票数 4
回答已采纳
1回答
我正在尝试使用时间更新PySpark数据帧中的列。我正在使用数组检查多个条件。我得到了错误'Cannot convert column into bool'。我假设这是因为我使用in来检查一个值列表。是否有什么方法可以对所有的值进行检查，而不是链接几个there语句？
浏览 1提问于2018-05-23得票数 0
回答已采纳
我有以下在熊猫数据帧上工作的函数 def event_list(df,steps): return df DataFrame有一个名为labels的列，值为list。此函数接受dataframe和Steps (这是一个列表)，如果参数列表中的所有元
浏览 136提问于2021-04-02得票数 1
回答已采纳
我有一个包含多个列(1000)的数据框，它们具有字符串类型。我希望将它们转换为不是一列一列地浮动，而是一次浮动所有数据帧。此外，我知道这是存在的： from pyspark.sql.types import IntegerType
data_df = data_df.withColumn("column_name",
浏览 17提问于2021-04-15得票数 0
回答已采纳
1回答
是否可以找到完整PySpark数据的哈希值(最好是散列256)。我不想找到单个行或列的散列。我知道pySpark中存在函数，用于从pyspark.sql.functions导入sha2进行列级哈希计算。
所需的是根据年份划分一个大数据，并为每年(小数据)查找散列值并将结果持久化到一个表中。输入(产品，质量，商店
浏览 8提问于2022-12-04得票数 0
在PySpark中是否有与pandas info()方法等效的方法？我正在尝试获取有关PySpark中数据帧的基本统计信息，例如:列数和行数、空值数、数据帧大小
pandas中的Info()方法提供了所有这些统计信息。
浏览 4提问于2017-06-08得票数 6
1回答
我是PySpark的新手。我创建了spark dataframe，并且我有一个" countries“列，其中包含国家列表。如何通过存在于国家/地区列表中的单个国家/地区来groupBy我的数据帧 +-----------------++-----------------+
| [
浏览 4提问于2019-10-09得票数 0
例如，如果有pyspark数据帧，并且在某些列上，我想要获取那些列值长度在某个范围内的所有记录。如何使用带有lambda的reduce函数实现这一点。我试着用下面的代码来实现它，但我对此不是很确定。bad_df = reduce(lambda x, (min < f.col(x) < max for x in df.columns if x in col_list)) col_list有我想要检查列值是否在范围内的
浏览 4提问于2020-08-20得票数 0
我正在研究PySpark。我有一个数据框，我需要将其转储为JSON文件，但JSON文件应具有以下格式，例如- {"Column 1": [9202, 9202, 9202, ....], "Column 2": ["FEMALE因此，每列应该有一个键，相应的值应该包含该列中的所有值的列表 我尝试将其转换为Pandas数据帧，然后在将其作为JSON转储之前转换为字典，并
浏览 14提问于2019-12-18得票数 1
回答已采纳
我想知道是否有一种方法可以同时更改PySpark数据帧的两列(或更多列)。现在我正在使用withColumn，但我不知道这是否意味着条件将被检查两次(对于大型数据帧来说，这可能太昂贵了)。这段代码主要是检查其他两列(对于同一行)中的值，并在此基础上将两列更改为None/null。
浏览 2提问于2017-06-21得票数 1
回答已采纳
我有一个包含两列的数据帧。一个是START_DATE，一个是END_DATE。我还有一个python的日期列表。我想要数据帧中的第三列，它指示我的python列表中是否有任何日期落在数据帧中每个特定行的START_DATE和END_DATE之间。如果日期列表中的日期介于START_DATE和E
浏览 0提问于2019-07-11得票数 4
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
