我在数据框中有一列，其中每一行都有一个用逗号分隔的日期列表。我想创建一个名为date_count的新列，其中包含每行的日期数。我试过使用pandas，但我想在pyspark中实现它，而且我也是spark的新手。
浏览 8提问于2019-10-13得票数 1
回答已采纳
在PySpark中是否有与pandas info()方法等效的方法？我正在尝试获取有关PySpark中数据帧的基本统计信息，例如:列数和行数、空值数、数据帧大小
pandas中的Info()方法提供了所有这些统计信息。
浏览 4提问于2017-06-08得票数 6
我是来自pyspark的pandas的初学者，我想用pandas编写以下sql查询：我想让它返回一个新的数据帧。我发现了返回计数或合计的代码，但从未在新的数据帧中返回过
浏览 13提问于2019-08-02得票数 0
回答已采纳
1回答
我在spark数据帧中有非常大的数据集，它们分布在节点上。我可以使用spark库pyspark.sql.functions进行简单的统计，如mean、stdev、skewness、kurtosis等。如果我想使用像Jarque-Bera (JB)或Shapiro Wilk(SW)等高级统计测试，我会使用像scipy这样的python库，因为标准的apache <e
浏览 30提问于2020-09-13得票数 0
我有一个pyspark RDD (myRDD)，它是一个可变长度的ID列表，比如我有一个包含列ID和value的pyspark数据框架(myDF)。myDF.select(F.collect_set("value&qu
浏览 26提问于2017-08-24得票数 0
1回答
我有两个几乎相同的Pyspark数据帧:相同的行数和row_id，相同的模式，但每行的某些列上的值不同。 我想确定每一行的列是什么。示例： 数据帧A id fname lname email2 Roger Moore rm@rocketmail.com3 Angela
浏览 22提问于2020-03-23得票数 1
回答已采纳
我有一个SQLContext数据框架，它是由几个数字列组成的熊猫数据框架。我想使用pyspark.mllib.stats包进行多元统计分析。统计函数期望向量的RDD。我无法将此数据帧转换为向量的RDD。有办法转换数据帧吗？df_new
df_new = df.applymap(lambda s: dic.get(s) if s in dic else s) #d
浏览 0提问于2015-07-01得票数 1
回答已采纳
这可能是一个副本，但不知何故，我已经搜索了很长时间： ABC 1 a 1 2 ABC ABC 2编辑:假设我有
浏览 0提问于2018-09-21得票数 1
我正在尝试找出sql语句产生的每个字段的最小值和最大值，并将其写入csv文件。我试着在下面的时尚中得到结果。你能帮帮我吗。我已经用python编写了代码，但现在正在尝试将其转换为pyspark，以便直接在hadoop集群中运行。from pyspark import SparkContext
sc =SparkC
浏览 2提问于2018-11-20得票数 1
1回答
Spark MLlib是否支持Python的主成分分析？如果是这样，请给我举个例子。如果没有，如何将Spark与scikit-learn结合起来？
浏览 2提问于2015-08-03得票数 10
回答已采纳
1回答
我正在致力于在pyspark上使用ALS来做协同过滤。这些模型在数据框中给出了预测结果，如下所示。1 7 2.3 2 3 3.1 我希望将数据帧转换为用户到项目矩阵，如下所示，其中productID变为列，每行表示一个用户对所有产品的评分。4.2 0 3 0
0.5 0 0
浏览 21提问于2019-05-21得票数 0
回答已采纳
2回答
我有一个数据帧列表，我希望将该列表中每个数据帧的摘要统计信息返回到一个新的数据帧中-能够选择每个初始数据帧中的列(值)来返回摘要统计信息。输出数据帧中的每一行对应于初始列表中的每个<em
浏览 8提问于2019-09-14得票数 0
回答已采纳
1回答
我有两个大的数据帧，一个是模拟数据，另一个是观测数据。列表示要比较的点，行表示小时数。dim(SIM)[1] 400 1000}
NA值从观测数据帧中删除，该数据<em
浏览 0提问于2013-06-24得票数 1
回答已采纳
2回答
我有两个pyspark数据帧，我想检查第一个数据帧列值是否存在于第二列dataframe.If第一个数据帧列值不存在于第二个数据帧列中，我需要确定这些值并将其写入list.Is有没有更好的方法来使用pyspark感谢您的回复。 df[Name].show()Oracle
浏览 37提问于2020-09-03得票数 0
回答已采纳
在PySpark数据帧中，我希望将字符串完整文件路径转换为每个父路径的多行。输入数据格式值：输出:每行都应该显示一个绝对路径和/分隔符
ParentFolder
浏览 0提问于2021-02-06得票数 1
回答已采纳
1回答
将列有条件地添加到数据帧中
、、、、
我在PySpark中有一个数据帧。我想有条件地在数据框架中添加一列。
如果数据帧没有列，那么添加一个带有null值的列。如果列存在，则不执行任何操作，并返回与新数据帧相同的数据帧。如何在PySpark中传递条件语句
浏览 6提问于2017-01-20得票数 0
回答已采纳
我有一个从动态查询创建的数组。对于一个范围内的每个项目和日期，我都会得到几个值。这一切都很好。但我需要能够计算每个组(而不是每行)的合计，并使用该合计作为29周内以下日期范围的起始值。在VBA中，我有每一行数据的结束合计。然后，我可以在以下日期范围内使用该总数。
我的代码的问题是结束合
浏览 12提问于2017-03-16得票数 0
我为一些需求创建了一个空的dataframe，当我在它上面调用withColumn函数时，我得到了列，但数据是null，如下所示-df = sqlContext.createDataFrame
浏览 17提问于2018-07-26得票数 2
回答已采纳
不幸的是，我不能分享我的实际代码或数据，因为它是专有的，但如果问题对读者来说不是很清楚，我可以生成一个MWE。 我正在处理一个包含大约5000万行的数据帧，每行都包含一个大型XML文档。从每个XML文档中，我提取了一个与出现次数和标记之间的层次关系相关的统计数据列表(没有什么比无文档记录的XML格式更让人愉快的了)。我可以在数据
浏览 21提问于2021-10-26得票数 0
1回答
我需要计算pyspark数据帧中重复值的出现次数，如下所示。简而言之，当值相同时，它会累加，直到值不同为止。当该值不同时，将重置计数。我需要它出现在一个专栏里。0 || 1 || 2 || 3 || 3 |+------+ 我需要的是
浏览 43提问于2020-09-09得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
