我有一个这样的PySpark数据帧， +----------+------+------+------+------+------+------+------+------+------+---------------------------------------------------------------------------------------------------- 从这些数据中，我想找到每一行的最新非空值。我用过， df.sele
浏览 19提问于2019-08-29得票数 0
回答已采纳
1回答
两个相同的值
、、
我有个很奇怪的问题。我读过一个csv文件，其中一些列同时具有空值和空值。我试图查找每行值相同的列，但最后得到如下结果：df.select(trim(lower(col("
浏览 2提问于2022-03-17得票数 0
3回答
我想在下表中查找2017年12月份的最新非空白条目：在本例中，返回值为3，日期标题18-Dec-17下的条目，因为25-Dec-17为空/非数字。
浏览 19提问于2018-01-09得票数 1
回答已采纳
我有一张有100块地的大桌子。每一行都有时间戳。我想为所有列找到最新的非空值。我使用的是MySql 5.6 InnoDBcreate table tester(pub_name varchar(20),我想质疑这会给我：
'a', 'xyz', 'abcity2',
浏览 3提问于2014-11-04得票数 1
回答已采纳
1回答
如何在熊猫中获得第二行非零值。我知道，使用first_valid_index()，我们可以获得每行第一个非空值，但是如何获得第二个非空值。有什么帮助吗？
浏览 7提问于2020-02-20得票数 2
回答已采纳
我得到的代码来自这个链接：https://johnpaton.net/posts/forward-fill-spark/它有一些我想要完成的任务的背景。from pyspark.sql import Windowwindow = Window.partitionBydo the fill
spark_df_filled = spark_
浏览 13提问于2020-04-28得票数 1
回答已采纳
1回答
我正在使用pyspark 1.5从Hive表中获取数据，并尝试使用窗口函数。鉴于pyspark不支持UserDefinedAggregateFunctions (UDAF)，有没有办法实现这一点？
浏览 4提问于2016-02-02得票数 6
回答已采纳
1546300804000| null|| 10|1546300807000| null|| id|joined.withColumn('num2', when(col('num&#x
浏览 43提问于2020-11-01得票数 2
回答已采纳
我使用的是pyspark，我有一个数据框架，看起来像这样：A | 1 | | B | 4 | | CCCB | 6 | |B | 5 | |
B | 6 |
浏览 1提问于2020-09-24得票数 0
1回答
如果我有这样的熊猫资料： NaN NaN 0 1 2 3 5 8 8 NaN 4 NaN NaN NaN 0 5 7 2 2 3 7 8如何只保留每一行中的前五个非空值，并将其余值设置为nan，以便得到如下所示的数据：
NaN N
浏览 4提问于2020-01-09得票数 2
回答已采纳
1回答
我想检查该列中的所有值是否都为空，如果为空，则从数据帧中删除该列。
我所做的是检查具有非空值的列的计数，如果count等于0，则删除该列，但在pyspark中这似乎是一个开销很大的操作
浏览 0提问于2019-08-09得票数 0
其中每行只有一个非空值。Tom Ron Jim MatMax NaN 5.0 NaN NaN对于每一列，我希望有一个非空值，然后将相应的非空值的索引附加到列的名称中所以最终结果应该如下所示
Tom_Min Ron_Max Jim_Avg Mat
浏览 2提问于2020-05-29得票数 2
回答已采纳
1回答
我有一个带有n个cols的Pyspark Dataframe (Column_1，Column_2 .Column_n)。我必须再添加一个列，其中列的集合以逗号分隔。条件:如果两个或更多的cols具有值，则填充集合列中的逗号分隔值，例如。下面是三个cols的数据。
浏览 33提问于2020-06-23得票数 1
这可能是一个副本，但不知何故，我已经搜索了很长时间： ABC 1 a 1 2 ABC ABC 2编辑:假设我有太多的列，以至于我
浏览 0提问于2018-09-21得票数 1
1回答
我的输入数据帧是； Date Client Until_non_null_value2020-10-27 1 NULL2 NULL2020-11-08 2 NULL
2020-11-09 2 NULL 我想为每个客户端计算两个非空值之间的空值计数，作为pyspark中</e
浏览 17提问于2020-12-28得票数 1
回答已采纳
我使用sqoop创建和导入hive表，并使用pyspark获取数据。该表由一个字符串字段、一个整型字段和多个浮点型字段组成。我可以通过hue hive sql查询获得整个数据。但是，当我使用pyspark sql编程时，可以显示非浮点型字段，而浮点型字段总是显示空值。色调配置单元sql结果：
zeppelin pyspark输出：
hive表的详细信息：
浏览 18提问于2017-06-29得票数 0
3回答
我用的是电火花，我有这样一张桌子： 1 | 19| Spain | null根据值列，我希望为指定最多信息(年龄、国家、职务)的每个ClientNum保留不同的值。结果应该是这样的</em
浏览 1提问于2017-04-10得票数 0
回答已采纳
我有如下样本表(Table1)的pyspark数据帧(df)：id，col1，col2，col3 1，abc，null，def 2，null，def，abc 3，def，abc，null
我试图通过忽略NULL值附加所有列来获得新列(最终)。我尝试过pyspark代码，并使用了f.array(col1，col2，col3)。值将被追加，但它不会忽略空值。我还尝试过UDF仅附加非空列，但它不起作用。
浏览 24提问于2019-08-23得票数 3
回答已采纳
2回答
我有一个包含空值的dataframe： (125, '2012-10-10','tv'), (40, '2012-10-10None, '2012-10-10','tv')]
df = spark.createDataFrame(data, ["Sales", "date","pro
浏览 1提问于2018-02-06得票数 3
回答已采纳
我有一个很大的数据帧，它有4列，每行通常有3个空值。有时有2个或1个甚至0个空值，但通常是3个。我希望将其转换为两列数据帧，在每行中包含非空值和从中提取该值的列的名称。1 a2 3 c4 1
浏览 10提问于2020-08-21得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
