我想根据条件从列表的spark数据帧中删除行。条件是列表的长度是一定长度。我曾尝试将其转换为列表列表，然后使用for循环(如下所示)，但我希望在spark内的一条语句中完成此操作，并基于此条件从原始df创建一个新的不可变df。是一个单列dataframe，而该列被命名为sequences，则它看起来如下所示： sequences[1,
浏览 25提问于2019-04-30得票数 0
回答已采纳
我们有一个特定的需求，其中我将不得不从dataframe中drop列，该列中只有一个唯一的值。下面是我们正在做的事情随后，为了在所有列中找到唯一值，我们使用了spark中支持的HyperLog++算法
val c
浏览 7提问于2017-06-06得票数 3
回答已采纳
从pandas数据帧中，我需要根据应用于数据帧的两列的条件删除特定的行。数据帧是 0 1 2 31 0.0313920.336522 0.787792
6 1.499040 0.195022 0.387194 0.95
浏览 13提问于2019-05-08得票数 1
回答已采纳
可以根据python中特定行的值来命名数据帧的列吗？所附数字显示了我如何修改数据框架的一个例子：
理想输出列名应该与以下模式相匹配: condition3condition2、condition1和报告条件值的前三行应该与顶部索引一起从数据帧中删除
浏览 2提问于2022-04-27得票数 0
2回答
来自这里的SQL背景..我正在使用df1 = spark.read.jdbc将数据从Azure sql加载到数据帧中。我正在尝试筛选数据，以排除满足以下条件的行：dataframe最终是空的，但是当我运行等价的SQL当我将其更改为
df2 = d
浏览 2提问于2020-06-26得票数 2
1回答
我有一个有5亿行的数据帧。我想遍历每一行并修改列名/删除几列，并根据几个条件更新列值。我在collect中使用下面的方法。行(df.collect.foreach => mycustomeMethod())
由于collect将把所有的数据带到驱动程序，我面对的是内存不足，errors.Can你可以建议任何替代的方法来实现同样的目的我们使用的是datastax的spark-cassandra连接器。我
浏览 3提问于2017-03-15得票数 2
我有一个13M行的pyspark数据帧，我想把它转换成pandas数据帧。然后，将根据其他参数以不同的频率(例如1秒、1分钟、10分钟)对数据帧进行重新采样以进行进一步分析。从文献[，]中，我发现使用以下任何一行都可以加快pyspark到pandas数据帧之间的转换：
spark.conf.set("spark.sql
浏览 11提问于2021-11-19得票数 0
1回答
evaluation yet*
// Write out subdf2 假设我从主数据帧开始(我懒惰地从CSV中读取)，对这个数据帧做一些操作(过滤，分组，连接)，然后到了一个点，我根据一个条件(例如，id >0和id < 0)拆分这个df1。然后，我继续对这些子数据帧进行操作(让我们将它们命名为subdf
浏览 23提问于2021-02-12得票数 1
回答已采纳
我想根据列的条件删除所有行。下面的代码生成一个示例测试数据。test_data <- data.frame(index = c(1,2,3,4,5), group = c("a", "a", "a", "b", "c"), count = c(1,2,2,3,4))
数据帧有如果组中的任何一行有计数1，我想删除属
浏览 2提问于2020-02-27得票数 1
回答已采纳
1回答
我们通常使用Spark作为存储在S3或HDFS上的数据的处理引擎。我们使用Databricks和EMR平台。我经常面临的一个问题是，当任务规模增长时，工作绩效会严重下降。例如，假设我从五个表中读取数据，这些表具有不同的转换级别(过滤、分解、连接等)，并从这些转换中获得数据的联合子集，然后进行进一步的处理(例如：根据需要窗口函数等的条件删除一些行)，然后是其他一些处理阶段但是，如果我们将临时中间<em
浏览 17提问于2019-10-26得票数 0
回答已采纳
1回答
我有两个数据框架，df.1和df.2，我想根据关于df.1的某些事情是否属实从df.2中删除行。具体来说，我想从df.2中删除与df.2中的date对应的feistiness的df.1值具有NA值的所有行。怎样才能做到这一点？(我已经看过其他问题了，但仍然找不出答案。)第一数据帧的可再现代码：dates <- rep(as
浏览 2提问于2017-07-31得票数 0
回答已采纳
2回答
根据条件或值从数据帧中删除行
、、、、
有没有一种方法可以从已经根据列值进行分组和排序的df中删除数据？1 004 2019-03-01 02:34:21.134 tof 1例如，如果004不是秩0的mdf，我想删除所有004，如
浏览 0提问于2019-03-06得票数 0
3回答
我是Spark的新手，需要使用PySpark或Spark Sql将以下输入数据帧转置为所需的输出df (从行到列)的帮助。输入数据帧-......A 1
......如果我可以根
浏览 1提问于2020-11-27得票数 3
有一些函数可以删除Spark(SCALA)中的列和行，但是却找不到任何函数来删除整个数据frame.Is，有一种方法可以删除Spark(SCALA)中的数据帧吗？
浏览 0提问于2016-10-15得票数 3
我需要了解如何使用Java在Spark SQL中基于single从数据框中删除重复行。如何将此步骤转换为Java中的Spark SQL？
浏览 11提问于2017-07-25得票数 1
1回答
请看-在R中，当您想要根据某个条件从数据帧中切片行时，您只需编写条件，它就会选择相应的行。例如，如果您有一个条件，即只有dataframe中的第三行满足该条件，则它将返回第三行。很简单。在python中，你必须使用loc。如果索引与行号匹配，那么一切都很好。如果您出于任何原因一直在删除行或重新排序它们，您必须记
浏览 13提问于2021-07-23得票数 1
如果我有一个只包含IP地址的宽数据帧(200m cols)，并且我想删除包含空值或格式不佳的IP地址的列，那么在Spark中执行此操作的最有效方法是什么？我的理解是Spark并行地执行基于行的处理，而不是基于列的处理。因此，如果我尝试在列上应用转换，将会有大量的混洗。首先转置数据帧，然后应用筛选器删除行，然后重新转置是利用spark并行性的好方法吗？
浏览 11提问于2019-10-31得票数 1
因此，根据类型，密钥对会发生变化。我正在尝试使用以下代码从Synapse的这个容器中读取数据： cfg = {"spark.cosmos.accountKey": accountKey,"spark.cosmos.con
浏览 58提问于2021-10-28得票数 0
回答已采纳
2回答
我希望根据条件提取数据帧的子集。在Col2中为负(如果有)的条目中，我想删除最大的一半。因此，如果values2 = -5,10,13，-3，-1，-2，那么我想删除与值-5和-3对应的行。如果我想在排序后简单地丢弃整个数据帧的一半，我(认为)可以做到不确定如何引入只去掉一半负值的条件。我的大部分经验是在numpy -仍然习惯
浏览 2提问于2018-01-20得票数 2
回答已采纳
1回答
我需要根据日期条件动态地从数据帧中删除行。 如果开始日期晚于上次读取的开始日期，而结束日期早于上次读取的结束日期，则我希望从数据集中删除该行。 有人能想出一个解决方案吗？它不需要使用for循环。
浏览 11提问于2020-10-28得票数 0
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
