我有一个pyspark数据帧，如下所示： ? 如果两列uniq_id和date_time具有相同的值，我希望只保留一条记录。 预期输出： ? 我想用pyspark来实现这一点。
浏览 28提问于2020-10-06得票数 0
回答已采纳
100000) \ .mode("overwrite") \根据customer列，我正在使用上面的pyspark脚本将我的大CSV文件分割成小块。我正在使用Azure数据砖。
maxRecordsPerFile选项不起作用，它在每个客户文件夹下创建多个文
浏览 18提问于2022-10-12得票数 0
下面是一个简单的例子:数据驻留在Hive表中，应用程序使用PySpark读取数据帧(比如PySpark)。例句:数据帧在列下面。EmpNo名称年龄工资2 bbbb 38 200004dd 30 32000在某些情况下，我们需要根据A
浏览 1提问于2019-03-29得票数 2
我是PySpark的新手。我只想保留至少有10个值的列现在如何提取值小于10的列名，然后在写入新文件之前删除这些列
df = spark.read.parquet(file
浏览 1提问于2019-09-28得票数 1
我正在寻找一个SQL查询，其中我必须根据2个条件的组合从表中删除数据。
我有一个表dbo.ABC，如果值的组合作为输入传递到列A和列B中，则必须删除其中的行。，B列是US，我必须删除记录。但是我希望传递多个输入，比如100和200作为A列，US和IND分别作为B列。100和US将是删除第一个记录的一个组合，200和IND将是另一个删除</
浏览 2提问于2020-12-31得票数 1
我有一个data frame在pyspark，如下所示。---+----++---+----+| 2| Tim|| 4| sam|现在，我向df添加了一个新列，null|| 3| Jim| null|+---+----+----------+
现在，我想根据一个条件更新new_column中的值。编辑--我不是在寻找if
浏览 1提问于2018-05-02得票数 0
回答已采纳
我有一个pyspark dataframe A，它有3列：-69 40 trp我有另一个pyspark dataframe B，它具有相同的列，但捕获的值将不同：-68 43 trp我希望根据dataframe B中匹配的邮政编码为A的每个记录创建纬度经度对。我试图复制这里使用的.map：
不成功
浏览 2提问于2017-11-16得票数 0
1回答
我正在尝试验证csv文件(每条记录的列数)。根据下面的链接，在Databricks 3.0中有处理它的选项。df = spark.read .parquet("/input/parquetFile")
但是，我使用的是2.3版本的spark，不能使用该选项。有没有办法找出csv文件中的坏记录
浏览 1提问于2018-11-21得票数 1
我正在寻找一个SQL查询，在这个查询中，我必须根据2个条件的组合从表中删除数据。
我有一个表dbo.ABC，如果A列和B列中存在作为输入传递的值的组合，则必须从该表中删除行。，B列是US，我必须删除记录。但是我希望传递多个输入，比如100和200作为A列，US和IND分别作为B列。100和US将是删除第一个记录的一个组合，200和IND将是另一个
浏览 1提问于2020-12-31得票数 0
2回答
下面的DataFrame应该根据标志列进行过滤。如果基于列id和cod的组没有任何与None值不同的行，则只需要维护一个唯一的行，否则，必须删除列标志<code>E 211</code>中的None值行。import pysparkfrom pyspark.sql.window import Window
f
浏览 3提问于2022-06-30得票数 0
如何根据某些单元格之间的验证来更改列的值？我需要的是比较每个客户的(id)记录的千米值，以比较紧跟在千米值之后的记录是否更高。(id) 2，里程值小于2/1/2019年2月1日的相同客户记录(如果时间流逝，则使用汽车，因此里程增加，因此不存在里程必须更高或相同的错误) 我知道withColumn我可以覆盖或创建一个不存在的列，并在我可以设置条件时使用。例如:这将
浏览 44提问于2019-07-04得票数 0
spark_my_df = sc.createDataFrame(my_df) 388
浏览 1提问于2016-11-10得票数 34
使用Pyspark，如何选择/保留包含非空值的所有列；或者等效地删除不包含数据的所有列。编辑:根据Suresh请求， if media.select(media[column]).distinct().count() ==
浏览 4提问于2017-08-11得票数 8
1回答
在PySpark中给出的ALS示例中，根据本文档-- )，使用的数据在一列中具有显式反馈。这些数据是这样的:收人品的收视率高我知道我们可以通过将implicitPrefs设置为False来使用隐式反馈但是，它只接受一列。如何使用多列？
我发现了一个问题：，但是它与星火法和交替最小二乘法无关。我是否必须
浏览 5提问于2022-06-17得票数 0
我使用的是pyspark 3.0.1。我想从我的pyspark数据帧df的列group中删除记录以2K开头的行。我的样本数据如下所示John 23 1L12Pat 35 1P28Name Age
浏览 1提问于2021-03-04得票数 0
2回答
如何根据行号/行索引值的值删除Pyspark中的行值？
我对Pyspark (和编码)很陌生--我尝试过编码一些东西，但是它不起作用。
浏览 1提问于2019-04-08得票数 3
回答已采纳
1回答
我有一个在字段(列)上分组的PySpark DataFrame，其目的是消除每个组的记录，这些记录具有另一个字段的特定值。因此，例如，表看起来就像'a' 1'a' 0这里我想要的是删除有一个重复的colA和colB为0的记录，这样就可以获得colA colB
浏览 3提问于2016-03-09得票数 0
回答已采纳
1回答
111590058 1010015900581000010101
214100897 104100897 1010041008971000010101 我尝试使用我是新来Pyspark的，所以请帮助我。
浏览 9提问于2019-04-18得票数 0
1回答
我有两个pyspark数据帧，它们的行数不同。我试图通过在多个键上连接这两个数据帧来比较所有列中的值，这样我就可以找到这些列中具有不同值的记录和具有相同值的记录。我的实际数据大约有25列和100k+行。因此，当我尝试连接时，spark作业花费了很长时间，并且没有完成。想知道是否有人有好的建议来比较两个数据帧，并找出在列中具有不同值的记录，无论是使用</em
浏览 14提问于2021-02-13得票数 0
使用列的附加值从表中删除记录，比如QuestionId。如果我有两个具有QuestionId 12123的记录(不要考虑其他列的值)，那么我想删除第一个具有QuestionId 12123的记录，并保留第二个记录。我希望使用SQL脚本执行此操作。我发现了许多可以删除重复行的内容，但没有找到根据列的值来执行该操作的解决方案。
浏览 1提问于2016-06-23得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
