spark data frame:如何只显示那些评论次数超过X的行记录？
Spark DataFrame是Spark中一种基于分布式数据集的分布式数据处理工具，它提供了丰富的API和功能来处理和分析大规模数据集。
要只显示评论次数超过X的行记录，可以使用Spark DataFrame的过滤功能。具体步骤如下：
- 导入必要的类和函数：
import org.apache.spark.sql.functions._
import org.apache.spark.sql.types._- 创建一个DataFrame对象，假设该对象名为df，包含评论次数和其他相关字段：
val df = spark.read.format("csv").option("header", "true").load("data.csv")- 将评论次数的数据类型转换为整数类型（如果不是整数类型的话）：
val dfWithCount = df.withColumn("count", col("count").cast(IntegerType))- 使用filter函数过滤出评论次数超过X的行记录，假设X为某个整数：
val X = 10
val filteredDF = dfWithCount.filter(col("count") > X)- 显示过滤后的结果：
filteredDF.show()在上述代码中，可以根据实际情况调整数据源的格式和路径，以及评论次数字段的名称和数据类型。
推荐的腾讯云相关产品：腾讯云的云服务器（CVM）和弹性MapReduce（EMR）可以用于部署和运行Spark应用程序。您可以通过以下链接了解更多关于腾讯云的产品和服务：
请注意，以上答案仅供参考，具体实现方式可能因环境和需求而异。
相关·内容
我使用的是亚马逊视频游戏评论数据集。
这是一个评论表格，对于每个产品(产品id)，许多客户都会留下1-5星的评分。 Row(product_id='B00TNY43ZC', count=1),我需要整理那些</
浏览 22提问于2019-07-24得票数 0
回答已采纳
--一个极小的例子:import org.apache.spark.sql._ (1, "a"),// declare it as var, such that I can change it later
var sdfEmpty = spark
浏览 0提问于2019-09-09得票数 0
回答已采纳
我想计算一个单词出现的次数，但每一行只显示一次。我如何完成代码？library(stringr)
var1 <- c("x", "x", "x", "x", "x", "x", "y", "y", "y", &qu
浏览 2提问于2022-09-29得票数 2
回答已采纳
2回答
0 0 0 1 NA 我想检查这3列中是否有任何列包含相同的值到目前为止，我只是通过使用ifelse语句对每个场景进行硬编码，如下所示： select(ivs) %>% c == 1 &
浏览 0提问于2021-04-14得票数 2
我需要对数据框中所有列的组合执行数学运算。在R中，我将使用一个简单的嵌套for循环来完成此操作。但是在sparkR中，我不认为for循环是可用的。你觉得我该怎么处理这件事？
浏览 0提问于2016-08-19得票数 1
1回答
我有这样的数据0, 0.105, 0, 1.812,0.237, 0, 5.241), X2 = c(0, 0, 0, 0.175, 0, 2.741, 0.1, 0, 5.231)), cla
浏览 1提问于2019-01-24得票数 0
回答已采纳
4回答
基于每组行数的子集数据帧
、、、
我有这样的数据，其中一些“名称”出现了三次以上：
df <- data.frame(name = c("a", "a", "a", "b", "b", "c", "c", "c", "c"), x =name变量每个级别中的行数(观察)对数据进行子集(筛选)。如果某个级别的name发生次数超过</
浏览 8提问于2013-11-25得票数 34
回答已采纳
1回答
尝试找出一行重复R的次数
、、、
我有一个很大的数据帧(698764 X 9)，其格式类似于：正如我们所看到的，第一行和第三行完全相同。我想提取重复的行，然后计算它在数据中重复的
浏览 2提问于2021-07-29得票数 0
3回答
在spark (如 )中，有许多方法来验证两个数据帧的架构。但是我只想在SQL中验证两个数据帧的模式，我指的是SparkSQL。中没有数据库(模式)的概念，但是我读到了包含模式信息等的亚稳态。我们可以在SparkSQL中编写像上面这样的SQL查询吗？我只是在检查为什么显示create没有使用spark，是因为它是一个临时表吗？scala> val df1=spark.sql("SHOW SCHEMAS")
df1:
浏览 6提问于2018-09-04得票数 1
2回答
如果你尝试这个： --packages "org.apache.hadoop:hadoop-aws:2.7.4" \当spark-submit解决hadoop-aws包的所有依赖并下载它们时，您将得到大量的噪声输出。/spark-2.2.1-bin-hadoop2.7/jars/ivy-2.4.0.jar!是一个相对常见的包，可以通过与S3进行交互。每次有人用这
浏览 0提问于2018-02-27得票数 3
3回答
我试图用一个因子来建立一个最大超过记录的数据框架。我想要一个4行的数据帧(每G 1行)，该组的最大X值和相应的Y值。我知道我可以写一个循环，但我宁愿不写。Data<-data.frame(X=rnorm(200), Y=rnorm(200), G=rep(c(1,2,3,4), each=50))
XMax<-tapply(Data$
浏览 5提问于2015-05-18得票数 4
回答已采纳
从数据帧开始library(sparkline)1 1 4 73 3 6 9df <- df %>% mutate(spark = spk_chr(values, type = &quo
浏览 0提问于2018-06-18得票数 0
2回答
假设这是我的数据帧：19 47 41 19 2 50 44 48 36 34 38
20 25 31 28 34 8 19
浏览 46提问于2020-05-04得票数 2
回答已采纳
4回答
寻找唯一的行
、、、
给定这个数据框架 x = c(12,12,165,165,115,148,148,155,155,521),)
x y2 12 544 165 1226 148 1088155 65510 521 151
现在，如何获得
浏览 1提问于2017-07-28得票数 2
回答已采纳
1回答
id =移动电话如何在solr中实现相同的结果？q=%3A&wt=json&indent=true&group=true&group.field=mobile“，但是它给
浏览 3提问于2015-02-27得票数 1
1回答
全, 我正在尝试读取spark中具有多个记录类型的文件，但不知道如何操作。有人能指出，有没有办法做到这一点？或者一些现有的包？或一些用户git包 下面的示例-其中我们有一个文本文件，其中包含2个单独的(可能超过2个)记录类型: 00X - record_ind | First_name| Last_name 0-3 record_ind00XAtun Varma 00XDivya Reddy
浏览 17提问于2020-10-13得票数 0
假设我有两个数据帧df2 = data.frame(x=11:20)plot(df1$x,df2$x)df = data.frame(x1 = df1$x, x2 = df2$x
浏览 3提问于2015-08-31得票数 4
回答已采纳
2回答
删除/折叠R中的重复行
、、、
对于我希望做的事情(从数据集中删除/折叠副本)，似乎工作得很好，但我不理解最后一行。我想知道这些副本是在什么基础上被删除/折叠的。有人评论说，这是基于中位数绝对偏差(MAD)，但我没有遵循这一点。Probesets=paste("a",1:200,sep="") Value=rnorm(200)
X=data.frame(Probes
浏览 2提问于2020-04-16得票数 0
回答已采纳
每一行列数据都是包含大约50个数据点的列表。我想数数50岁以上和20岁以上的次数。我希望得到的预期结果是一个名为result的新列，如果没有值超过50.0，它会将值的计数存储在数据列超过50.0或超过20.0中： data：
pandas_data_frame[result_column] =
浏览 4提问于2022-03-10得票数 -1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
