spark scala rdd/dataframe保存筛选和拒绝的数据
Spark是一个开源的大数据处理框架，它提供了高效的分布式计算能力。Scala是一种运行在Java虚拟机上的静态类型编程语言，它是Spark的主要编程语言之一。
RDD（Resilient Distributed Datasets）是Spark中的一个核心概念，它是一个可分区、可并行计算的数据集合。RDD可以通过转换操作（如map、filter、reduce等）进行数据处理，并且具有容错性和可恢复性。
DataFrame是Spark中的另一个核心概念，它是一种以表格形式组织的分布式数据集合。DataFrame提供了类似于关系型数据库的操作接口，可以进行数据的查询、过滤、聚合等操作。
保存筛选和拒绝的数据可以通过RDD或DataFrame的相关操作来实现。具体而言，可以使用filter操作来筛选出满足特定条件的数据，然后使用save操作将筛选后的数据保存到指定的存储介质（如HDFS、S3等）。拒绝的数据可以通过对原始数据进行差集操作来获取，然后同样使用save操作进行保存。
以下是腾讯云相关产品和产品介绍链接地址：
- 腾讯云Spark：腾讯云提供的Spark托管服务，支持快速创建、管理和使用Spark集群。详情请参考：https://cloud.tencent.com/product/spark
- 腾讯云对象存储（COS）：腾讯云提供的高可靠、低成本的云存储服务，可用于保存筛选和拒绝的数据。详情请参考：https://cloud.tencent.com/product/cos
请注意，以上仅为示例，实际使用时应根据具体需求选择适合的产品和服务。
相关·内容
我有一个这样的文件：====================2,20170620,xyz3,20170624,huy我需要过滤掉I为空的记录。另外，如果任何id重复，我需要选择具有max(insert_date)的记录。我是这样做的：
val myDF = sqlContext.read.format("com.databricks.spark.csv"
浏览 3提问于2017-07-27得票数 1
我需要为我的数据集实现分页(在星火scala中)。请如何将火花数据集/数据集拆分为N个行号？
-NS
浏览 0提问于2018-10-02得票数 2
回答已采纳
似乎他们都返回了一个新的DataFramedef toDF(self, *cols): return DataFrame(jdf, self.sql_ctx)
jdf = self._jcols(*cols))
return DataFrame(jdf, self.sql_ctx)
浏览 1提问于2016-12-16得票数 4
回答已采纳
1回答
由于某些原因，当我保存模型时，目录只包含元数据目录。当我再次加载它时，我会得到以下异常：
线程"main“中的异常: org.apache.spark.rdd.RDD$$anonfun$first$1.apply(RDD.scala:1330) at(RDD.scala:1327 )上的空集合)在org.apache.spark.ml.util.DefaultParam
浏览 0提问于2016-01-11得票数 0
回答已采纳
我正在尝试将Spark数据帧写入Hbase，但当我在同一数据帧上执行任何操作或写入/保存方法时，它会给出以下异常： { at(HBaseTableScan.scala:60)
at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:239(O
浏览 11提问于2019-02-21得票数 1
我使用PySpark和SparkSQL编写了以下代码，其中我尝试创建一个DataFrame，将其另存为表，然后显示该表：
schema = StructType([StructField("int_fieldorg.apache.spark.sql.DataFrame$$anonfun$org$apache$spark$sql$DataFrame$$execute$1$1.apply(DataFrame.scala$apache$sp
浏览 1提问于2016-07-06得票数 0
1回答
同样的问题与齐柏林飞艇嵌入式火花和从我自己安装的火花外壳(1.6.3)
at org.apache.spark.sql.<
浏览 0提问于2016-12-30得票数 2
回答已采纳
我对apache ignite和spark都是新手。在scala中，有没有人可以通过示例将ignite rdd转换为spark rdd？更新-使用案例:我将收到hbase表的数据帧..我将执行一些逻辑来构建报告，将其保存到ignite rdd中。将为每个表更新相同的ignite rdd ...一旦所有的表都被执行，最终的ignite rdd将被转
浏览 3提问于2016-09-26得票数 0
我已经创建了一个dataframe，比如df1。我通过使用df1.cache()来缓存它。如何检查这是否已缓存？还有一种方法，使我能够看到所有缓存的RDD或数据文件。
浏览 9提问于2015-09-07得票数 22
回答已采纳
2回答
我有一个RDD和一个值列表。如何根据值列表对它们进行筛选，并将它们作为单独的RDD收集？例如：如何传递一个值列表来收集列表中所有筛选的RDD？
浏览 0提问于2019-09-05得票数 0
回答已采纳
1回答
尝试从Windows中的Eclipse程序连接到Windows。如何在类路径中设置hbase-site.xml？(Option.scala:120) at org.apach
浏览 4提问于2016-11-18得票数 0
2回答
当我从Hive中选择data时，它会返回一个dataframe，但我不能访问模式以外的任何内容。'> at org.apache.spark.sql.DataFrame.org$apache$spark$sql$D
浏览 1提问于2018-04-19得票数 0
2回答
根据官方的，使用本机火花缓存，即使是磁盘持久化，也不会利用本地SSD。我怀疑，为了从中受益，我们需要在持久化RDD时使用OFF_HEAP选项。但是如何配置它，使其使用本地SDD (在/mnt下挂载为SDB1 )和用于内存中的内容的Alluxio？我知道开关--conf spark.memory.offHeap.size=10G \
我在询问通过一组操
浏览 1提问于2019-07-23得票数 2
本文摘自一篇有趣的文章：我似乎记得在其他地方读到，检查点文件只适用于给定的Spark应用程序中的A作业或共享职务。为了寻求澄清，以及一个新的应用
浏览 3提问于2019-09-08得票数 3
回答已采纳
1回答
我是一个拥有Apache以及Scala编程语言的新手。package com.examples import org.apache.spark.<em
浏览 5提问于2015-08-05得票数 3
我有一个包含以下示例条目的spark数据帧。
当我尝试计算数据帧中的行数时，我得到了一个Keyerror。有人能告诉我为什么会出现这个错误吗？
at org.apache.spark.sql.DataFrame$$anonfun$org$apache$spark$sql$Da
浏览 0提问于2016-06-04得票数 1
如果SparkVersion2.2.0中的缓存RDD和DataFrame返回映射大小2：rdd: org.apache.spark.rdd.RDD)).toDF
scala&g
浏览 5提问于2020-12-19得票数 2
回答已采纳
我有一个名为rankedDF的数据文件：|TimePeriod<init>(DataFrame.scala:131)
at org.apache.spark.sql.DataFrame.org$apache$spark$sql$DataFrame$$withPl
浏览 0提问于2018-04-24得票数 0
回答已采纳
1回答
我有一个带有pandas.tslib.Timestamp类型时间戳列的熊猫数据。我看了一下“createDataFrame”()中的pyspark源代码，它们似乎将数据转换为numpy记录数组，并将其转换为列表： at org.apache.spark.rdd.RDD.iterator(RDD
浏览 2提问于2017-07-25得票数 5
我正在尝试获取卡夫卡流数据，这是火花流中的JSONArray，每个JSONArray包含几个JSONObject。我希望将每个JSONObject保存到datadrames中，并在与另一个表映射后保存到cassandra表中。我试图创建dataframe来保存JSONObject，但是当我在stream.foreachRDD中创建dataframe时，它抛出了NullPointerException。是因为spark不支持嵌套的<em
浏览 1提问于2016-12-12得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
