我有一个大的Spark数据帧，其中包含各种财务信息，假设模式如下所示： Amount
0 10.000 5.001 15.15 我想要做的是迭代我的金额数据帧中的每个唯一ID，一次一个，过滤掉与该似乎以线性方式遍历所有这些帐户ID会丢弃<e
浏览 13提问于2020-07-22得票数 1
1回答
我可以使用Spark Dataframe方法dropDuplicates成功地删除重复，该方法认为100%的匹配顺序是重复的。因此，例如，如果我们有两个"red toys"，其中一个被认为是重复的，并被过滤掉。
现在，新的要求说，我们需要考虑相同的词，以相反的顺序，也作为重复。因此，参考上面的例子，如果我们有"red toys"和"toys red"，它们将被认为是重复的，应该被删除。这一要求
浏览 0提问于2019-07-04得票数 1
回答已采纳
1回答
当在Spark Dataframe上的过滤器中使用"and“子句时，它返回Spark.SQL.Column而不是Spark Dataframe。但在一个条件下，它工作得很好。如何show()或迭代通过Spark Sql列对象？尝试show()函数时抛出错误- 'Column' object not callable.或者如何将Spark.SQL.Column转换为Spark Da
浏览 1提问于2019-04-23得票数 0
我想在数据融合中对我的数据实现秩或分区的row_num函数，但是我找不到这样做的插件。我想实施以下措施，假设我有上面的数据，现在我想基于AccountNumber对数据进行分组，并将最近的记录发送到一个接收器中，然后将rest发送给其他的接收器。所以根据上面的数据，
Sink2，我计划通过AccountNumber应用秩或AccountNumber分区并按Record_date desc之类的功能进行排序，并将带有rank=1或row_num=1的记录发送到一个接收器，然后再将记录发送给另一个接收器。
浏览 1提问于2020-09-20得票数 0
回答已采纳
我需要了解如何使用Java在Spark SQL中基于single从数据框中删除重复行。如何将此步骤转换为Java中的Spark SQL？
浏览 11提问于2017-07-25得票数 1
1回答
火花数据过滤条件
、、
我正在尝试在DataFrame上应用过滤条件的否定，如下所示。在下面抛出一个异常。Ship Mode` LIKE '%Truck%')) at scala.sys.package$.error(package.scala:27)
at org.apache.spark.sql.catalyst.SqlParser.parseExpression(SqlParser.scala:47
浏览 5提问于2015-10-22得票数 3
回答已采纳
步骤2:需要来自dataframe的所有family_ids。def processFoHierarchical(param_df: DataFrame) {+--------------------+--------------------+----------+
|
浏览 1提问于2016-04-09得票数 0
回答已采纳
我是Apache Spark (和Scala)的新手，我想在读取csv文件后立即应用一个简单的sql请求，并将其加载到DF上，而不需要创建额外的数据帧或临时视图或表。这是初始请求： SELECT DISTINCT city from citiesAND year IN ("2017", "2018") 这是我在Scala上尝试的： val cities = spark.rea
浏览 15提问于2018-12-25得票数 0
问题陈述:在升级Databricks运行时版本时，复制列在创建dataframe时抛出错误。在较低的运行时，会创建dataframe，并且由于下游不需要重复列，因此它只是在select中被排除在外。文件位置:存储在ADLS Gen2 (Azure)上的Json文件。集群模式:标准
代码:我们在中阅读它，如下所示。在阅读了dataframe之后，我们选择了所需的列。无论如何，我们不需
浏览 1提问于2021-11-16得票数 2
回答已采纳
我正在尝试运行这样一个PySpark应用程序： dataframe_mysql= spark.read.format('jdbc').options(
url="jdbc:mysql://= dataframe_mysql.filter("date > &
浏览 3提问于2022-08-12得票数 0
回答已采纳
1回答
当查看星火历史服务器上的可视化SQL图时，我的改进解决方案(?)在第二个联接中，它在每次迭代时再次使用整个左联接，而不是使用更干净、更轻的DataFrame。这是一个静止运行的代码，中间的SortMergeJoin是解耦的过滤器，第二个“过滤器”只过滤一点点，但是在左边和右边，你可以看到它再次计算SortMergeJoin，而不是重用先前计算出来的。
我为30个实例
浏览 1提问于2021-08-28得票数 1
1回答
我正在尝试写数据帧到MySql DB和使用Apache Spark 2.3.1。它有20K到30K的行从mySql读取，并使用20个分区进行分区。我首先过滤数据帧，并尝试将过滤后的结果集写入mysql DB。 但是写操作变得太慢。在没有过滤的情况下，df写操作正在按照预期的速度和性能执行。有人能帮上忙吗？我的代码： dataFrame = spark.read.format('jdbc').option(...).load()
//
浏览 24提问于2021-10-15得票数 0
由于我在大数据领域才刚刚起步，我正在寻求关于如何将一些数据放入Spark以进行分析的最有效方法的建议。 SQL查询相当大，有多个子查询，每个子查询都有自己的"when“、"group by”等。如果我运行一个spark sql查询并使用pyspark将其保存到一个dataframe中，或者如果我将每个子查询提取到不同的spark dataframe中并使用spark进行分组/过滤/等等，这是相同的事情例如，这两种
浏览 20提问于2021-02-07得票数 0
我使用的是齐柏林飞艇，而df是spark DataFrame。我尝试过滤可能出现在任何行中的NaNs，但是由于某些原因，它没有过滤掉它。val df = df_labeled("df_Germany")res66: Long = 455
re
浏览 1提问于2018-04-26得票数 2
我有一个包含两列"date“和"value”的dataframe，如何在dataframe中添加两个新列"value_mean“和"value_sd”，其中"value_mean“是过去10天(包括”date
浏览 0提问于2016-02-12得票数 4
我只想过滤数据集以包含可以在MySQL中找到的记录。class App(id: Int, name: String)
val dataFrame= data.map { case (id, name) => App(id, name) }.toDF
val url =
浏览 3提问于2016-01-15得票数 3
回答已采纳
我有一个spark dataframe，需要为它过滤特定列的空值和空格。1 abc3 null5 def
我想要应用一个过滤器来过滤掉那些col2为nulls或空白的记录。版本: Spark1.6.2 Scala 2.10
浏览 16提问于2016-12-31得票数 3
回答已采纳
1回答
我运行pyspark2在spark 2.0.0上vw_ticket = read_csv(...)vw_ticket_in_booking.createOrReplaceTempView('vw_ticket_in_booking')<e
浏览 2提问于2017-08-31得票数 0
回答已采纳
对不起，如果这是重复，然而，指出的解决方案不适用于我。很可能我在这里错过了一些基本的东西。我有一个如下所示的数据：我试图根据一个名为"state“(类型为String)的字段(在Scala中)过滤一些感兴趣的”行“：
inputDF.filter(inputDF("state") == "BAL
浏览 2提问于2017-10-23得票数 1
回答已采纳
1回答
使用jdbc触发执行
、、、、
在Spark dataframe中，假设我从oracle获取数据，如下所示。 查询会完全在oracle中发生吗？假设查询很大。那么，这对oracle来说是一种开销吗？更好的方法是读取单独的dataframe中的每个过滤表数据，并使用Spark SQL或dataframe连接它，以便在spark中进行完整的连接？你能帮个忙吗？
浏览 8提问于2020-09-17得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
