我们有一个特定的需求，其中我将不得不从dataframe中drop列，该列中只有一个唯一的值。下面是我们正在做的事情随后，为了在所有列中找到唯一值，我们使用了spark
浏览 7提问于2017-06-06得票数 3
回答已采纳
有一些函数可以删除Spark(SCALA)中的列和行，但是却找不到任何函数来删除整个数据frame.Is，有一种方法可以删除Spark(SCALA)中的数据帧吗？
浏览 0提问于2016-10-15得票数 3
我在尝试根据要过滤的两列项目列表从dataframe中删除行时遇到了麻烦。例如，对于此数据帧： at org.apache.s
浏览 2提问于2017-01-07得票数 12
回答已采纳
3回答
我有一个包含多个列的spark数据帧。我想找出并删除列中有重复值的行(其他列可以是不同的)。我尝试使用dropDuplicates(col_name)，但它只删除重复的条目，但仍然在数据帧中保留一条记录。我需要的是删除所有最初包含重复条目的条目。我使用的是Spark 1.6和Scala 2.10。
浏览 4提问于2018-04-10得票数 5
回答已采纳
我想根据条件从列表的spark数据帧中删除行。条件是列表的长度是一定长度。我曾尝试将其转换为列表列表，然后使用for循环(如下所示)，但我希望在spark内的一条语句中完成此操作，并基于此条件从原始df创建一个新的不可变df。newList: finalList.append(subList) 因此，例如，如果
浏览 25提问于2019-04-30得票数 0
回答已采纳
我有两个数据帧，第一个数据帧包含实际数据(从CSV文件读取)，第二个数据帧包含一个具有多个关键字的列。即下面的Dataframe-1外观相似(我们必须搜索的地方)：数据帧-2：我想要的输出：我在这里使用spark scala。我想要一个与dataframe-1中的dataframe-2完全匹配的单词。我使用了l
浏览 1提问于2021-02-12得票数 0
几天后，数据带来了大量的功能。为了获得简短的数据摘要，人们将数据加载到数据框中，并使用head()方法显示数据。使用Jupyter Notebook( Toree for scala)进行实验是很常见的。Spark (scala)很适合处理大量数据，但是它的head()方法不能在水平滚动的notebook中显示列标题。熊猫数据帧头
Sp
浏览 3提问于2018-06-13得票数 2
2回答
我有一个CSV文件和一个头文件，它必须作为数据帧通过Spark(2.0.0和Scala 2.11.8)读取。当我尝试将spark中的csv数据作为数据帧读取时，我遇到了问题，因为标题包含列(No.指项目)具有特殊字符“。我尝试用来读取csv数据的代码是：
val spark = SparkSession.builder().appName("SparkExample&qu
浏览 0提问于2017-09-06得票数 3
有没有更好的方法在spark数据帧上编写多个条件的过滤器，这些条件在本质上是相似的。 假设df是具有时间戳列t1、t2、t3、t4的spark数据帧。因为我是scala的新手，所以我还不知道用scala编写代码的最佳实践。感谢任何人的帮助。
浏览 43提问于2019-01-19得票数 0
1回答
我刚开始使用scala框架，下面是有子查询的查询。根据我有限的知识火花不支持子查询，而且一次支持多个列？select id, email from test1 group by id ,email ;
在spark上面的查询转换成这样，但是问题是我们如何使用来自不同数据帧的哪个条件。我们如何将整个查询转换为spark？
浏览 4提问于2021-03-08得票数 0
回答已采纳
1回答
从json(动态模式)读取数据，并将其加载到dataframe。示例数据帧：import spark.implicits._
(1, "ABC")ABC|| 3| GHIJ|要求:列数和名称可以是任何值。我想在循环
浏览 6提问于2020-06-04得票数 0
回答已采纳
4回答
我有一个有100列和列名的数据帧，比如col1、col2、col3……我想根据条件匹配对列的值应用特定的转换。我可以将列名存储在字符串数组中。并在withColumn中传递数组的每个元素的值，并且基于When条件我可以垂直转换列的值。但问题是，由于数据帧是不可变的，所以每个更新的版本都需要存储在一个新的变量中，并且新的数据帧需要
浏览 23提问于2020-07-10得票数 0
回答已采纳
我使用的是Spark 1.3.1，其中连接两个数据帧会重复连接的列。我在外部连接两个数据帧，希望将结果数据帧发送到na().fill()方法，以便根据列的数据类型将空值转换为已知值。我看到有一个dataFrame.withColumnRenamed方法，但我只能重命名一列。我有涉及多个列的连接。我是否只需要确保存在一组惟一的列名，而不管我应用na().fill()
浏览 4提问于2016-02-28得票数 3
我们在Azure数据仓库中有一个包含170亿条记录的表。现在我们有了一个场景，我们必须根据某些where条件从这个表中删除记录。我们正在Azure Databricks notebooks中用Scala语言编写Spark。我们在Spark中搜索了不同的选项，但都建议首先读取整个表，删除其中的记录，然后覆盖Data Warehosue中的整个表。然而，这种方法在我们的例子中不起作用，
浏览 2提问于2019-07-31得票数 0
我在Spark/Scala中有一个数据文件，它有100的列。许多oth列都有许多空值。我希望找到有超过90%空值的列，然后将它们从我的数据中删除。我怎样才能在Spark/Scala中做到这一点？
浏览 2提问于2017-08-04得票数 0
回答已采纳
我正在开发一个程序，在该程序中，我需要根据特定条件显示数据集中的特定行。这些条件适用于我为机器学习模型创建的features专栏。这个features列是一个向量列，当我试图通过传递一个Vector值来过滤它时，我得到了以下错误：
Exception in thread "main" java.lang.RuntimeException: Unsupported literal type class org.apache.spark
浏览 1提问于2017-07-07得票数 2
1回答
如何处理此问题，或者通过Glue在RedShift中不支持空插入？getResolvedOptions(sys.argv, ['TempDir','JOB_NAME'])
glueContext = GlueContext(sc)job = Job(glueContext)## @type: DataSou
浏览 4提问于2017-11-28得票数 5
我知道这可能是一个愚蠢的问题。我有以下代码：rows = [1,2,3]df.printSchema()但是我得到了一个错误：我不明白为什么会发生这种情况，因为我已经提供了'data'，也就是变量row。
浏览 1提问于2018-03-12得票数 2
回答已采纳
我正在尝试用可能在count_2列中的数据替换count_1列中的所有空数据。下面是给定输入的预期输出。我如何在Spark Scala中做到这一点？输入数据帧 name count_1 count_2Python null 20000R nullnull
Swift 50000
浏览 23提问于2021-09-05得票数 1
回答已采纳
3回答
我使用的是Spark 2.1.0和Kafka 0.9.0。spark-shell --packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.1.0at
浏览 3提问于2018-04-06得票数 6
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
