1回答
如何在scala中将具有以下结构的RDD转换为dataframe这里，RDD的每一行都包含一个索引Long和一个向量org.apache.spark.mllib.linalg.Vector。我希望将org.apache.s
浏览 2提问于2017-02-26得票数 2
我有一个Spark值，它只有一列‘DataFrame’，其中每一行都是一个长度相等的数组。我如何将这个单独的“value”列分解成多个列，这些列遵循这样的模式？
浏览 24提问于2021-07-24得票数 1
回答已采纳
让我们假设我们有一个Spark DataFrameClass[_ <: org.apache.spark.sql.DataFrame] = class org.apache.spark.sql.DataFrame(nullable = true)| |-- element: string (containsNull = true)
假设Scala列的每一行</
浏览 2提问于2016-01-05得票数 7
回答已采纳
我在Spark DataFrame中有两列，每一列中的每个条目都是字符串数组。"curious", "bought", "20"), Seq("iwa", "was", "asj"))我希望合并每一行</
浏览 1提问于2018-03-07得票数 9
回答已采纳
我有一个dataframe，它是从有512列(所有浮点值)的拼花文件创建的。import org.apache.spark.ml.feature.VectorAssemble
浏览 1提问于2018-04-17得票数 2
回答已采纳
4回答
如果我在Scala中有一个数组(类似于矩阵)，那么如何有效地总结矩阵的每一列呢？例如，如果我的数组如下所示：
val arr = Array(Array(1, 100, ...), Array(2, 200, ...), Array(3, 300, ...))我想总结每一列(例如，总结所有子数组的第一个元素，总结所有子数组的第二个元素，等等)。并获得如下所示<e
浏览 6提问于2015-10-01得票数 5
回答已采纳
在scala+spark中，我有一个包含两列Array[String]的数据 |-- v2: array (nullable = true)我想根据v1中相应索引的
浏览 0提问于2019-08-10得票数 1
回答已采纳
2回答
如何在行中计数值
、、、
我对Spark和Scala...and都是新手，我必须读取一个数据文件，并计算列和行中包含的值。数据集的结构如下：0 2 22 0 00 1 0我导入了文件：我创建了一个数组来保存我<
浏览 6提问于2015-07-22得票数 1
回答已采纳
我正在尝试处理我的dataframe中的一个列，并从每个条目对应的avro文件中检索一个度量。基本上，我想做以下几点：
读取路径列的每一行，这是作为数据读取到avro文件中的avro文件的路径&获取精度度量，它以Struct的形式创建一个名为的新列，该列具有精度度量。这也可以看作是应用
浏览 4提问于2022-07-01得票数 0
我对Scala / Spark非常陌生，我已经陷入了困境。从几个星期以来，我一直在努力为Scala2.11.8上一个看似简单的问题找到解决方案，但一直未能找到一个很好的解决方案。CSV文件，并为每一行提供以下条件：
如果列4的值不是null，那么该行的第4、5、6和7列的值应该存储为一个名为lastValuesOf4to7的数组。(
浏览 1提问于2016-07-30得票数 0
回答已采纳
我有一个包含字符串列的数据框，我想在其中创建多个列。
我想从它创建多个列。字符串的格式是相同的- col1:value1 col2:value2 col3:value3 ... colN:valueN。在输出中，我需要多个列- col1 to colN，值作为每列的行。以下是输出-我如何在<e
浏览 23提问于2021-06-02得票数 0
回答已采纳
中创建第4列，其中包含所有这3列的值数组，如| indiana|需要这个数组，因为countVectorizer模型的输入应该是包含值数组的列。它不应该像下面的错误消息中提到的那样是字符串数
浏览 1提问于2017-09-05得票数 0
回答已采纳
1回答
如何将选定的专栏写到卡夫卡主题？
、、、、
我使用的是星星之火-SQL2.4.1v和java1.8。: Required attribute 'value' not found; at org.apache.spark.sql.kafka010.KafkaWriter$$anonfun$6.apply(KafkaWriter.scala:71)
浏览 6提问于2019-11-25得票数 1
回答已采纳
2回答
我在R中构建了一个H2O模型，并保存了POJO代码。我想在hdfs中使用POJO对拼图文件进行评分，但我不知道该怎么做。我计划将拼花文件读入spark (scala/SparkR/PySpark)，并在上面得分。下面是我在上找到的节选
“如何在星团群集中运行POJO？POJO只提供了进行预测的数学逻辑，因此您将不会在那里找到任何特定于Spark (甚至H2O)的代码。如果要使用POJO对星火中的数据集进行预测，请
浏览 2提问于2017-10-20得票数 3
回答已采纳
我对Scala很陌生，我花了3个小时试图弄清楚如何将一个简单的json字符串解析为dataframe中的一个字符串数组。这是我的密码：import org.apache.spark.sql.functions._emailsDf.select(from_json($"emails", Array[String])).show()
emailsDf dataframe有一个
浏览 3提问于2017-12-04得票数 2
回答已采纳
----+
下面是表，该表提供了关于给定id (对于id 1、列id和name需要连接，而id 2仅为id)的列的连接信息。select之前应用过滤器，但我不知道如何在withColumn中对每一行进行筛选。filter**("id="+this.id).select("att").first.mkString.split(",").map(c => col(c)): _*)).show
浏览 2提问于2017-08-08得票数 1
回答已采纳
4回答
使用数字数组创建新列
、、、
因此，我需要创建一个从1到100的数字数组，作为每一行的值，作为一个额外的列。使用带有大量文字值的array()函数可以工作，但是确实有一种方法可以使用/转换Scala Range(a to b)，而不是单独列出每个数字？spark.sql("SELECT key FROM schema.table") .withColumn("range
浏览 1提问于2018-07-04得票数 8
回答已采纳
我有一个如下所示的数据框架，并希望将此数据插入到cassandra表中| name | id | city || John | 456 | Texas |我使用下面的代码，但它只插入最后一行df.write.format("org.apache.spark.sql.cassandra")
浏览 0提问于2017-11-02得票数 0
我需要一些帮助，在scala中使用spark命令行将txt文件转换为txt文件。下面是我通过使用DF创建的数组：res6: Array[org.apache.spark.sql.Row] = Array([bid|gender|department现在，我怎样才能将以下元组(如每一列的值)转换为以下元组(如“1欧元-M-信息”)？在txt文件<
浏览 0提问于2020-11-29得票数 1
回答已采纳
我在Python中使用下面的代码来转换来自多个列的键值(Dataframe，其中有2列InternalId和ExternalId，从spark返回)，并在Python中将其合并为单列"body“。480941,"ExternalId":"a020H00001Tt7NrQAJ"}我如<e
浏览 3提问于2020-04-28得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
