我的Spark/Scala代码中有一个DataFrame类型的变量rawData。rawData.drop(1)
但是，drop函数不可用。删除第一个元素的最简单方法是什么？
浏览 0提问于2016-07-13得票数 6
中创建第4列，其中包含所有这3列的值数组，如| indiana|需要这个数组，因为countVectorizer模型的输入应该是包含值数组的列。我试图从这3列输入数据创建一个数组，但是数组元素被括在方括号中。
浏览 1提问于2017-09-05得票数 0
回答已采纳
--------------------+|[[1,1,2],[2,2,4],[1,|我想要一个列表尾部的列到目前为止，我知道如何选择第一个元素val df1 = df.select("values").getItem(0)，但是有什么方法可以让我删除第一个元素吗？
浏览 63提问于2019-10-21得票数 0
1回答
在我的Scala/Spark应用程序中，我试图正确地使用多处理。从下面的代码中可以看到，线程数等于storage数组中的元素数。我测试了当前的代码，它可以工作。但是如您所见，storage数组中只有两个元素。在我看来，如果数组中有大量的元素，就会出现问题。在我的例子中</em
浏览 3提问于2020-01-29得票数 0
我想对dataframe中的列进行更改。列是整数的数组。我想替换数组的一个元素，从另一个数组中获取索引，并将该元素替换为来自第三个数组的元素。示例:我有三个列-- C1、C2、C3 --这三个数组。我希望按以下方式替换C3中的元素。
C3[C2[i]] =
浏览 0提问于2018-07-02得票数 0
回答已采纳
1回答
我有一个dataframe，它包含来自Hive的属性表和主表。我想删除列，然后应用掩蔽逻辑(SHA2)。将postgre中的属性配置读取为Spark/scala作业中的Dataframe。主蜂箱表输出应该是任何人，请帮助我用<em
浏览 0提问于2021-03-26得票数 0
回答已采纳
, C++]| CA||Robert,,Williams| [CSharp,|CA ||Michael,Rose, |Spark |NJ |
浏览 11提问于2021-10-11得票数 2
我试图使用星火红移库，并且无法操作由sqlContext.read()命令创建的数据(从redshift读取)。对象的main方法中运行上述代码时所收到的错误：at org.apache.spark.sql.DataFra
浏览 4提问于2015-11-04得票数 1
回答已采纳
让我们假设我们有一个Spark DataFrameClass[_ <: org.apache.spark.sql.DataFrame] = class org.apache.spark.sql.DataFrame(nullable = true)| |-- element: string (containsNull = true)
假设Scala列的
浏览 2提问于2016-01-05得票数 7
回答已采纳
我已经创建了一个空的dataframe，并开始添加它，通过读取每个文件。但其中一个文件的列数比前一个文件多。如何仅为所有其他文件选择第一个文件中的列？= SparkSession.builder.\
config("spark.jars.packages","saurfang:spark-sas7bdat:2.0.0-df_spark=spark.creat
浏览 1提问于2019-09-06得票数 3
回答已采纳
我有两个数据帧，第一个数据帧包含实际数据(从CSV文件读取)，第二个数据帧包含一个具有多个关键字的列。即下面的Dataframe-1外观相似(我们必须搜索的地方)：数据帧-2：我想要的输出：我在这里使用spark scala。我想要一个与dataframe-1中的dataframe-2完全匹配的单词。我使用了like、rlike
浏览 1提问于2021-02-12得票数 0
1回答
我是Scala/Spark编程的新手，我需要将DataFrame保存为XML文件，我从HQL (Hive)查询中获取DataFrame。它是一个简单的DataFrame (没有数组或其他复杂类型) 我已经研究并找到了spark-xml库，但是这个库似乎不能解决这个问题。
浏览 32提问于2019-03-10得票数 0
回答已采纳
我有一个带有column1的Spark dataframe：我想从这两列中删除第一个元素，对于column1和column2，期望的o/p分别是：对于column2，
浏览 2提问于2016-08-16得票数 0
1回答
我想将dataframe的架构拆分为一个集合。我正在尝试这个方法，但是模式被打印成一个字符串。我是否可以将其拆分为每个StructType的集合，以便对其进行操作(比如只从输出中提取数组列)？我试图平平一个复杂的多层次的结构+数组数据。output.toList
目前的输出是
identifyArrayColumns: (dataFrame: org.ap
浏览 0提问于2018-03-09得票数 0
回答已采纳
7回答
现在假设我有一个Array，它包含这个df列的名称：我想以这样的方式来做一个df.select()，这样我就可以指定哪些列不能选择。="B"))
结果：
不能将org.a
浏览 21提问于2015-07-15得票数 22
回答已采纳
[[11, 12],[13, 15]]产出：1 112 17我的模式如下所示| | |-- value: integer (nullable = true)我试过这样的方法
浏览 0提问于2019-08-01得票数 0
回答已采纳
/删除数组列的某些元素。具体而言，每个数组中的4个元素对应于CS部中的4个id，并以提升id顺序(意为1、5、7、101)生成数字。现在，我希望删除每个数组中对应于in的元素，这些In的测试列为1。我解决这个问题的思路包括两个步骤：
计算需要删除的</e
浏览 1提问于2018-04-17得票数 0
回答已采纳
2回答
使用Spark1.5和Scala2.10.6 .where(df("tags").contains("private"))
由于数据类型不匹配导致线程“主”org.apache.spark.sql.AnalysisException:无法解析‘Contains(标记，私有)’中</e
浏览 3提问于2016-01-17得票数 19
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
