如何迭代scala wrappedArray？(火花)
Scala中的WrappedArray是一个用于包装数组的类，它提供了一些额外的功能和操作。要迭代WrappedArray，可以使用foreach方法或者使用for循环。
- 使用
foreach方法迭代WrappedArray：
val array = Array(1, 2, 3, 4, 5)
val wrappedArray = array.toWrappedArray
wrappedArray.foreach { element =>
// 在这里处理每个元素
println(element)
}- 使用
for循环迭代WrappedArray：
val array = Array(1, 2, 3, 4, 5)
val wrappedArray = array.toWrappedArray
for (element <- wrappedArray) {
// 在这里处理每个元素
println(element)
}以上两种方法都可以用来遍历WrappedArray中的每个元素，并对每个元素执行相应的操作。
关于腾讯云相关产品和产品介绍链接地址，由于要求不能提及具体的云计算品牌商，我无法给出腾讯云相关产品的链接。但是你可以通过访问腾讯云官方网站，查找与云计算相关的产品和服务，以满足你的需求。
相关·内容
我正在使用中给出的火花中LDA的示例代码。
我有一个语料库文件，其中每一行都是一个文档，我使用
val corpus: RDD[String] = sc.textFile("C:/corpus.txt")
我还有一个ngram文件，其中每一行都是bigram/trigram等，我使用
val ngramFile: RDD[String] = sc.textFile("C:/ngram.txt")
我想修改下面的一行，并在每个文档中只取匹配的ngram
val tokenized: RDD[Seq[String]] = corpus
.map(_.toLowe
浏览 0提问于2015-06-22得票数 0
2回答
我是新来的火花和斯卡拉。因此，我在类型转换过程中遇到了一些问题。我有下一个安全的代码，我运行在火花壳。
scala> val wa=queryResult.first.get(1)
wa: Any = WrappedArray(2000.0, 2000.0, 2000.0, 2000.0, 2000.0, 2000.0, 2000.0, 2000.0, 2000.0, 2000.0)
那么，我的问题是有什么方法可以将wa转换为Array[Double]类型吗？谢谢!
浏览 3提问于2017-10-24得票数 2
回答已采纳
1回答
火花存取嵌套列
、、
我想访问一个列，它包含一个类似于的嵌套数组
columnsMap
res95: scala.collection.immutable.Map[String,scala.collection.immutable.Map[String,Array[Double]]] = Map(col1 -> Map(A -> WrappedArray(0.5, 0.6666666666666666), d -> WrappedArray(0.25, 0.3333333333333333), c -> WrappedArray(0.25, 1.0)), col2 -> Map(a -
浏览 6提问于2016-12-20得票数 0
回答已采纳
我正在试验星火卡夫卡的整合。我想测试eclipse中的代码。但是，我得到了以下错误：
java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class
at kafka.utils.Pool.<init>(Pool.scala:28)
at kafka.consumer.FetchRequestAndResponseStatsRegistry$.<init>(FetchRequestAndResponseStats.scala:60)
at kafka.consum
浏览 3提问于2015-08-25得票数 1
2回答
我想将具有一组值的dataframe传递给新查询，但失败了。
( 1)在这里，我选择特定的列，以便在下一个查询中通过ISIN
scala> val managerIdDf=finalEmployeesDf.filter($"manager_id"!==0).select($"manager_id").distinct
managerIdDf: org.apache.spark.sql.DataFrame = [manager_id: bigint]
2)我的样本数据：
scala> managerIdDf.show
+----------+
浏览 0提问于2018-10-02得票数 3
回答已采纳
当我使用"++“来组合大量的RDDs时，我得到的是错误堆栈，而不是流错误。
火花版本1.3.1环境:纱线-客户端。-驱动器-内存8G
RDDs的数量超过4000。每个RDD从大小为1GB的文本文件中读取。
它就是这样产生的。
val collection = (for (
path <- files
) yield sc.textFile(path)).reduce(_ union _)
当files的尺寸很小时，它可以很好地工作。这是个错误
错误会重复发生。我想它是一个递归函数，调用时间太多了吗？
Exception at org.apache.spark.rdd.RDD
浏览 6提问于2015-05-29得票数 15
回答已采纳
我试图将Spark中的一个视图写到一个CSV文件中，但是它失败了，因为视图中有几个类型为WrappedArray的列。我得到的错误信息是
java.lang.UnsupportedOperationException: CSV数据源不支持数组数据类型。
在Zeppelin 2.7上编写文件(修改以避免显示数据的本质)的代码是
spark.table("my_view").repartition(1).write.mode("overwrite").option("header", "true").csv("hdfs
浏览 2提问于2018-03-24得票数 0
我使用训练了一个模型，现在使用获得了最推荐的产品，但是代码在一些用户上失败了，有以下错误：
user_products = model.call("recommendProducts", user, prodNum)
File "/usr/lib/spark/python/pyspark/mllib/common.py", line 136, in call
return callJavaFunc(self._sc, getattr(self._java_model, name), *a)
File "/usr/lib/spark/p
浏览 0提问于2015-09-09得票数 4
这是我在星火用户邮件列表中的一个问题，我希望在这里取得更大的成功。
我不确定它是否与火花直接相关，尽管火花与我不能轻易解决这个问题有关。
我正在尝试使用各种模式从S3获取一些文件。我的问题是，其中一些模式可能什么也不返回，当它们返回时，我得到以下例外：
org.apache.hadoop.mapred.InvalidInputException: Input Pattern s3n://bucket/mypattern matches 0 files
at org.apache.hadoop.mapred.FileInputFormat.listStatus(FileInputForm
浏览 5提问于2014-05-21得票数 11
回答已采纳
3回答
在对WrappedArray执行任何操作时都会抛出ClassCastExpection。
示例：
我有如下所示的地图输出
输出：
Map(1 -> WrappedArray(Pan4), 2 -> WrappedArray(Pan15), 3 -> WrappedArray(Pan16, Pan17, Pan18), 4 -> WrappedArray(Pan19, Pan1, Pan2, Pan3, Pan4, Pan5, Pan6))]
调用map.values时，它将输出输出打印为下面的输出
MapLike(WrappedArray(Pan4), WrappedA
浏览 0提问于2016-11-23得票数 9
回答已采纳
我正在编写一个Java Spark应用程序，并且正在尝试为我的一个UDF编写单元测试。此UDF接受字符串数组并返回Long： protected UDF1<WrappedArray<String>, Long> convertMyArray() {
return (WrappedArray<String> s) -> {
return ...;
};
} 当我使用Spark会话测试它时，逻辑工作得很好。我的问题是如何unittest这个逻辑。 @Test
public void arrayC
浏览 55提问于2021-08-03得票数 0
回答已采纳
1回答
我正在尝试运行Spark MLlibs word2vec实现。我正在为this.My输入使用scala，模型是strings.It序列数组，如下所示
scala> f.take(5)
res11: Array[org.apache.spark.sql.Row] = Array([WrappedArray(0_42)], [WrappedArray(big, baller, shoe, ?)], [WrappedArray(since, eliud, win, ,, quick, fact, from, runner, from, country, kalenjins, !, write,
浏览 0提问于2018-01-09得票数 0
回答已采纳
scala> def joinWith(separator: String, values: String*): String = {
| Array(values).mkString(separator)
| }
joinWith: (separator: String, values: String*)String
scala> joinWith(":", "one", "two")
res0: String = WrappedArray(one, two) // shouldn'
浏览 2提问于2018-12-27得票数 2
回答已采纳
1回答
我正在研究Scala。我有一个很大的问题，ChiSqSelector似乎成功地降低了维度，但是我无法确定哪些特性被减少了，剩下的部分被减少了。我怎么知道哪些功能被减少了？
[WrappedArray(a, b, c),(5,[1,2,3],[1,1,1]),(2,[0],[1])]
[WrappedArray(b, d, e),(5,[0,2,4],[1,1,2]),(2,[1],[2])]
[WrappedArray(a, c, d),(5,[0,1,3],[1,1,1]),(2,[0],[1])]
PS:当我想让测试数据与功能选择的火车数据相同时，我发现我不知道如何在scala中这样做。
浏览 2提问于2016-03-09得票数 2
回答已采纳
1回答
我在造一出戏！框架应用程序使用Play！2.2.1，SBT0.13.0，我的本地scala版本是2.10.3。
当反序列化一个特定的文件时，我遇到了一个serialVersionUID问题，这个文件是我从同事那里继承来的，用于处理这个项目(我不知道是谁创建了这个序列化文件(或者什么时候))。
我的错误信息，在游戏中构建时！：
Caused by: java.io.InvalidClassException: scala.collection.mutable.WrappedArray$ofRef; local class incompatible: stream classdesc serial
浏览 2提问于2014-01-06得票数 4
回答已采纳
我有以下简单的程序，我不知道如何在Scala中读取数组中的值。
val all_marks = Result.groupBy("class", "school").agg(collect_list("mark") as "marks",count("*") as "cnt").where($"cnt" > 10)
var mrk=all_marks.collect().map(mark=>""+mark(2))
结果如下所示：
mrk: Array[St
浏览 4提问于2017-07-16得票数 0
我有如下的json数据：
{
"resultid": "Success",
"userId": "abc",
"cardtype": "ag",
"computescore": [{
"values": ["654", "655", "666"]
}, {
"values": ["754", "755"
浏览 0提问于2016-07-06得票数 1
我有一个具有模式的数据框架，如下所示
root
|-- date: timestamp (nullable = true)
|-- questionAnswerList: array (nullable = true)
| |-- element: struct (containsNull = true)
| | |-- questionNumber: string (nullable = true)
| | |-- listAnswers: array (nullable = true)
| |
浏览 6提问于2022-11-18得票数 0
回答已采纳
查看一些scala 2.10.4库代码：
implicit def wrapIntArray(xs: Array[Int]): WrappedArray[Int] = if (xs ne null) new WrappedArray.ofInt(xs) else null
制作它的问题是什么：
if (xs != null) new WrappedArray.ofInt(xs) else null
浏览 0提问于2015-12-03得票数 4
1回答
我在Java中使用Spark 1.5.2，并且我试图读入一个包含来自JSON文件的数据的parquet文件。我很难弄清楚应该如何读取一个最初包含嵌套JSON的字段，但现在它是一个WrappedArray<WrappedArray<String>>。我已经浏览了Spark页面以读取拼图文件，但似乎没有一个示例与我正在寻找的相匹配。我做了一些搜索，找到了与scala相似但特定于scala的东西。
以下是原始JSON的示例：
{"page_number":1,"id_groups":[{"ids":["60537"
浏览 1提问于2016-01-30得票数 3
我正在试着做一个函数，它计算出有多少个元素的组合被给定了一个值数组和一个精确的求和值。 但是我得到了一个错误： Error:(23, 38) type arguments [Int] do not conform to method empty's type parameter bounds [T <: AnyRef]
r(maxValue,WrappedArray.empty[Int],Set[WrappedArray[Int]]()).size 似乎在我试图传递给函数的空集中存在类型问题。 我根据这个问题选择了WrappedArrays：Scala: lightweight
浏览 13提问于2019-01-11得票数 0
回答已采纳
我想利用jre-alpine码头库映像缩小必须推送到我的码头注册中心的码头映像的大小，但我经常碰到以下错误：
[info] Step 10/16 : RUN id -u demiourgos728 2> /dev/null || useradd --system --create-home --uid 1001 --gid 0 demiourgos728
[info] ---> Running in 696dcf40530a
[info] /bin/sh: useradd: not found
[info] Removing intermediate container 696d
浏览 1提问于2019-08-15得票数 0
在Spark Java中编写时，我在访问Dataframe的行中的一列时遇到此错误。我不明白为什么从行中检索WrappedArray而不是普通数组。 java.lang.ClassCastException: class scala.collection.mutable.WrappedArray$ofRef cannot be cast to class [Ljava.lang.String 示例代码: String[] myarray = my_df_row.getAs("col_name")； 我需要Java代码，而不是scala或python。如何解决这个问题？
浏览 313提问于2020-08-12得票数 1
1回答
每当我尝试在Mac上运行play run时，我都会遇到异常。
详细堆栈跟踪是因为将在/Users/admin/mine/test2中创建新应用程序
What is the application name?
> test2
Which template do you want to use for this new application?
1 - Create a simple Scala application
2 - Create a simple Java application
3 - Create an empty project
> 2
java.
浏览 0提问于2013-01-07得票数 0
回答已采纳
我有一个Hadoop集群，它使用Apache来查询保存在Hadoop上的parquet文件。例如，当我使用下面的PySpark代码在拼花文件中找到一个词时：
df = spark.read.parquet("hdfs://test/parquets/*")
df.filter(df['word'] == "jhon").show()
在运行这段代码之后，我将转到stages应用程序UI，stages选项卡。与此形成对比的是，由于该查询的性质，它必须在本地运行，至少在Any.本地级上运行。当我在运行时检查集群的网络IO时，我发现这个查询使用网络(当
浏览 8提问于2021-03-13得票数 1
回答已采纳
我尝试过使用WrappedArray并使用null初始化它。
var classes:WrappedArray [String]= null
var classe = ENTEleveClasses.apply(0)
if(!classe.isEmpty()) {
var cls = classe.split(",")
for(c <- cls){
classes = classes :+ c // the error
}
cla
浏览 7提问于2017-06-05得票数 1
回答已采纳
4回答
如何将火花数据文件中的所有列名输入到Seq变量中。
输入数据与模式
val dataset1 = Seq(("66", "a", "4"), ("67", "a", "0"), ("70", "b", "4"), ("71", "d", "4")).toDF("KEY1", "KEY2", "ID")
dataset1.printSchema()
root
浏览 9提问于2017-10-15得票数 25
回答已采纳
1回答
我有一个下面的结构
json.select($"comments").printSchema
root
|-- comments: array (nullable = true)
| |-- element: struct (containsNull = true)
| | |-- comment: struct (nullable = true)
| | | |-- date: string (nullable = true)
| | | |-- score: string (nullable = true)
浏览 2提问于2016-09-14得票数 0
回答已采纳
1回答
我需要具有快速索引访问和最小开销的只读结构。该结构将经常被应用程序查询。因此，正如网上所说的那样，我尝试使用Arrays并将它们转换为IndexedSeq。
scala> val wa : IndexedSeq[Int] = Array(1,2,3)
wa: IndexedSeq[Int] = WrappedArray(1, 2, 3)
到现在为止还好。但是我需要使用嵌套的Array，问题就出在这里。
val wa2d : IndexedSeq[IndexedSeq[Int]] = Array(Array(1,2), Array(3), Array())
<console>
浏览 0提问于2015-10-16得票数 1
我正在尝试运行一个基本的scala-spark示例：
object LoadJsonWithSparkSQL{
def main(args: Array[String]) {
val master = "local"
val inputFile = "/path/to/my/local/file"
val warehouseLocation = "/path/to/spark-warehouse"
val sparkSession = SparkSession.builder.
浏览 0提问于2017-07-26得票数 1
2回答
嗨，我有一个火花数据框架，打印如下(单行)
[abc,WrappedArray(11918,1233),WrappedArray(46734,1234),1487530800317]
因此，在我已经包装好的数组中，我希望将其扁平化，并创建一个对每个数组都具有单个值的dataframe，例如，上面的行应该转换如下所示的内容
[abc,11918,46734,1487530800317]
[abc,1233,1234,1487530800317]
因此，我得到了2行而不是1行的dataframe，因此包装数组中的每个对应元素都应该放在新行中。
第一个答案后的编辑1:如果我的输入中有3个数组，会怎样
浏览 5提问于2017-02-22得票数 0
1回答
我正试图将IN条款应用于
scala> val filteredDF = resultDF.select("role_id","role","full_name").filter(upper(resultDF("role")).isin(List("DIRECTOR","ACTOR")) )
在尝试上面的命令时，我得到了错误
java.lang.RuntimeException: Unsupported literal type class scala.collection.immutab
浏览 9提问于2017-10-27得票数 0
回答已采纳
1回答
我从存储许多列的拼图文件中加载了一个DataFrame。其中两个是用户标识符数组，另一个是他访问过的状态。用户标识符列存储为数组的数组(WrappedArray作为它的Spark)，其中每个子数组都将标识符类型作为第一个元素，并将其值作为第二个元素。例如，名为Jon Smith、ID为1045的用户将存储为：WrappedArray(WrappedArray("name","Jon Smith"), WrappedArray("id","1045"))。(子数组是String的数组)。
因此，该表如下所示：
uid
浏览 3提问于2016-08-27得票数 0
我目前使用的是Spark和Scala 2.11.8
我有以下架构：
root
|-- partnumber: string (nullable = true)
|-- brandlabel: string (nullable = true)
|-- availabledate: string (nullable = true)
|-- descriptions: array (nullable = true)
|-- |-- element: string (containsNull = true)
我正在尝试使用UDF将其转换为以下格式：
root
|-- partnumber: st
浏览 2提问于2017-02-17得票数 0
回答已采纳
我正在尝试使用SparkSQL/DataFrames查询加载到HBase表中的数据。我的集群基于Cloudera CDH 6.2.0 (Spark版本2.4.0和HBase版本2.1.0)。
遵循指南，我在Spark Service的HBase服务属性中选择了我的HBase服务。此操作将以下jars添加到我的Spark类路径中：
/opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/hbase/bin/../lib/client-facing-thirdparty/audience-annotations-0.5.0.jar
/opt
浏览 2提问于2019-11-06得票数 2
我想从scala调用以下java方法：
protected final FilterKeyBindingBuilder filter(String urlPattern, String... morePatterns) {
return filtersModuleBuilder.filter(Lists.newArrayList(urlPattern, morePatterns));
}
我的scala来电者看上去像这样
def test(url: String, urls: String*) {
filter(url, urls: _*).through(classOf[MyTe
浏览 5提问于2010-10-04得票数 6
回答已采纳
我正在尝试为Spark创建一个Scala，它可以在Spark中使用。该函数的目标是接受任何列类型作为输入，并将其放入ArrayType中，除非输入已经是ArrayType。
下面是我到目前为止掌握的代码：
package com.latitudefinancial.spark.udf
import org.apache.spark.sql.api.java.UDF1
import org.apache.spark.sql.types._
import org.apache.spark.sql.SparkSession
class GetDatatype extends UDF1[Obj
浏览 8提问于2022-05-06得票数 0
好的, 我正在使用Scala中的spark框架。我的dataframe有一个列，其结构和内容如下： +---------------------------------------------------------------------------------------------+
|Email_Code |
+--------------------------------------------------------
浏览 53提问于2019-03-04得票数 0
我正在尝试将集成到单独的构建配置中。我希望在一个单独的配置中运行所有性能测试，因为它们自然是缓慢的。在Build.scala中，我有：
lazy val ItTest = config("it").extend(Test)
lazy val PerfTest = config("perf").extend(Test)
val testSettings = Seq(
testOptions in Test := Seq(Tests.Filter(x => !itFilter(x))),
testOptions in ItTes
浏览 3提问于2014-02-12得票数 2
回答已采纳
我在Scala中有一个包含3个观察值的数据帧。其中一列包含包装的数组，这样当我写到：
df.select("column").collect()
我会回来的
Array[org.apache.spark.sql.Row]= Array([WrappedArray(0.8, 0.5, 0.6)],[WrappedArray(0.6, 0.55, 0.7)], [WrappedArray(0.3, 0.4, 0.5, 0.6)])
有没有一个函数可以把包装好的数组转换成向量？
浏览 0提问于2017-02-27得票数 0
1回答
输入数据
val df = Seq(
("1", 1, 1, "on"),
("1", 2, 2, "off"),
("1", 2, 5, "off"),
("1", 5, 5, "on"),
("1", 5, 6, "off"),
("2", 1, 1, "off"),
("2", 1, 2, "off"),
("2", 2
浏览 2提问于2020-11-20得票数 0
回答已采纳
有两个问题，对一般问题的回答将指导我如何最低限度地完成MVCE。
1)如何预先注册WrappedArray (以及我可能使用的Scala中的所有其他类)？用Kryo从库中注册类是正常的吗？
具体如下：
2)我该如何解决这个问题？(愿意承认，如果我在这里反映了一个错误，我可能会有别的错误，所以不要试图复制这个错误。)
详细信息
使用与遗传学和统计相关的客户类，在Spark1.4.1，Scala2.11.5上使用SparkConf上的以下设置，在Java中测试星火程序：
// for kyro serializer it wants to register all classes that nee
浏览 2提问于2016-01-12得票数 6
回答已采纳
我有两个案例类，用户1 -> N关键字，我想在Scala中使用ReactiveMongo查询和更新。
这里的课程：
case class Keyword(
keyword: String,
var lastUpdate: Date,
var counter: Int)
object Keyword {
implicit val keywordWriter: OWrites[Keyword] = (
(JsPath \ "keyword").write[String] and
(JsPath \ "lastUpd
浏览 0提问于2019-02-11得票数 0
回答已采纳
在下面的Scala代码中，我尝试将包含以"|“分隔的元素的字符串转换为序列Seq[String]。然而，结果是一个字符的WrappedArray。如何做到这一点呢？
val array = "t1|t2".split("|")
println(array.toSeq)
结果如下：
WrappedArray(t, 1, |, t, 2)
我需要的是：
Seq(t1,t2)
浏览 0提问于2017-02-24得票数 5
回答已采纳
1回答
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object;
at akka.actor.setup.ActorSystemSetup$$anonfun$apply$1.apply(ActorSystemSetup.scala:36)
at akka.actor.setup.ActorSystemSetup$$anonfun$apply$1.apply(ActorSystemSetup.
浏览 48提问于2019-01-17得票数 0
我有一个具有以下模式的dataframe：
root
|-- id: string (nullable = true)
|-- collect_list(typeCounts): array (nullable = true)
| |-- element: array (containsNull = true)
| | |-- element: struct (containsNull = true)
| | | |-- type: string (nullable = true)
| | | |-- count: long (
浏览 2提问于2020-12-09得票数 0
回答已采纳
我的架构如下所示：
scala> airing.printSchema()
root
|-- program: struct (nullable = true)
| |-- detail: struct (nullable = true)
| | |-- contributors: array (nullable = true)
| | | |-- element: struct (containsNull = true)
| | | | |-- contributorId: string (nullable = tr
浏览 2提问于2016-09-01得票数 0
回答已采纳
1回答
我试图访问谷歌桶，当使用火花提交和遇到问题。
下面是命令和错误：
Command :
spark-submit --packages org.apache.spark:spark-sql-kafka-0-10_2.12:3.2.0 --jars gs://spark-jars-karan/spark-bigquery-with-dependencies_2.12-0.23.2.jar,gs://spark-jars-karan/spark-avro_2.12-3.1.2.jar /Users/karanalang/PycharmProjects/Kafka/StructuredStreami
浏览 18提问于2022-02-12得票数 0
1回答
抓挠我的头对一个奇怪的运行时错误：
// File: build.sbt
scalaVersion := "2.10.1"
// File: src/main/scala/bug/Bug.scala
package bug
class Foo(val args: Any*)
case class Bar(id: Int) extends Foo(id)
object Bug extends App {
val msg = Bar(666)
val id = msg.id // boom!
}
如果我用sbt run运行它“
[error] (run-main)
浏览 0提问于2013-04-02得票数 3
回答已采纳
1回答
我有了这个数据帧，我想把数据列中的所有数组组合成一个大数组，独立于DataFrame。
Scala和DataFrame应用程序接口对我来说仍然很新，但我已经尝试过了：
case class Tile(data: Array[Int])
val ta = Tile(Array(1,2))
val tb = Tile(Array(3,4))
val tc = Tile(Array(5,6))
df = ListBuffer(ta,tb,tc).toDF()
// Combine contents of DF into one array
val result = new Array[Int
浏览 1提问于2016-08-23得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
