Spark Scala使用广播变量抛出"java.util.NoSuchElementException:找不到键“
Spark Scala使用广播变量抛出"java.util.NoSuchElementException:找不到键"的错误是因为在广播变量中查找键时找不到对应的键。
广播变量是Spark中一种用于在集群中广播大型只读变量的机制。它可以将一个变量有效地发送到集群的每个节点，以便在任务执行期间共享使用。广播变量在减少网络传输和提高性能方面非常有用。
在使用广播变量时，需要注意以下几点：
- 广播变量的创建：使用
SparkContext的broadcast方法创建广播变量。例如，val broadcastVar = sc.broadcast(myVar)。 - 广播变量的值获取：使用广播变量的
value属性获取其值。例如，broadcastVar.value。 - 广播变量的使用：在任务中可以直接使用广播变量的值，而无需将其传递给每个任务。
当抛出"java.util.NoSuchElementException:找不到键"的错误时，可能是以下原因之一：
- 广播变量未正确创建：请确保广播变量使用
SparkContext的broadcast方法正确创建，并且变量的值是有效的。 - 键不存在：请检查代码中使用广播变量的地方，确保在查找键时键是存在的。可以使用
contains方法进行检查，例如，broadcastVar.value.contains(key)。 - 键的类型不匹配：请确保在查找键时使用的类型与广播变量中的键类型匹配。
如果以上方法仍然无法解决问题，建议查看完整的错误堆栈跟踪信息，以便更好地定位问题所在。
关于Spark Scala广播变量的更多信息，您可以参考腾讯云的文档：
请注意，以上答案仅供参考，具体解决方法可能因实际情况而异。
相关·内容
我有一个广播变量，它是以以下方式构造的def loadMovieNames(sparkContext: SparkContext): Map[Int, String] = {)下面是main中用于访问广播变量的代码。= resultDF.withColumn("movie", getName($"movieId
浏览 0提问于2017-02-25得票数 0
回答已采纳
在设置了环境变量并在PyCharm中运行相同的代码之后，我得到了这个错误，但我找不到解决方案。Exception in thread "main" java.util.NoSuchElementException: key not found: _PYSPARK_DRIVER_CONN_INFO_PATH(Map.scala:59)
at org.apache.spark.api.python.PythonGatewayServer$.main(PythonGatewaySer
浏览 0提问于2018-06-15得票数 5
1回答
当我在本地模式下运行我的代码时，没有问题，我可以到达映射中的每个键。但是，当我在集群模式下运行我的代码时，节点会抛出关于找不到映射中的键的错误。15.0 failed 4 times, most recent failure: Lost task 1.3 in stage 15.0 (TID 25, datanode1.big.com): java.util.NoSuchElementException)
at scala.collection.Iterator$$anon$11
浏览 0提问于2016-09-05得票数 0
回答已采纳
1回答
我正面临一个火花流工作的问题，我试图使用广播，mapWithState和检查点在火花。以下为用法：
当新创建上下文时，流运行得很好。Worke
浏览 5提问于2017-08-01得票数 3
此示例包含3个文件和3个对象，具体取决于spark 1.6.1。//file globalObject.scala varimport org.apache.spark.$plus$plus$eq(ArrayBuffer.scala:103)
显然，数据没有成功广播。这些天，我在重构代码时遇到了这个问题。我希望不同的
浏览 39提问于2016-08-13得票数 2
尽管如此，我仍然面临着广播变量的问题。我的问题是，我得到了一个nullPointerException，甚至很难，我把广播引用传递给执行者。
浏览 8提问于2020-05-05得票数 0
回答已采纳
我希望将变量(字符串)的值从scala传递给databricks中的python。我知道我可以使用以下命令在两种语言的之间传输数据帧信息： %scalaspark.table("some_table
浏览 19提问于2021-01-26得票数 1
这不是val filteredRdd = df.rdd.zipWithIndex.collect { case (r, i) if i >= start => r }at org.apache.spark.util.ClosureCleaner$.clean(ClosureCleane
浏览 2提问于2016-05-09得票数 2
我在Redis中有一个普通的scala map (键和值)。现在，我想在我的一个spark-streaming程序中读取该映射，并将其用作广播变量，以便我的从机可以使用该映射来解析键映射。我使用的是spark-redis 2.3.1库，但现在我确定如何阅读它。中映射- name | value123 David125
浏览 19提问于2019-05-07得票数 0
我试图遵循，并尝试使用sbt和scala进行构建，但在从C:\Users\00926133\test调用sbt package时遇到了以下错误[warn] :: org.apache.spark#spark-core_2.10;1.4.0#scala-library;2.10.4: java
浏览 3提问于2015-06-26得票数 2
回答已采纳
1回答
我正在尝试广播一个列表，并将广播变量传递给UDF (Scala代码位于单独的文件中)。但面对的是问题。: org.apache.spark.broadcast.Broadcast[List[String]], Trace: String)) 使用"withColumn“调用用户定义项 Out_DF =Out_DF.withColumn("Col-1", Call_Sub_Pgm(col(Col-1),Lookup_BroadCast,lit(Trace)))
浏览 34提问于2020-06-22得票数 0
我用这种方式制作了一个广播地图： .read .options(Map("url" -> driver, "dbtable" -会抛出以下错误：
type mismatch; found : org.apache.spark.broadcast.Broadcast[scala.collection.Map[String,Int]] required: org.apache.sp
浏览 4提问于2016-04-29得票数 2
回答已采纳
1回答
我在我的Spark应用程序中有一个要求，我需要定期更新worker代码将使用的变量。System.currentTimeMillis % shardSize
但我不想总是质疑这一点，所以像java.util.TimerTask这是我需要定期运行并将值广播给从机的代码。
浏览 1提问于2016-11-24得票数 0
我在星火中学习广播变量，所以我试着利用它。我使用的是火花壳(版本1.6.0)。bMaps: org.apache.spark.broadcast.Broadcast[scala.collection.Map[String,String]] = Broadcast(2)(www.yahoo.com,Yahoo,10))
当我运行SparkContext并使用默认的SparkContext sc时，代码工作得很好，在调用SparkContext时会创建这个默认sc。在创建我自己的上下文之前，
浏览 0提问于2016-08-11得票数 0
1回答
我想使用默认的训练模型在column1列上的spark数据集上使用SparkNLP进行情感分析。java.util.NoSuchElementException: Failed to find a default value for dictionaryat scala.Option.getOrElse(Option.scala
浏览 31提问于2019-09-20得票数 4
回答已采纳
我正在使用Spark1.3.0。val labeldata = sc.textFile("/home/data/trainLabels2.csv")labels.foreach{ x => fn2label += (x(0) -> x(1).toInt)}
浏览 2提问于2015-04-15得票数 2
回答已采纳
在我们的一个Pyspark作业中，我们有一个场景，我们在一个大的数据帧和相对较小的数据帧之间进行连接，我相信spark正在使用广播连接，我们遇到了以下错误 org.apache.spark.SparkException$$anonfun$withExecutionId$1.apply(SQLExecution.scala:101)
at org.apache.spark.sql.execution.SQLExecution(SQLExecution.scala:
浏览 752提问于2020-04-22得票数 0
我使用spark训练了als模型，并在调用此模型时将模型保存为testALS.zip。默认-调度-3错误与请求java.util.NoSuchElementException:密钥找不到:在scala.collection.AbstractMap.default(Map.scala:59) at scala.collection.AbstractMap.default(Map.scala:59) at scala.collection
浏览 0提问于2019-05-10得票数 0
我尝试使用org.apache.spark.sql.functions.lit发送文字值，但这导致我的UDF从未被调用：
spark.sqlContext().udf().registerJava("MongoInsertJava中将广播变量传递给UDF。是否可以不传入其他变量，如映射、数组等？记住，我说的是Spark with Java。在Scala中，似乎有更多的灵活性。functions is not applicable for th
浏览 81提问于2020-02-03得票数 1
2回答
我使用sc.broadcast来查找文件以提高性能。两者有什么区别？
我应该用哪一个来广播参考/查表？
浏览 3提问于2016-10-29得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
