由于scala.MatchError，Spark UnaryTransformer实现失败
是指在使用Spark框架中的UnaryTransformer进行数据转换时，出现了scala.MatchError异常导致转换失败的情况。
Scala.MatchError是Scala语言中的一种异常类型，表示模式匹配失败。在Spark中，UnaryTransformer是一个用于单个输入列的转换器，它将输入列转换为输出列。然而，当使用UnaryTransformer进行数据转换时，如果输入数据的模式与预期不匹配，就会抛出scala.MatchError异常。
这种异常通常发生在以下情况下：
- 输入数据的结构与预期不符，例如输入数据的列名或数据类型与预期的不一致。
- 输入数据中存在缺失值或异常值，导致无法进行有效的模式匹配。
为了解决这个问题，可以采取以下步骤：
- 检查输入数据的结构和内容，确保与预期一致。可以使用Spark提供的数据探索和转换工具，如DataFrame和Dataset API，来检查和处理数据。
- 确保在使用UnaryTransformer之前对输入数据进行了必要的预处理，例如数据清洗、缺失值处理等。
- 在实现UnaryTransformer时，使用合适的模式匹配方法，避免出现不必要的scala.MatchError异常。可以使用模式匹配的通配符或提供默认的模式匹配选项，以处理未预期的输入数据。
在腾讯云的云计算平台中，可以使用腾讯云的Spark服务来进行大数据处理和分析。腾讯云的Spark服务提供了强大的数据处理能力和丰富的数据转换工具，可以帮助用户高效地处理和分析大规模数据集。
腾讯云的Spark服务链接地址：https://cloud.tencent.com/product/spark
相关·内容
1回答
给出一个带有类型注释@Bar的简单case类 case class Foo(
field: Option[String] @Bar
) 在运行时将RDD[Foo]转换为Dataset[Foo]失败，并显示以下堆栈跟踪： User class threw exception: scala.MatchError: scala.Option[String] @Bar (of class scala.reflect.internal.Types$AnnotatedType)
at org.apache.spark.sql.catalyst.ScalaReflection$$anonfun$org
浏览 23提问于2019-05-04得票数 1
回答已采纳
2回答
sparks 2/Java8 8 Cassandra2试图读取Cassandra中的一些数据，然后在sparks中按查询运行组。在DF传输日期(日期)、原点(字符串)中只有2列。
Dataset<Row> maxOrigindate = sparks.sql("SELECT origin, transdate, COUNT(*) AS cnt FROM origins GROUP BY (origin,transdate) ORDER BY cnt DESC LIMIT 1"); `
获取错误：
`Exception in thread "main
浏览 7提问于2017-01-06得票数 3
回答已采纳
我正在尝试使用spark处理大量大型json日志文件，但每次使用scala.MatchError时都会失败，不管我是否给它提供了模式。
我只想跳过与模式不匹配的行，但我无法在火花文档中找到方法。
我知道编写json解析器并将其映射到json文件RDD可以完成任务，但我想使用sqlContext.read.schema(schema).json(fileNames).selectExpr(...)，因为它更易于维护。
浏览 3提问于2015-08-02得票数 1
回答已采纳
在Spark1.6.1和2.0中使用scala.MatchError时，我会得到一个ParamGridBuilder
val paramGrid = new ParamGridBuilder()
.addGrid(lr.regParam, Array(0.1, 0.01))
.addGrid(lr.fitIntercept)
.addGrid(lr.elasticNetParam, Array(0.0, 0.5, 1.0))
.build()
错误是
org.apache.spark.SparkException: Job aborted due to stage failur
浏览 1提问于2016-06-21得票数 3
回答已采纳
2回答
使用Spark 2.11，我有以下数据集(从Cassandra表中读取)： +------------+----------------------------------------------------------+
|id |attributes |
+------------+----------------------------------------------------------+
|YH8B135U123|[{"id":1,"name
浏览 46提问于2021-02-25得票数 0
回答已采纳
1回答
我刚接触pyspark，正在尝试了解PageRank是如何工作的。我在Cloudera上使用Jupyter中的Spark 1.6。我的顶点和边(以及模式)的屏幕截图位于以下链接中：和
到目前为止，我有如下代码：
#import relevant libraries for Graph Frames
from pyspark import SparkContext
from pyspark.sql import SQLContext
from pyspark.sql.functions import desc
from graphframes import *
#Read the csv fi
浏览 6提问于2018-05-25得票数 0
当我尝试使用以下代码将Spark的DataFrame转换为RDD[org.apache.spark.mllib.linalg.Vector]时：
import org.apache.spark.sql.Row
import org.apache.spark.mllib.linalg.Vectors
val df = sqlContext.createDataFrame(
Seq((0.1, 0.2, 0.4))
).toDF("t1", "t2", "t3")
df.rdd.map{ case Row(row: Seq[_]) =>
浏览 29提问于2017-01-18得票数 2
回答已采纳
我正在尝试通过com.crealytics.spark.excel读取excel文件。但在尝试运行我的代码时，我遇到了以下错误： scala.MatchError: Map(treatemptyvaluesasnulls -> true, location -> a.xlsx, useheader -> true, inferschema -> False, addcolorcolumns -> False) (of class org.apache.spark.sql.catalyst.util.CaseInsensitiveMap)
at com.creal
浏览 257提问于2019-09-17得票数 0
2回答
我想知道为什么我不能在包含空值(Strings)的Spark (2.1)行上进行模式匹配：
val r = Row(null:String)
r match {case Row(s:String) => println("row is null")}
scala.MatchError：
浏览 2提问于2017-10-26得票数 7
回答已采纳
1回答
我正在尝试更改数据帧的模式。每次我有一个字符串类型的列时，我想把它的类型改为VarcharType( max )，其中max是该列中字符串的最大长度。我写了下面的代码。(我想稍后将数据帧导出到sql server，并且我不想让nvarchar出现在sql server中，所以我尝试将其限制在spark端) val df = spark.sql(s"SELECT * FROM $tableName")
var l : List [StructField] = List()
val schema = df.schema
schema.fields.foreach(x =>
浏览 25提问于2020-01-22得票数 0
回答已采纳
我正在尝试创建一个简单的DataFrame，如下所示：
import sqlContext.implicits._
val lookup = Array("one", "two", "three", "four", "five")
val theRow = Array("1",Array(1,2,3), Array(0.1,0.4,0.5))
val theRdd = sc.makeRDD(theRow)
case class X(id: String, indices: Array[Int
浏览 2提问于2016-02-13得票数 5
回答已采纳
1回答
我对火花和scala都比较陌生。我试图在spark上使用scala实现协作过滤。下面是代码
import org.apache.spark.mllib.recommendation.ALS
import org.apache.spark.mllib.recommendation.Rating
val data = sc.textFile("/user/amohammed/CB/input-cb.txt")
val distinctUsers = data.map(x => x.split(",")(0)).distinct().map(x =>
浏览 0提问于2014-07-09得票数 3
回答已采纳
我正在尝试提交一个shell脚本的Spark作业。
这是一个简单的脚本，只是火花提交命令。我试图通过spark-submit命令给我的Main函数一个参数，但当我尝试执行shell文件时，作业失败并返回错误：
scala.MatchError: rma (of class java.lang.String)
因为我在代码中使用了match-case。
这是我的Shell脚本的内容
#adsName=$1
spark-submit --class TestQuery --master yarn --deploy-mode cluster \
--driver-memory 12
浏览 1提问于2017-11-30得票数 2
在集群上运行spark作业时，我遇到以下匹配错误。我认为它是scala的泛型。
15/05/27 00:33:45 INFO scheduler.TaskSetManager: Serialized task 22.0:3 as 20587 bytes in 0 ms
15/05/27 00:33:45 WARN scheduler.TaskSetManager: Lost TID 224 (task 22.0:8)
15/05/27 00:33:45 WARN scheduler.TaskSetManager: Loss was due to scala.MatchError
scala.M
浏览 0提问于2015-05-27得票数 0
1回答
当我试图用空值填充一个DataFrame来替换其中的其他值时，我得到了错误的Caused by: scala.MatchError: Null (of class scala.reflect.internal.Types$ClassNoArgsTypeRef)。我如何使用Scala Spark 2.1来做这件事？
浏览 28提问于2017-03-17得票数 0
回答已采纳
2回答
我希望向DataFrame中的Spark(Scala)中添加一个带有行id的新列。这就是我所采取的方法。我正在创建一个带有索引id的新行和一个包含了另一个StructType的新StructField。
val rdd = df.rdd.zipWithIndex().map(indexedRow => Row.fromSeq(indexedRow._2.toString ++ indexedRow._1.toSeq ))
val list = StructType(Seq(StructField("Row Number", StringType, true)).++(
浏览 4提问于2016-05-02得票数 0
回答已采纳
我需要在星火数据集中使用Akka的ByteString，因为有一些遗留代码(因此不可能使用其他任何东西，比如Array[Byte])。但是，即使简单地使用ByteString，Spark也会抛出以下异常。我应该如何在数据集中使用它？
// Code
context.session.range(1, 10).map(i => akka.util.ByteString(i.toString))
// Exception
[error] Exception in thread "main" scala.MatchError: akka.util.ByteString (of
浏览 3提问于2017-11-22得票数 1
回答已采纳
2回答
当我在AWS控制台中手动启动EMR集群时，我在SSH进入我的集群后运行以下命令：
spark-submit --master yarn-cluster --deploy-mode cluster --class spark_pkg.SparkMain
s3://mybucket/scala-1.0.jar -s arg1 -l arg1
在Python中使用Boto3时如何做到这一点？下面是我的steps代码：
steps = [
{
'Name': 'Running jar file',
浏览 5提问于2020-10-29得票数 2
2回答
我有下面的表，为了执行联接，我正在为它生成一个带有rowId列的数字序列，但这会引发以下错误。我做错了什么？请帮我处理这个。
fListVec: org.apache.spark.sql.DataFrame = [features: vector]
+-----------------------------------------------------------------------------+
|features |
+--------------
浏览 7提问于2017-11-30得票数 1
回答已采纳
我正在尝试创建一个具有自定义顶点类型的简单图形。创建成功，但顶点上的操作由于matchError而失败。下面包含复制错误的步骤。 复制步骤(在emr上，spark-shell)： import org.apache.spark._
import org.apache.spark.graphx._
// To make some of the examples work we will also need RDD
import org.apache.spark.rdd.RDD
class VertexProperty() extends Serializable
case class User
浏览 16提问于2020-12-25得票数 0
1回答
我试图将oplog.rs从MongoDB加载到spark DataFrame中，它加载了元数据，我通过printSchema函数对其进行了验证，但当我尝试执行像show或count这样的操作时，它给出了这个错误scala.MatchError: ((BsonMinKey,null),0) (of class scala.Tuple2)。我也尝试将其注册为temptable，但仍然给出相同的错误。
val customReadConfig = ReadConfig(Map(
"uri" ->
"mongodb://username:password@h
浏览 0提问于2017-03-04得票数 2
因此，我正在编写一个自定义数据源，用于从hbase读取一些数据。一切都很好，直到ExistingRDD.rowToRowRdd get的电话。然后，它尝试从我的GenericRowWithSchema中获取模式。失败了我不知道为什么..。我看到人们在过去也有类似的问题。我使用的是Spark 1.6.3，我的模式固定为：
StructType(Seq(StructField("Date", LongType),
StructField("Device", StringType),
StructField("Tag&#
浏览 0提问于2017-03-22得票数 1
我有一个星星之火，里面有一个向量：
org.apache.spark.sql.DataFrame = [sF: vector]
我试图把它转换成一个值的RDD：
org.apache.spark.rdd.RDD[(Double, Double)]
然而，我无法正确地转换它。我试过：
val m2 = m1.select($"sF").rdd.map{case Row(v1, v2) => (v1.toString.toDouble, v2.toString.toDouble)}
它编译，但我得到一个运行时错误：
scala.MatchError: [[-0.111111
浏览 1提问于2016-05-10得票数 1
回答已采纳
我试图将DataFrame的单个列(名为：df)的不同值输入到与该列的数据类型匹配的数组中。这是我试过的，但不起作用：
def distinctValues[T: ClassTag](column: String): Array[T] = {
df.select(df(column)).distinct.map {
case Row(s: T) => s
}.collect
}
该方法位于一个隐式类中，因此调用df.distinctValues("some_col")给出了如下内容：
scala.MatchError: [A
浏览 3提问于2016-05-18得票数 4
回答已采纳
1回答
对于Scala2.13.x，当我为一个未使用的变量使用占位符时，我得到了scala.MatchError: null：
scala> object Test {
| val _: Any = null
| }
object Test
scala> Test
scala.MatchError: null
... 41 elided
但是对于Scala2.12.x，我没有得到scala.MatchError: null
scala> object Test {
| val _: Any = null
| }
defined o
浏览 3提问于2020-09-02得票数 5
回答已采纳
我有一个图，我想要计算最大度。特别是最大度的顶点，我想知道所有的性质。这是代码片段：
def max(a: (VertexId, Int), b: (VertexId, Int)): (VertexId, Int) = {
if (a._2 > b._2) a else b
}
val maxDegrees : (VertexId, Int) = graphX.degrees.reduce(max)
max: (a: (org.apache.spark.graphx.VertexId, Int), b: (org.apache.spark.graphx.VertexId, I
浏览 2提问于2017-09-25得票数 0
回答已采纳
我有一个在数据中有一些空值的RDD[(Seq[String], Seq[String])]。转换为dataframe的RDD如下所示
+----------+----------+
| col1| col2|
+----------+----------+
|[111, aaa]|[xx, null]|
+----------+----------+
以下是示例代码：
val rdd = sc.parallelize(Seq((Seq("111","aaa"),Seq("xx",null))))
val df = rdd.to
浏览 2提问于2017-04-06得票数 3
2回答
假设您有Spark +独立集群管理器。您使用一些倾诉打开了星火会话，并希望与不同的参数并行启动SomeSparkJob 40次。
问题
如何设置职务失败的数量？
如何在失败时以编程方式重新启动作业？如果由于缺乏资源而导致作业失败，这可能是有用的。比我能一个一个地启动所有需要额外资源的工作。
如何在作业失败时重新启动火花应用程序？这可能是有用的，如果工作缺乏资源，即使是在它同时启动。要想改变内核、CPU等，我需要重新启动独立集群管理器中的应用程序。
我的解决办法
1)我确信第一点是可能的，因为它在是可能的。我只是不知道在独立模式下该怎么做。
2-3)可以在火花上下文(如spa
浏览 3提问于2017-03-17得票数 2
回答已采纳
我在Spark 1.6.2中实现了一个UnaryTransformer。使用此接口：
class myUT(override val uid: String) extends UnaryTransformer[Seq[String], Seq[String], myUT] {
...
override protected def createTransformFunc: Seq[String] => Seq[String] = {
_ => _.map(x => x + "s")
}
这段代码编译得很好，但在运行时会返回一个错误：
17/07/21 22
浏览 6提问于2017-07-21得票数 1
回答已采纳
3回答
我的Json：
{"apps": {"app": [{"id": "id1","user": "hdfs"}, {"id": "id2","user": "yarn"}]}}
模式：
root
|-- apps: struct (nullable = true)
| |-- app: array (nullable = true)
| | |-- element: struct (containsNull = true)
| |
浏览 0提问于2018-06-25得票数 1
回答已采纳
我想以ObjectId的形式将字符串值写到MongoDB中。
我就这样试过了。
List<StructField> structFields = new ArrayList<>();
structFields.add(DataTypes.createStructField("oid", DataTypes.StringType, true));
StructType structType = DataTypes.createStructType(structFields);
spark.sqlContext().udf().register("
浏览 10提问于2021-10-29得票数 1
当我想在Spark2.2中重命名我的DataFrame列并使用show()打印它的内容时，我会得到以下错误：
18/01/04 12:05:37 WARN ScalaRowValueReader: Field 'cluster' is backed by an array but the associated Spark Schema does not reflect this;
(use es.read.field.as.array.include/exclude)
18/01/04 12:05:37 WARN ScalaRowValueRead
浏览 3提问于2018-01-04得票数 0
回答已采纳
我是星火和蜂巢的新手，我的目标是将一个分隔的(比如csv)加载到Hive表中。经过一段时间的阅读，我发现将数据加载到蜂巢的路径是csv->dataframe->Hive。(如果我错了，请纠正我)。
CSV:
1,Alex,70000,Columbus
2,Ryan,80000,New York
3,Johny,90000,Banglore
4,Cook, 65000,Glasgow
5,Starc, 70000,Aus
我使用以下命令读取csv文件：
val csv =sc.textFile("employee_data.txt").map(line => l
浏览 2提问于2016-12-30得票数 2
回答已采纳
Dataset<Row> SourcePropertSet = sqlContext.read()
.format("com.crealytics.spark.excel")
.option("location", "E:\\XLS\\NEWFILE.xlsx")
.option("useHeader", "false")
.option("treatEmptyValuesAsNulls&#
浏览 2提问于2017-07-03得票数 1
回答已采纳
在开发Spark Unit Test时，我正在尝试创建一个包含数组的Dataframe。我真的不关心Array (现实生活中的一种复杂数据类型)中有什么，因为我只对它的大小感兴趣。
val data = spark.createDataframe(Seq(
("a", 1, Array()),
("b", 2, Array())
)).toDF("columnA", "columnB", "columnC")
我得到了以下与columnC相关的错误(删除columnC可以正常工作)：scala.Ma
浏览 2提问于2017-04-12得票数 0
我正在为开发一个模板，我遇到了火花的麻烦。
我一直收到一个scala.MatchError错误：
scala.MatchError: null
at org.apache.spark.rdd.PairRDDFunctions.lookup(PairRDDFunctions.scala:831)
at org.apache.spark.mllib.recommendation.MatrixFactorizationModel.predict(MatrixFactorizationModel.scala:66)
at org.template.prediction.ALSAlgorithm$$an
浏览 0提问于2015-03-31得票数 1
回答已采纳
这个问题是这个的延续，给出有效答案的用户请求一个新的问题来解释我的进一步怀疑。
我正在尝试的是从RDD[Objects]生成数据，其中我的对象有原始类型，但也有复杂类型。在前面的问题中，我们解释了如何解析复杂类型的Map。
接下来我尝试的是推断给定的解决方案来解析MapMap。因此，在DataFrame中，它被转换为数组(Map)。
下面我给出我到目前为止编写的代码：
//I get an Object from Hbase here
val objectRDD : RDD[HbaseRecord] = ...
//I convert the RDD[HbaseRecord] in
浏览 0提问于2019-03-19得票数 1
回答已采纳
2回答
我试图匹配列表的前两个元素，但是它不会接受任意长度的列表。下面的代码失败。
def demoCases() = {
def actor1 = new Actor[Employee] {}
def actor2 = new Actor[Employee] {}
def actor3 = new Actor[Animal] {}
var actors = List(actor1, actor2, actor3);
println();
actors match {
case (_: Employee) :: (_: Employee
浏览 2提问于2014-08-06得票数 0
1回答
我正在使用星火MLlib PrefixSpan算法。我在Spark1.6中使用了一些代码，但我们最近转到了Spark2.2。
我有这样的数据
viewsPurchasesGrouped: org.apache.spark.sql.DataFrame = [session_id: decimal(29,0), view_product_ids: array<bigint> ... 1 more field]
root
|-- session_id: decimal(29,0) (nullable = true)
|-- view_product_ids: array (null
浏览 2提问于2018-03-23得票数 1
回答已采纳
1回答
我是Scala新手，很难解决这段代码的问题。
x.map{case (x1: Any, x2: Any,x3: String) => x1}.count()
抛掷
scala.MatchError: null error
这是x的定义
scala> x.cache()
res111: x.type = MapPartitionsRDD[522] at map at <console>:49
scala> x
res109: org.apache.spark.rdd.RDD[(Any, Any, String)] = MapPartitionsRDD[522] a
浏览 0提问于2018-04-19得票数 2
回答已采纳
当我使用sbt程序集时，它会打印如下错误：
[error] (*:assembly) scala.MatchError: org\apache\commons\io\IOCase.class (of class java.lang.String)
这些是我的配置：
1、assembly.sbt:
import AssemblyKeys._
assemblySettings
mergeStrategy in assembly := {
case PathList("org", "springframework", xs@_*) => MergeStr
浏览 4提问于2017-07-26得票数 1
当我试图使用十进制类型创建数据时，它正在抛出下面的错误。
我正在执行以下步骤：
import org.apache.spark.sql.Row;
import org.apache.spark.sql.types.StructField;
import org.apache.spark.sql.types.StructType;
import org.apache.spark.sql.types.StringType;
import org.apache.spark.sql.types.DataTypes._;
//created a DecimalType
val DecimalType
浏览 3提问于2017-08-16得票数 3
回答已采纳
1回答
在申请了一些match之后，我尝试使用case。一种nested cases/matches
val x1 = 2 // or 1, 3 ...
val str = x1 match { // scala.MatchError: 1 (of class java.lang.Integer)
case x if(x > 1) => "x"+x match {case "x1" => "yes"}
// updated:
case _ => "nope"
}
println (str)
如果
浏览 2提问于2013-09-09得票数 2
回答已采纳
我正在使用SQL转换编写aws胶水作业(电火花代码)。我在org.apache.spark.sql.catalyst.expressions.ListQuery.类的scala.MatchError: list#5252 []中出错有一个像tbl1这样的表，当我从查询中排除这个表时，它工作得很好，但是一旦使用了tbl1，上面就会抛出错误。源和目标都是红移。
如果有人解释了这个错误的含义，那将是有帮助的。
提前谢谢。
如果需要什么描述，请告诉我。
浏览 1提问于2022-01-06得票数 -1
回答已采纳
我正在通过查询和合并hive表的列来构建结构列的映射。稍后，我在id列上对这些记录进行分组，以便为这些id构建相关的映射。在将其写回配置子表之前，它将在稍后连接到其他Dataframe。
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
import org.apache.spark.sql.SQLContext
import org.apache.spark.sql.hive.HiveContext;
import org.apache.spark.sql._
import org.apache.sp
浏览 23提问于2017-01-16得票数 0
1回答
我有一个RDD，我想用唯一的值创建一个新的RDD，但我有一个错误。
代码：
val rdd = sc.textFile("/user/ergorenova/socialmedia/allus/archivosOrigen").map( _.split(",", -1) match {
case Array(caso, canal, lote, estado, estadoo, estadooo, fechacreacioncaso, fechacierrecaso, username, clientid, nombre, apellido, ani, ema
浏览 1提问于2016-02-24得票数 0
1回答
我有一个名为index的rdd : RDD(String，String)，我想使用index来处理我的文件。这是代码：
val get = file.map({x =>
val tmp = index.lookup(x).head
tmp
})
问题是我不能在file.map函数中使用索引，我运行了这个程序，它给了我这样的反馈：
14/12/11 16:22:27 WARN TaskSetManager: Lost task 0.0 in stage 3.0 (TID 602, spark2): scala.MatchError: null
org.apache.
浏览 4提问于2014-12-11得票数 4
回答已采纳
我正在使用Spark2.0.0并使用SparkSession创建一个SparkSession。当我在java.util.UUID方法中使用createDataFrame时，它工作得很好。但是，当我将java.util.UUID作为Javabean中的字段时，当我使用这个Javabean创建Dataset时，它给了我scala.MatchError。请参阅下面的代码和控制台日志。有谁能告诉我这里发生了什么，以及如何在Javabean类中使用Dataset创建UUID。谢谢。
UUIDTest.java
public class UUIDTest {
public static void m
浏览 1提问于2016-08-26得票数 3
使用两个预定义的边界在Spark中指定窗口间隔的正确方法是什么？
我正试图在“3小时前到2小时前”的窗口上对我的桌子上的值进行汇总。
当我运行这个查询时：
select *, sum(value) over (
partition by a, b
order by cast(time_value as timestamp)
range between interval 2 hours preceding and current row
) as sum_value
from my_temp_table;
这是可行的。我得到了我期望的结果，即值的总和，下降到2小时滚动窗口。
现在，我需要的是不要
浏览 2提问于2019-05-21得票数 5
回答已采纳
Spark版本: 1.3
在处理BigInteger类型数据时，我有一个要求。Bean类(Pojo)使用的BigInteger数据类型很少。解析数据并创建JavaRDD可以很好地工作，但是当创建一个以JavaRDD和BeanClass为参数的数据帧时，Spark抛出下面的异常。
scala.MatchError: class java.math.BigInteger (of class java.lang.Class)
at org.apache.spark.sql.SQLContext$$anonfun$getSchema$1.apply(SQLContext.scala:1
浏览 3提问于2015-11-19得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
