我通过读取avro文件创建了一个数据框，但在scala IDE的spark应用程序中读取该文件时出现错误。: org.apache.spark.sql.avro.AvroFileFormat。请在上查找软件包SparkCourseAsMavenProject构建路径的spar
浏览 22提问于2020-05-28得票数 0
我们在Spark2.4中在spark2-shell中读取avro文件时遇到了问题，任何指针都会有很大帮助。我们使用以下方法读取Spark2.4 2.3中的avro文件，但这种支持在Spark2.4中已被删除：
spark2-shell --
浏览 4提问于2020-01-24得票数 2
回答已采纳
我正在尝试使用库来处理avro文件。" %% "spark-avro" % "1.0.0")import org.apache.spark.SparkContext }当我在
浏览 3提问于2015-05-13得票数 0
回答已采纳
2回答
我使用的是com.databricks.spark.avro。当我在spark-shell中运行它时，就像这样：spark-shell --jar spark-avro_2.11-4.0.0.jar，我可以通过这样的方式读取文件：
import org.apache.spark.sql.SQLContextclean run在我
浏览 117提问于2018-12-11得票数 1
回答已采纳
1回答
我是hadoop和大数据技术的新手。我喜欢将拼花文件转换为avro文件并读取数据。我在几个论坛上搜索，它建议使用AvroParquetReader。我可以使用shell读取这个文件，并可能将其转换为一些JSON，然后将该JSON转换为avro。但我正在寻找一个更简单的解决方案。
浏览 0提问于2016-12-23得票数 3
1回答
我试图在一些使用Hive external table生成的avro文件的基础上创建一个spark-scala。我使用的是CDH 5.16，它有hive 1.1，spark 1.6。
同时，当我使用avro作为spark-scala读取这些dataframe文件并打印它们时，我得到了正确的结果。下面是我
浏览 1提问于2019-07-17得票数 2
回答已采纳
我们使用Kafka从Oracle数据源中摄取数据，并以AVRO格式写入HDFS。在Kafka模式注册表中，其中一个数据源的模式如下所示： "type": "record", "namespace": "io.confluent.connect.avro当我尝试这些AVRO文件<
浏览 4提问于2019-10-23得票数 0
我正在尝试处理我的dataframe中的一个列，并从每个条目对应的avro文件中检索一个度量。基本上，我想做以下几点：
读取路径列的每一行，这是作为数据读取到avro文件中的avro文件的路径&获取精度度量，它以Struct的形式创建一个名为的新列，
浏览 4提问于2022-07-01得票数 0
当我用spark 2.2.0提交它时，它工作得很好，但是当我用版本2.4.0提交它时，它却没有启动。只有SPARK_HOME才能带来不同的结果。顺便说一句: jar是以dependency 2.1作为依赖关系构建的。有什么想法吗？
编辑：，我认为我的问题是，而不是，它与在uberjar中查找东西的火花有关。更确切地说，我可能对在avro中内置的新
浏览 2提问于2019-01-28得票数 1
1回答
我想在一些包含avro文件的生成的S3路径上运行一个火花作业(Sparkv1.5.1)。我给他们装了：然而，其中一些路径将不存在。我怎么能让火花忽略那些空旷的道路？以前我使用过，但是我不知道如何在新的dataframe中使用它。
注意:理想情况下，我正在寻找一种类似于链接答案的方法，这种方法只是使输入路径成为可选的。我并不特
浏览 2提问于2015-11-10得票数 14
回答已采纳
我有一个示例avro文件，并运行一个基本的spark应用程序来读取它： .builder \ .getOrCreate()
.format("org.apache.spark.sql.avro.AvroFileFormat&
浏览 1提问于2021-11-03得票数 1
我一直在尝试阅读Kafka的avro串行化消息，这些消息来自于Scala2.11的火花结构化流(2.4.4)。为此，我使用了星星之火-avro(下面的依赖性)。我准备了一个简单的例子来说明这个问题，这里的代码是可维护的：{ &q
浏览 0提问于2020-02-29得票数 2
回答已采纳
2回答
这实际上与我的相同，但使用Avro而不是JSON作为数据格式。我正在使用一个Spark dataframe，它可以从几个不同的模式版本中加载数据：{"namespace": "com.example.avro", .format("com.databricks.spark.avro
浏览 1提问于2015-11-25得票数 7
我得到了几个Avro文件，它们是从java类A的对象生成的。使用spark-shell (Spark 1.4.0)，我可以使用spark-avro (2.0.1版)将这些文件读取到数据帧中。val df = sqlContext.read.avro("file.avro")
只要spark shell不知道类A，就可以正常工作
浏览 1提问于2015-09-10得票数 1
我使用下面的代码在spark scala中读取avro文件。val buf = scala.collection.mutable.ListBuffer.empty[GenericRecord] }
我想将此输出保存在文本文件中。
浏览 2提问于2017-09-21得票数 1
我正在尝试使用SBT读取XML文件，但是我在编译它时遇到了问题。" % "2.0.0"libraryDependencies+= "org.scala-lang.modules" %% "scala-xml&qu
浏览 6提问于2017-09-22得票数 0
回答已采纳
2回答
在aws上执行我的Spark作业时，在尝试从s3桶读取avro文件时出现了这个错误:它发生在版本中：
val files =("com.databricks.spark.avro").load(files: _*)java.lang.IllegalArg
浏览 3提问于2017-10-16得票数 0
我目前正试图在我们的HDInsight集群上运行一个Scala作业，它的外部库星星之火--avro没有成功。有人能帮我解决这个问题吗？目标是找到必要的步骤，以便能够读取驻留在HDInsight集群上Azure blob存储区上的avro文件。当前规范：
spark-ass
浏览 1提问于2017-04-04得票数 0
回答已采纳
2回答
我有一个简单的代码块来编写，然后将数据读取为Avro格式。由于Avro lib已经构建在Spark 2.4.x中，
Avro文件写入成功，在HDFS中生成文件。但是，当我读取文件时，会引发AbstractMethodError异常。有人能和我分享点光吗？我在我的Zeppelin节点簿Spark
浏览 2提问于2019-06-10得票数 1
回答已采纳
我正在尝试从avro读取数据，按字段重新划分数据并将其保存为avro格式。下面是我的示例代码。在调试过程中，我不能在我的数据帧上显示(10)。它会失败，并显示以下错误。有没有人能帮我弄明白我在代码行中做错了什么？代码：
val df = spark.read
浏览 40提问于2019-11-27得票数 0
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
