val spark = SparkSession.builder() .appName("app") .config("spark.mongodb.input.collection", "collectionName")
.config("spark</
浏览 83提问于2021-07-27得票数 0
我正在尝试从MongoDB读取一个庞大的复杂文档到spark数据框架中。当我将这个数据库转换成json时，它就能工作了。但是，如果我直接从com.mongodb.spark.exceptions.MongoTypeConversionException:中读取，则会得到以下错误:由: MongoDB引起的不能将字符串转换为mongo$.main(mongo.scala:270) - df.show()
将sbt用于依赖型芒果火花连接器: 2.2.1 Scala<
浏览 1提问于2018-04-03得票数 1
import org.apache.spark.SparkContextimport org.apache.spark.sql.registerTempTable("Employee")
但在InteliJ中执行时，我发现类型不匹配错误无法确定为什么会出现此错误，我只是将字符串转换
浏览 0提问于2016-06-19得票数 2
1回答
我想使用RDD将DataFrame转换为StructType。但是项目"Broken,Line,"会导致错误。有一个优雅的方法来处理这样的记录吗？谢谢。import org.apache.spark.sql.types.{StructType, StructField, StringType}
val mySchema = StructType(Arrayjava.lang.RuntimeExcepti
浏览 0提问于2017-12-05得票数 2
回答已采纳
到目前为止，我已经成功地从mongo读取并使用由case类定义的模式将结果mongoRDD转换为DataFrame，但是有一种情况是，mongo集合有一个包含多个数据类型的字段(字符串数组和嵌套对象数组到目前为止，我只是将字段解析为一个字符串，然后使用spark的from_json()来解析新模式中的嵌套对象，但是我发现当一个字段不符合模式时，它返回模式中所有字段的null -而不仅仅是不符合的字段。是否有一种方法来解析这一点，以便只有与模式不匹配的字段才会返回null？barString|
+-----
浏览 6提问于2020-03-04得票数 1
回答已采纳
但是，我无法理解如何将字符串转换为StructType。如何将上述代码中的struct2转换为(ParseDriver.scala:239)
at org.apache.spark<
浏览 0提问于2019-07-17得票数 0
有没有一种简单的方法可以将给定的Row对象转换为json？ 找到了关于将整个数据帧转换为json输出的内容：Spark Row to JSON 但我只想把one Row转换成json。这是模式： StructType( StructField(range,
StructType
浏览 150提问于2017-01-12得票数 10
回答已采纳
我的问题是，当我将代码转换为流模式并将数据帧放入foreach循环时，数据帧会显示空表！我不填！我也不能将它放入assembler.transform()中。错误是：import org.a
浏览 3提问于2017-05-25得票数 0
回答已采纳
我正在解析来自给定RDD[String]的JSON字符串，并尝试将其转换为具有给定case class的Dataset。但是，当JSON字符串不包含case class的所有必需字段时，我会得到一个异常，即找不到缺少的列。我尝试在case class中定义默认值，但这并没有解决问题。我正在使用Spark2.3.2和Scala2.11.12。(TreeNode.scala:187)
at org.apache.spark
浏览 2提问于2020-06-10得票数 0
回答已采纳
我使用Spark将数据从一个集合移动到其他集群中的另一个集合。数据的模式是不一致的(我的意思是在一个集合中有很少的模式，具有不同的数据类型，变化很小)。当我尝试从spark读取数据时，采样无法获得数据的所有模式，并抛出下面的错误。(我有一个复杂的模式，我不能明确地提到它，而不是通过采样来获取spark。)com.mongodb.spark.exceptions.MongoTypeConversionException: Cannot cast ARRAY into a NullType (value:
浏览 0提问于2018-06-21得票数 5
> job)),(Map(number -> 346 , type -> home))]我想要的是使用另一个udf访问每个number字段，然后应用valid_num_udf()
我尝试过这样的方法，但是我不知道在ScalainputSeq => inp
浏览 0提问于2018-04-03得票数 1
回答已采纳
5回答
重命名火花数据中的嵌套字段
、、、、
在星火中有一个数据df： | |-- element: struct (containsNull = true) | | |-- b: long (nullable = true)如何将字段array_field.a重命名为array_field.a_renamed.withColumnRenamed()不适用于嵌
浏览 7提问于2017-03-24得票数 24
回答已采纳
基本上，应用程序读取序列文件，并将键/值转换为具有某些列的行对象，执行一些排序，最后转换回rdd以写入序列文件。 at org.apache.spark</
浏览 1提问于2018-07-27得票数 0
我想使用spark.readStream.csv读取这些文件，执行一些依赖于行类型的转换，并将结果写到parquet中。有没有办法根据每行第一列的值使用不同的模式？
浏览 0提问于2018-05-29得票数 1
text我可以创建一个基本的数据框架，用火花和火花卡桑德拉连接器使用： .format("org.apache.spark.sql.cassandra我最终希望能够根据json字符串中的属性进行筛选，并返回blob数据。类似于jsonData.foo = "bar“并返回blobData。这是目前的可能吗？
浏览 7提问于2015-12-03得票数 69
回答已采纳
10回答
如何枢轴星火DataFrame？
、、、、
在烫伤中有内置的功能，我相信Python中的Pandas，但是我无法为新的Spark找到任何东西。
我想我可以写一些自定义函数来实现这一点，但我甚至不知道如何开始，特别是因为我是一个星火新手。如果有人知道如何使用内置的功能或关于如何用Scala编写东西的建议，这是非常值得赞赏的。
浏览 14提问于2015-05-14得票数 86
回答已采纳
假设我正在做这样的事情：
val df = sqlContext.load("com.databricks.spark.csv", Map("path" -> "cars.csv", "header"df.withColumn("year2", 'year.cast("Int")).select('year2 as 'year, 'make, 'model, 'comment, 'b
浏览 5提问于2015-04-01得票数 171
98回答
给定一个字符串作为输入，输出数量等于字符串长度的空格字符(0x0A和0x20)。
例如，给定字符串Hello, World!，您的代码将需要精确地输出13个空白字符，而不需要输出其他任何字符。
浏览 0提问于2017-05-25得票数 45
102回答
挑战:给定1's和0's的随机输入字符串，例如：编写输出逐位逆的最短代码，如下所示：
01010001010101101011101110101001010110101
浏览 0提问于2014-06-07得票数 84
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
