5回答
我正在尝试使用Spark v2.0.0读取Json文件。在简单数据的情况下，代码工作得非常好。在数据有点复杂的情况下，当我打印df.show()时，数据没有以正确的方式显示。下面是我的代码：
SparkSession session = SparkSession.builder().master("local").appName("jsonreader").getOrCreat
浏览 2提问于2016-10-24得票数 5
我正在尝试使用存储在s3上的json文件中的多行单个json对象中的一些参数。但是，因为我在spark中读取和解析json遇到了几个问题(老实说，它很痛苦……)，所以我尝试使用jackson将一个硬编码的多行json转换为map：
以下是我的json硬编码为
浏览 5提问于2018-02-02得票数 0
1回答
我有一个像这样的json文件： "employeeDetails":{ "num":"415" "work":[
val employees = spark.read.json("sample.json</e
浏览 2提问于2017-06-29得票数 1
回答已采纳
我是很新的火花流。我有一个火花独立2.2运行与一名工人。我正在使用一个套接字源，并试图将传入的流读取到一个名为MicroserviceMessage的对象中。val message = spark.readStream .option("host", host)
.option("port", port)我要粘贴到我的netcat终端上的
浏览 4提问于2017-12-08得票数 3
回答已采纳
有没有可能将JSON字符串直接从Spark索引到Elasticsearch？我不想有任何中间的Scala case类，或者POJOS。 val s = xml
import org.json.XML
XML.toJSONObject(x).toStr
浏览 0提问于2017-08-17得票数 1
我目前有一个由两列组成的csv："abc","123""def","123"{"abc":["123","234"],"def":["123"]}
我创建了一个
浏览 5提问于2022-09-13得票数 1
我正在尝试从MongoDB读取一个庞大的复杂文档到spark数据框架中。当我将这个数据库转换成json时，它就能工作了。但是，如果我直接从com.mongodb.spark.exceptions.MongoTypeConversionException:中读取，则会得到以下错误:由: MongoDB引起的不能将字符串转换为DoubleType (value: BsonString{value=&#x
浏览 1提问于2018-04-03得票数 1
2回答
gzip压缩对json文件进行分区的，json文件按日期列进行分区。所有工作--数据以json格式读取，用orc编写。我将transformationContext参数添加到g
浏览 1提问于2018-01-18得票数 2
我正在将一个JSON文件读入Scala中的spark数据框中。我有一个JSON字段，比如Spark会自动推断此字段的数据类型为Arraylong。我尝试过concat_ws，但它似乎只适用于数组字符串。当我尝试将其转换为arraystring时，输出
浏览 1提问于2017-12-11得票数 2
回答已采纳
1回答
我正在尝试从读取一个JSON响应。这要求我传递一个请求体，其中我必须提供userid和password作为请求参数。val body = Json.obj(Constants.KEY_USERID -> userid
浏览 2提问于2019-12-02得票数 1
回答已采纳
几天后，数据带来了大量的功能。为了获得简短的数据摘要，人们将数据加载到数据框中，并使用head()方法显示数据。使用Jupyter Notebook( Toree for scala)进行实验是很常见的。Spark (scala)很适合处理大量数据，但是它的
浏览 3提问于2018-06-13得票数 2
我正在用Scala编写一个Spark应用程序，它使用Spark结构化流，接收一些来自Kafka的JSON格式的数据。此应用程序可以同时接收以这种方式格式化的单个或多个JSON对象：
[{"key1":"value1","key2":"value2"},{"key1":"value1","k
浏览 0提问于2018-12-16得票数 1
回答已采纳
我正在阅读Kafka的一条流，并将Kafka (即JSON )中的值转换为结构。Exception in thread "main" org.apache.spark.sql.catalyst.parser.ParseException:
extraneous inputARRAY ( STRUCT ( `city`:
浏览 6提问于2017-08-30得票数 10
回答已采纳
我正在学习Scala中的spark。我有一个如下的JSON文件： { "age": "13", "sex": "m"},{ &
浏览 2提问于2016-09-18得票数 3
回答已采纳
2回答
我正在使用Spark并编写文件，我使用的是Spark的write.jdbc函数。对于长、十进制或文本这样的拼花列类型，一切都可以正常工作。问题在于像Map这样的复杂类型。我想将Map作为json存储在我的PostgreSQL中。因为我知道PostgreSQL可以自动将文本数据类型转换为json (使用强制转换操作)，所以我<em
浏览 1提问于2018-04-20得票数 2
回答已采纳
3回答
我正在尝试使用pyspark读取器，其标准如下：
------1,2from pyspark.sql import SparkSession
DDL =
浏览 0提问于2019-03-07得票数 10
我正在尝试将JSON字符串jsonStr转换为Scala中的。为此目的使用InteliJ。spark.sparkContextvar df = spark.read.json(Seq(jsonStr).toDS)在使用错误：(243，29)重载方法值json：( org.apache.<em
浏览 3提问于2020-05-22得票数 0
回答已采纳
,"Jane").collect当我尝试使用where语句将查询作为一个完整的字符串输入时，我得到一个错误。我以json的形式接收查询：然后将其转换为字符串。$plus$plus$eq(Growable.scala:59)
我怀疑当我将jso
浏览 4提问于2016-08-31得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
