2回答
我尝试使用以下代码解析JSON文件sqlContext = SQLContext(sc)df.printSchema()| [ 1.34, 0...|
|
浏览 0提问于2017-01-09得票数 5
回答已采纳
1回答
我配置了一个Spark集群，用于读取/写入亚马逊S3。我可以像这样成功地做到这一点：val ds = spark.read.json(s3Path)
到目前为止，如果在这个位置有多个JSON文件，它会将它们全部读入一个Dataset中。我希望以某种方式在我读取的每个JS
浏览 1提问于2017-07-27得票数 0
回答已采纳
我有一个json文件，nodes，如下所示：,{"508172.075,195325.719],"index":3}
,{"toid":"osgb4000000031043208","point":[508513,196023],"
浏览 9提问于2016-08-11得票数 27
回答已采纳
1回答
在执行aws s3 cp s3://naturgy-sabt-dev/QUERY/input.json .时，我正在正确地接收.json文件。设置IAM策略，以便绑定的EMR角色具有读取、写入和列表的权限。
......
19/12/11 15:55:46 INFO BlockManagerMa
浏览 0提问于2019-12-11得票数 0
回答已采纳
我正在寻找一个代码片段，以找到使用scala读取hadoop子目录下多个嵌套JSON文件的最佳实践。
如果我们能够将上面的JSON文件写入hadoop中其他目录中的一个文件中，那就更好了。
浏览 0提问于2016-09-29得票数 0
我有一个json数组文件，如下所示： ["{\"timestamp\":1616549396892,\"id\":\"1\",\"events\":[{\"event_type\":\"ON\"}]}",{"meta":{"headers":{"app":"music"},"customerId":"2"
浏览 34提问于2021-03-25得票数 0
2回答
我正在使用亚马逊的EMR spark 1.5.0。我有多个属性文件需要在我的spark-submit程序中使用。我研究了--properties-file选项。但它允许您从单个文件导入属性。我需要从一个结构如下的目录中读取属性：│ ├── query│ ├── schema│ ├── query
│ ├──
浏览 0提问于2015-10-09得票数 1
1回答
我在S3中有很多以行分隔的json文件，我想读取spark中的所有这些文件，然后读取json中的每一行，并以文件名作为列输出该行的Dict/Row。我该如何用python高效地做这件事呢？每个json大约有200MB。以下是一个文件的示例(可能有200,000行，如下图所示)，将此文件命名为class_scores_0219：
{"name": "Maria
浏览 9提问于2020-05-05得票数 1
回答已采纳
5回答
我正在尝试使用Spark v2.0.0读取Json文件。在简单数据的情况下，代码工作得非常好。在数据有点复杂的情况下，当我打印df.show()时，数据没有以正确的方式显示。SparkSession.builder().master("local").appName("jsonreader").getOrCreate();
Dataset<Row> list = session.read().json("/Users/had
浏览 2提问于2016-10-24得票数 5
3回答
我需要重新组织和组的用户id互动的基础上附加的json图像格式准备。
为了构建这个模式，我准备了一个带数组的结构类型。如何将DataFrame转换为下面的json模式类型。
浏览 0提问于2017-05-09得票数 0
我有许多结构混乱的JSON文件。我想把这些解析成一个PySpark DataFrame。我编写了一个解析函数，并希望将其应用于目录中的每个文件，并将其输入到我的DataFrame中。
浏览 4提问于2022-02-28得票数 0
回答已采纳
在使用spark.read.json时，我对Spark上的延迟加载感到困惑。我有以下代码： df_location_user_profile = []
df_json = spark.read.json对于此代码块，我只从定义的位置读取数据，并且没有执行任何操作。但我在Spark UI上发现了下面的阶
浏览 17提问于2021-10-13得票数 0
回答已采纳
1回答
我的任务是将一行json文件读取到spark中。我想过要么修改输入文件，使其适合spark.read.json(path)，要么读取整个文件，并在内存中修改它，使其适合前一行，如下所示： import spark.implicit._val data = file.split("},").map(json<
浏览 12提问于2021-10-07得票数 0
2回答
我有一个scala程序，它使用"s3n://bucket/filepath/*. json“这样的文件模式来指定文件，使用DataFrameReader将json文件读入DataFrameReader。现在，我需要将".json“和".json.gz”(gzip)文件读入dataframe。由于当前的方法使用通配符，如下所示：
session.read().json
浏览 0提问于2021-01-22得票数 1
2回答
().text("C:\\Users\\phyadavi\\LearningAndDevelopment\\Spark-Demo\\data1\\alert.json");
Dataset<Row> df2 = spark.read().text("C:\\Users\\phyadavi\\LearningAndDevelopment\\Spark-Demo\\data1\\contract.json(JsonDataReader.java:27)
浏览 0提问于2018-03-27得票数 0
回答已采纳
代码：var df = spark.read.format("json").load(path)--same code--
这是我第一次尝试与火花从cmd线。任何关于我缺少什么的建议都是有帮助的。
浏览 1提问于2018-07-31得票数 0
回答已采纳
1回答
用火花读取大Json文件的第一行
、、、、
我对Spark非常陌生，并且教自己我一直在使用小json文件，这些文件工作得很完美。但是，我不知道如何在中读取的单个数据行，而不是整个json文件。我一直在寻找这方面的文件，但它似乎相当稀少。我必须处理一个大型(比我的内存更大) json文件(维基百科转储：)，并且想要逐行处理。我以为Spark就是为了做到这一点而设计的，但却找不出如何做到这一点。SparkRDD
浏览 1提问于2018-01-10得票数 2
我不得不从Azure数据湖中读取一堆JSON文件。我使用Databricks，当我使用Spark 2.4.5的集群时，我能够读取所有的文件，但当我使用Spark 3.0.1时，返回的数据帧是空的。我正在使用以下命令，
dfa = spark.read.json("dbfs:/mnt/abc/bronze/xyz/history/*.json&quo
浏览 32提问于2021-05-14得票数 0
└── f2.parquet ├── a └── b是否有一种方法可以跳过一些文件我可以读取目录中的所有文件吗？
浏览 0提问于2021-08-03得票数 1
回答已采纳
3回答
我需要从我的S3桶里读150遍df2 = spark.read.json('s3://mybucket/f2')df150 = spark.read.json('s3://mybucket/f150')
如何使这一过程自动化？spark<
浏览 13提问于2020-07-14得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
