我正在尝试分解格式为array>的列。在DataBricks中使用PySpark。数据如下所示： root |-- employment_status: array (nullable = true)| |-- element: map (containsNull = true) | | |-- value: string
浏览 71提问于2021-10-23得票数 0
回答已采纳
我试图从包含列表中单词的数据行中提取:下面是粘贴我的代码：from pyspark.sql.functionsimport col, udffrom pyspark.sql.types import IntegerType(`sentence` IN ('Java', 'Spark')
浏览 3提问于2021-06-16得票数 2
回答已采纳
我希望将这些地图放在另一个地图中，就像这样： columnSchema -> {zipCode->address
} 所以它应该是Map[String，MapString，String] 我一开始是这样做的： columns.split(",").map(_.split(":")).map(x=>Map(x(1)->x(0))) 我得到的是： Array[scal
浏览 92提问于2021-04-30得票数 0
我使用以下模式从外部源加载Dataframe： |-- B: timestamp (nullable = true) |-- METADATA: array (nullable = true) | | |-- M_4: stri
浏览 2提问于2019-11-02得票数 1
我有一个名为matchtimes的列，我想将它转换为map<string，timestamp>## Convert afrom pyspark.sql.types import *import json
ifd: else:
ret
浏览 7提问于2022-07-14得票数 0
我正在尝试将PySpark中的一个复杂模式扁平化。数据太大，无法用于爆炸函数(我读到爆炸函数是一个非常昂贵的函数)。下面是我的模式- | |-- element: array (containsNull = true) | | | |-- B: string (nullable = true)
浏览 0提问于2020-07-24得票数 0
回答已采纳
我有一张蜂窝桌，像这样address stringtimezone string
one_key_value array<struct<key:string,value:array<string>>
浏览 0提问于2018-10-18得票数 2
我有一个pyspark dataframe，其中一些列包含字符串数组(其中一列包含嵌套数组)。因此，我无法将数据帧写入csv。| Null +-------+--------------------+---------+
我对pyspark
浏览 2提问于2017-09-11得票数 5
回答已采纳
1回答
我想爆炸一个嵌套的json到CSV文件。希望将嵌套的json解析为行和列。from pyspark.sql import SparkSessionfrom pyspark.sql.types import*from pyspark.sql import Row
df=spark.read.option("multiline|
浏览 7提问于2021-11-18得票数 0
回答已采纳
val rawFacets: Array[Map[String,Array[Map[String,Long]]]] = response.getFacetFields.asScala.map(facetGroup=> { val values = facetGroup.getValues.asScala.map(facet=> {
<e
浏览 2提问于2018-05-10得票数 0
回答已采纳
我有一张桌子address stringtimezone string
one_key_value array<struct<key:string,value:array<string>>
浏览 4提问于2018-10-25得票数 7
1回答
<array<float>>"))然后我将应用一个udf来创建另一个DF。但是我不能转换数据或者应用爆炸，而且我收到了错误
pyspark.sql.utils.AnalysisException: u"cannot resolve 'cast(merged as array<= df.withColumn("merged&
浏览 6提问于2016-10-18得票数 5
回答已采纳
2回答
java.lang.Thread.run(Thread.java:748)
File "/usr/hdp/current/spark2-client/python/pysparkanswer, self.gateway_client, self.target_id, self.name)
File "/usr/hdp/current/spark2-client/python&#
浏览 1提问于2018-05-15得票数 1
回答已采纳
我正在尝试将Map<String,dynamic>转换为Map<String, Map<String, String>>
Map<String, Map<
浏览 3提问于2021-02-17得票数 0
回答已采纳
给定以下格式的csv，将其作为类型Map[String, Array[String]]加载到Scala中的最佳方式是什么，第一个键是Col2的唯一值，值Array[String]]是Col1的所有共现值[String]] 此外，我还获得了关于case None => mapping ++ (linesplit(2) -> Array(linesplit(1)))行的overloaded methodvalue ++ with alterna
浏览 31提问于2019-09-12得票数 0
我使用Dask读取由PySpark生成的Parquet文件，其中一列是字典列表(即array<map<string,string>>')。
浏览 2提问于2019-07-14得票数 4
回答已采纳
根据来自的讨论，我能够从scala代码中为基本类型执行UDF，但我想从接受MapString字符串的PySpark调用scala。[String, String]) : String = { // use the Map key and value pair} def testUDFFunction2 = udf { x: Map[<
浏览 5提问于2022-08-19得票数 0
回答已采纳
我的数据地图是Map<String, Map<String, String>>。第一个键是一个状态名称，值是映射，其中键作为变量，值作为变量值。> column : table.getColumns()) {
TableColumn<ObservableList<String>, String> col = (TableColumn= FXCollections.observableArray
浏览 2提问于2018-02-20得票数 0
回答已采纳
我在蜂巢表里有一列：数据类型： | |-- element: struct (containsNull= true) | | |-- value: string (nullable = true)sqlContext.sql("select * from <tablename> where id='1234
浏览 9提问于2016-04-26得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
