1回答
我有以下数据框，我想分解值列，以便每个值都在单独的列中： id | values1 | '[[532,969020406,89],[216,969100125,23169,39356140000,72],[399,14407358500,188],[377,13761937166.6667,24]]'
2 | '[[532,969020406,89]]' 请注意，values列下的列表可以有不同的长度我尝试指定模式并使用from_json方法创建数组，然后分解
浏览 19提问于2020-09-30得票数 1
回答已采纳
.*") 我注意到我的扁平化的df比嵌套的df的行数少。在嵌套的feed_part_totals列中没有值的行似乎被完全删除了。 我如何防止这种情况发生？
浏览 33提问于2021-06-23得票数 0
2回答
我正在查看pyspark中的以下DataFrame模式(为保护隐私而更改了名称)。some_param_8: string (nullable = true)我很难在双重嵌套数组上使用
浏览 2提问于2020-05-19得票数 1
我正在尝试读取嵌套的JSON文件。我无法分解嵌套列并正确读取JSON文件。import * from pyspark.sql.functions import * from pyspark.sql import functions as F from pyspark.sql.functionsdf.withColumn("Department", explode(col("Department")))
File "C:\Work
浏览 174提问于2021-07-09得票数 0
所以我有一个关于pyspark的问题。+---+------------++---+------------++---+------------+ 我想把它分解成多行，并保存关于列表中每个元素在单独列中的位置的信息。，我想把它分解成多行，并保存列表中每个元素在单独列中的位置信息。---------+------------++---+------------+-
浏览 21提问于2021-09-13得票数 1
回答已采纳
在PySpark中有没有一种方法可以同时分解所有列中的数组/列表，并将分解后的数据分别合并/压缩到行中？
根据其他因素，列数可以是动态的。
浏览 17提问于2018-02-27得票数 1
回答已采纳
在通过Spark的MongoDB连接器读取数据帧时，我遇到了获取特定列的值的问题。 DataFrame中的行： Row( _id=Row(oid="1"), attrs=Row(version=1), Row( Row( text=
浏览 33提问于2021-08-04得票数 0
回答已采纳
1回答
我试着这么做 from pyspark.sql.types import ArrayType, IntegerType
df.agg
浏览 11提问于2019-06-20得票数 0
回答已采纳
我正在尝试从一个列表创建一个简单的DataFrame，并且想要理解其中的逻辑。我在文档中的第一次尝试是sc: pyspark.SparkContext = pyspark.SparkContext(master='local[*]', appName='TestApp')df = spark.createDataFrame(
浏览 36提问于2021-03-06得票数 0
回答已采纳
我有一个带有模式的Pyspark DataFrame，如下所示 root |-- address: string (nullable
浏览 22提问于2019-09-13得票数 0
回答已采纳
1回答
我正在尝试创建一些样本数据框来对一些函数进行测试，我经常获得带有嵌套对象(数组或更多的JSON对象)的JSON对象，我需要测试不同类型的对象，即Struct和Array，并根据它们的类型将它们传递给正确的函数以创建表格数据帧, 2, 3], [4, 5, 6]] |我的假设是，我需要创建一个模式，如下所示：
from pyspark.sql.types
浏览 15提问于2021-02-23得票数 0
回答已采纳
我有包含嵌套json列表的数据，例如： {"id":"aaa", "list":[{"eventId":222},{"details":[{"sub1":333},{"sub2":444}]},{"name":555}]} 目标是提取“外部”列表，比如 id dataaaa {"detail
浏览 53提问于2021-03-18得票数 0
我有一个包含一行和两个日期字段的dataframe，分别为createddate和enddate 如何根据这两个日期字段获得包含2行的新数据帧 我已经有了一个数据帧，它看起来像 +--------------------+----------------+--------------------+-------------------+-------------------++-----------------
浏览 7提问于2019-10-18得票数 0
from pyspark.ml.feature import HashingTF, IDF, Tokenizer, CountVectorizer, StopWordsRemover
from pyspark.ml
浏览 3提问于2018-10-10得票数 3
回答已采纳
我有一个数据帧 import os, sysimport pyodbc from pyspark.sql.functions import explode, col, from_json, litfrom pyspark.sql import Sp
浏览 28提问于2020-10-06得票数 0
回答已采纳
2回答
我尝试为其中几个定义了Struct模式，如下所示- from pyspark.sql.types import StructType,StructField, StringType
from pyspark.sql.functions
浏览 23提问于2021-10-02得票数 3
回答已采纳
我对pyspark和json解析还是个新手，我被困在了某些特定的场景中。让我先解释一下我要做什么，我有一个json文件，其中有一个数据元素，这个数据元素是一个包含另外两个json对象的数组。(这是可能的吗)试图分解它，但数据是一次性分解的，而不是一个一个地分解from pyspark.sql.functionsimport ex
浏览 142提问于2019-06-05得票数 0
回答已采纳
2回答
在PySpark中分解
、、、
我想将包含单词列表的DataFrame转换为DataFrame，每个单词都在自己的行中。DF = sqlContext.createDataFrame([('cat \n\n elephant
浏览 2提问于2016-07-06得票数 30
回答已采纳
如何解析嵌套列表中的JSON字符串以激发pyspark中的数据帧？|+---------------------------------------+import pysparkimport pyspark.sql.functions as F
spark = (pyspark.sql.SparkSession.builder.appName("Downloader_stand
浏览 1提问于2021-02-08得票数 2
回答已采纳
3回答
.select(regexp_replace('elements','\\w*\\d\\w**',""))这只在字符串类型的列中有效，并且使用explode方法我可以将数组分解为字符串
浏览 10提问于2018-08-06得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
