我正在将json文件导入到pyspark dataframe中。我已经用以下代码导入了json df = sqlContext.read.json("json_file.json").select("item", "attributes") 我想将属性从一列拆分为多列以下是json格式示例： {"item":"item-1&q
浏览 12提问于2020-01-27得票数 0
1回答
mr005 {'scissor': 151, 'paper': 143, 'rock': 225}代码：
from pyspark.sql.typesproduction_unit_id", explode("items_produced").alias("item_p", "item_p_count"
浏览 1提问于2019-01-21得票数 0
1回答
如何读取火花流的分区列
、、、
我有一个火花流工作，在这里我流数据，并将其划分为一个或多个列，并存储在gcs桶中。下面是示例代码，我将其按团队划分并存储在gcs桶中。from pyspark import SparkContext
spark = SparkSession.builder.getOrCreateparquet').outputMode('append').option('
浏览 5提问于2022-11-29得票数 0
回答已采纳
我有一个json列，它可以包含任意数目的键:值对。我想为这些键:值对创建新的顶级列。bB C D ...几乎没有类似于将coulmns拆分为多个列的问题，但在这种情况下都不起作用。有谁能帮帮忙。提前感谢！
浏览 0提问于2017-03-21得票数 2
type Encoding column_with_json_valuesselect column_with_json_values from table_name column_with_json_values {"messaging": true, "newsletters我想把这一列分成多列，每列只
浏览 185提问于2021-08-13得票数 0
3回答
我在spark中创建了一个dataframe，当找到最大日期时，我想将它保存到变量中。只是想弄清楚如何获得结果，它是一个字符串，并将其保存到一个变量中。
浏览 4提问于2018-04-21得票数 5
回答已采纳
1回答
我正在使用一个从电子邮件解析器获取数据的谷歌工作表。每次收到电子邮件时，都会创建一行，并填写以下列：我想把它输出为：....
....=FILTER
浏览 0提问于2020-07-02得票数 -1
1回答
我在从databricks中的Cosmos DB读取项目时遇到了一些问题，它似乎将JSON读取为字符串值，并将数据从JSON中读取到列中。我有一个名为ProductRanges的列，其中一行包含以下值： [ { "min": 0,
"max": 99,DB中，JSON文档是有效的，当导入数据时，datafram
浏览 29提问于2019-05-13得票数 4
回答已采纳
当我在'Info‘列上使用扁平化转换时，它提供了相同的输出。当我尝试解析json时，它根本无法转换数据。谢谢
浏览 3提问于2021-09-08得票数 0
回答已采纳
--我不知道如何按索引添加值--帮助我完成以下工作:根据键的值的索引添加值Country,ValuesCanada,59;98;24;83;3
浏览 0提问于2019-12-09得票数 2
回答已采纳
1回答
如何在一个字段中保存双重数据？
、、、、
我有两个复选框和一个单选按钮。如果选中第二个复选框，则不要显示单选按钮。以下是代码：$(document).ready(function() { if ($(this).is(":checked")) { } else {
$("#radio-button-option").removeClas
浏览 2提问于2020-04-25得票数 1
回答已采纳
我有下面的表格1,2,3 Ab,Xy,Pq member1在sql server 2008中，我想要一个如下所示的临时表member13 Pq member19 Fg member1
编辑:请检查我的表是否有两个逗号分隔值的列，对于这些值，我需要在最后一个表中显示结果。
浏览 0提问于2015-11-25得票数 0
3回答
我需要将dataframe列拆分为多个列，以确保每个单元格中只包含两个值。57797074 Junw | | 23000000|
如果代码包含8位数字，那么在每一列中将每两位数字分开
浏览 2提问于2019-10-05得票数 0
回答已采纳
1回答
按列加权平均
、、
结果应为A区为(0.66*3+1*1)/4，B区为(0.33*3+1*1)/4
当然，可以通过将数据转化为python/大熊猫，然后进行一些计算，但是在什么情况下我们应该使用Pyspark
浏览 2提问于2018-09-09得票数 3
在目录视图中查看时，如何确保给我的用户的相关信息和数据从文件夹/文件的N深度上升到数据包着陆视图？
浏览 6提问于2022-09-16得票数 5
回答已采纳
我在PySpark中使用从HBase提取的数据创建了两个RDDs。我希望收集具有相同行键的项，存储这些项，然后搜索与每个项关联的值。理想情况下，我应该将结果存储在一个pyspark.sql对象中，因为我希望对其内容应用Levenshtein距离。详细信息：
在HBase中，我有位置数据，其中行键是给定区域的地散列，在该区域的列中有多个地点，位置上有更多的细节(json和描述以及其他文本数据)。我有两
浏览 1提问于2017-07-21得票数 3
回答已采纳
1回答
我试图在pySpark中用一行代码进行多个操作，但不确定这对我的情况是否可行。 stddev('DOWNSTREAM_SIZE').alias("Stddev") .show(20, False)
我的意图是在使用timePeriod后添加count()，以获得与每个值匹配的记录计数，打印\显示为输出。是否有任何
浏览 3提问于2017-01-27得票数 61
回答已采纳
我有一个很大的数据帧，想要创建的列依赖于other中的名称和值。我正在寻找一个解决方案，也许是在熊猫。在运行之前，我不知道未来列的大小。这是一个简单的模式。
浏览 8提问于2020-05-23得票数 2
回答已采纳
4回答
我想做这样的事：基本上，我想用NULL替换一些值。但是它不接受这个函数中的任何一个。我该怎么做？
浏览 5提问于2016-04-27得票数 34
回答已采纳
.|我的info列有多个用';‘分隔的值，它们的格式是' column我希望我的df info列根据各自的值分成多个列，如下所示
Pre_Col| Info | RS | RSPOS |dbSNPBuildID| SSR |..|RS=115173026;RSPO...| 11517
浏览 0提问于2017-08-16得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
