如何将pandas表达式转换为pyspark，这似乎不起作用，然后将dataframe转换为数组？+---- +------+-----++---- +------+-----+|2 | 5.0 | null--+-----+df = df.iloc[-N:, :] #expression in pandas
df = df.collect()[-N:][:]
浏览 11提问于2021-02-14得票数 0
回答已采纳
4回答
我试图用3代替X，用-3代替O，用0代替。'O': -3, '-': 0}
但是，每次程序试图将O替换为-3时，我的数组如下所示 ['-' 'X' 'O'
浏览 0提问于2020-06-19得票数 2
回答已采纳
在PySpark (v1.6.2)中，当使用指定的模式将RDD转换为DataFrame时，值类型与模式中声明的值类型不匹配的字段将转换为null。from pyspark import SparkContextfrom pyspark.sql.types import StructType": 1}])
df = sqlContext.createDat
浏览 27提问于2016-07-27得票数 0
回答已采纳
我对pyspark是个新手。我正在尝试了解如何使用多级嵌套结构和数组来访问拼图文件。我需要用null替换数据框(带有嵌套模式)中的一些值，我见过这个solution，它在结构中工作得很好，但它不确定它如何与数组一起工作。string| | | |-- fullName: string 我想要做的是将unitOfMeasure.raw.id替换为nul
浏览 16提问于2019-12-09得票数 3
回答已采纳
3回答
我有一个数组，因为，我需要删除空值，并将其替换为零。
我已经取得了这么大的成就。当我检查时，数组长度是8，但它只显示了2个元素。用零代替它的最佳方法是什么。== null ? o : 0)
浏览 0提问于2018-07-10得票数 7
回答已采纳
from pyspark.sql.functions import *我试图将数据帧转换为df.column.cast(ShortType())，但当我尝试插入数据99999时，它正在转换为null而不会抛出任何错误，所以您能否建议在转换时抛出错误的任何方法。
浏览 0提问于2021-05-17得票数 0
我试图使用Glue和pySpark在AWS上执行ETL工作，但不幸的是，我对此非常陌生。
在大多数情况下，我没有任何问题，使用胶水动态数据，以执行应用程序和一些其他的转换，我必须执行。但是，我面临一个特定列的问题，必须将其从字符串转换为整数数组。在这个列value中，我们将数据类型设置为string，它实际上是一个转换为string并由空格分隔的整数数组，例如，value列中的数据条目看起来类似于'111 222 333 444 555 666我必须将该列转换为</em
浏览 5提问于2020-04-20得票数 2
回答已采纳
我将一个df从pyspark导出到BigQuery。df包含包含数组元素的列，如何将数组转换为连接字符串？每当我尝试查询导出的BigQuery表的数组列时，都会得到以下错误。Error: Cannot access field element on a value with type ARRAY<STRUCT<element STRING>> |
浏览 48提问于2020-06-03得票数 2
我想问一下，是否可以使用pyspark在数据框中添加"“(双引号)而不是null123 abcnullemployee_id employee_name salary我尝试了填充({‘salary’：''})。
浏览 70提问于2021-02-27得票数 0
1回答
我正在尝试编写一个sql查询，用于在pyspark中从pyspark df中擦除信息。4_lastname 4_email 45678 OPTED_IN 2020-05-14 17:49:27 eater 1_uuid OPTED_OUT我正在尝试编写一个SQL查询在pyspark</em
浏览 21提问于2020-05-19得票数 0
由于我是Pyspark的初学者，有人可以帮助我将Integer列转换为字符串吗？ 这是我在Aws Athena中的代码，我需要将它转换为pyspark dataframe。[HHs Reach] is null then '0' else cast(A.
浏览 37提问于2020-01-14得票数 0
是否有可能用固定但不同的概率将A中的零替换为1，而A中的1替换为0？A = [0 1 1 0 1 0 1 0]和我想用概率1/4代替0，用概率1/3代替1乘以0。我的数组是Sent，它有0和1的不均匀分布，但是有一定的概率(3/7 0和4/7 1's)，这是在Sent变量中捕获的，但是现在我需要将它改为Received，它有一个不同的概率。
浏览 3提问于2013-09-30得票数 2
回答已采纳
如果我有一个包含arrays的Spark，我可以通过DataFrame在这些数组上使用Python List方法吗？如何将Spark DataFrame array<double>转换为Python列表？from pyspark.sql.functio
浏览 1提问于2016-10-28得票数 4
回答已采纳
我试图在格式为reduceByKey的(([a,b,c], 1), ([a,b,c], 1), ([a,d,b,e], 1), ...数据上调用pyspark的(([a,b,c], 1), ([a,b,通过简单地应用.reduceByKey(add)，pyspark似乎不会接受数组作为普通键的键，即值约简。我已经尝试过先通过.map((x,y): (str(x),y))将数组转换为字符串，但这不起作用，因为字符串的后处理太慢了。是否有一种方法可以使pyspark使用<e
浏览 3提问于2015-07-14得票数 8
回答已采纳
我正在尝试将一个大约有9000万行的pyspark dataframe列转换成一个numpy数组。 我需要数组作为scipy.optimize.minimize函数的输入。我尝试过转换为Pandas和使用collect()，但这些方法非常耗时。 我是PySpark的新手，如果有更快更好的方法，请帮助我。 谢谢 这就是我的数据帧的样子。
浏览 138提问于2019-09-30得票数 3
回答已采纳
2回答
我已经有了一个规范化的数据集： ('red apple', 'hot pepper', 0.4), ('ripe banana','hot pepper', 0.6),
('
浏览 3提问于2021-11-19得票数 0
回答已采纳
|col06||name1|2017-12-01|100.0|255.5|333.3| null|125.2|132.7|我想在col01-col06 -中添加一个计数为非空值的列。|
+-----+----------+-----+-----+-----+-----+-----+-----+-----
浏览 0提问于2019-04-05得票数 4
回答已采纳
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
