使用PySpark但不使用色调读取数据时获取空值
使用PySpark读取数据时，可以通过.read方法来加载数据，并且可以使用.option方法设置读取选项。如果要获取空值，则需要使用.option("nullValue", "null")来设置将数据中的特定字符串视为Null值。
以下是一个示例代码，展示了如何使用PySpark读取数据并获取空值：
from pyspark.sql import SparkSession
# 创建SparkSession对象
spark = SparkSession.builder \
.appName("Read Data") \
.getOrCreate()
# 使用PySpark读取数据并获取空值
data = spark.read \
.option("nullValue", "null") \
.format("csv") \
.load("path_to_data.csv")在上述示例中，我们使用.option("nullValue", "null")设置了将字符串"null"视为Null值。你可以根据实际数据中表示空值的字符串进行相应的设置。
请注意，上述示例中的代码仅用于说明如何使用PySpark读取数据并获取空值，具体的代码实现可能会根据数据格式和要求有所不同。
至于推荐的腾讯云相关产品和产品介绍链接地址，因为要求不能提及具体的云计算品牌商，所以无法给出相关链接。但是腾讯云提供了丰富的云计算服务和解决方案，你可以前往腾讯云官方网站，查看他们的云计算产品和相关文档，以获取更多信息和帮助。
相关·内容
我有另一种解决方案，但我更喜欢使用PySpark 2.3来实现它。
我有一个二维PySpark数据框架，如下所示：
Date | ID
---------- | ----
08/31/2018 | 10
09/31/2018 | 10
09/01/2018 | null
09/01/2018 | null
09/01/2018 | 12
我希望通过查找过去最接近的值来替换ID空值，或者如果该值是空的，则向前看(如果它再次为空，则设置一个默认值)。
我想象过用.withColumn添加一个新列，并使用一个UDF函数来查询数据帧本身。
类似于伪代码的内容(并不完美，但它是主要思想)：
浏览 0提问于2019-02-02得票数 0
回答已采纳
1回答
将CSV导入
、、、、
我是个新手，我正在尝试加载如下所示的CSV文件：
我的csv文件：
article_id title short_desc
33 novel findings support original asco-cap guidelines support categorization of her2 by fish status used in bcirg clinical trials
我的代码
浏览 0提问于2018-04-24得票数 0
回答已采纳
在PySpark中是否有与pandas info()方法等效的方法？
我正在尝试获取有关PySpark中数据帧的基本统计信息，例如:列数和行数、空值数、数据帧大小
pandas中的Info()方法提供了所有这些统计信息。
浏览 4提问于2017-06-08得票数 6
2回答
我是否需要做一些特别的事情才能用星火阅读兽人的桌子？
我在txt和orc中有两个表副本。当阅读txt表时，一切都很好。在读取orc表时，我没有发现任何错误，但是spark返回了一个空表。
下面是我在python中的代码：
import pyspark
CONF = (pyspark.SparkConf().setMaster("yarn-client"))
sc = pyspark.SparkContext(conf = CONF)
from pyspark.sql import HiveContext
sq = HiveContext(sc)
df = sq.sql(&#
浏览 3提问于2016-09-13得票数 2
我在pyspark中有一个超过300列的数据框架。在这些列中，有一些列的值为null。
例如：
Column_1 column_2
null null
null null
234 null
125 124
365 187
and so on
当我想对column_1求和时，我得到的结果是一个空值，而不是724。
现在，我想用空格替换数据框所有列中的null。所以当我尝试对这些列求和时，我不会得到空值，但我会得到一个数值。
我们如何在pyspark中实现这一点呢？
浏览 1提问于2017-02-18得票数 56
回答已采纳
3回答
import pyspark
from pyspark.sql import SparkSession
from pyspark.conf import SparkConf
import findspark
from pyspark.sql.functions import countDistinct
spark = SparkSession.builder \
.master("local[*]") \
.appName("usres mobile related information analysis") \
.config("spark.subm
浏览 1提问于2019-02-10得票数 7
回答已采纳
1回答
如何才能只选择某个列中有NaN值的行？
设置
import numpy as np
import pandas as pd
# pyspark
import pyspark
from pyspark.sql import functions as F
from pyspark.sql.types import *
from pyspark import SparkConf, SparkContext, SQLContext
spark = pyspark.sql.SparkSession.builder.appName('app').getOrCreate()
sc
浏览 1提问于2020-03-23得票数 0
回答已采纳
我有一个名为 createdtime 的列，其数据类型为时间戳，我希望找到创建时间为空或空或nan的行数。
我尝试了下面的方法，但我得到了错误，无法通过它。
#Find count for selected columns
from pyspark.sql.functions import col,isnan,when,count
df_Columns=["createdtime"]
df.select([count(when(isnan(c) | col(c).isNull(), c)).alias(c) for c in df_Columns]
).show()
以下
浏览 5提问于2022-06-26得票数 0
假设为我提供了parquets数据的以下分区：
.
└── data/
├── product=soda/
│ ├── <hash>_toto.parquet
│ ├── ...
│ └── <hash>.parquet
└── product=cake/
├── <hash>.parquet
└── ...
我想使用PySpark读取数据，但不包括包含<hash>_toto.parquet的给定parquets列表。
我可以读取整个分区数据，但我不知道如何排除其
浏览 8提问于2022-01-20得票数 1
回答已采纳
我使用的是pyspark和hivecontext.sql，我希望从我的数据中筛选出所有的空值和空值。
因此，我首先使用简单的sql命令过滤空值，但它不起作用。
我的代码：
hiveContext.sql("select column1 from table where column2 is not null")
但是它没有表达式“其中column2不是空”的情况下工作。
错误：
Py4JavaError: An error occurred while calling o577.showString
我认为这是由于我的选择是错误的。
数据示例：
column 1 | colum
浏览 0提问于2017-07-21得票数 1
回答已采纳
8回答
我们正在读取来自MongoDB Collection的数据。Collection列有两个不同的值(例如：(bson.Int64,int) (int,float) )。
我正在尝试使用pyspark获取一个数据类型。
我的问题是有些列有不同的数据类型。
假设quantity和weight是列
quantity weight
--------- --------
12300 656
123566000000 789.6767
1238 56.22
345 23
34
浏览 42提问于2017-07-11得票数 62
回答已采纳
我使用sqoop创建和导入hive表，并使用pyspark获取数据。该表由一个字符串字段、一个整型字段和多个浮点型字段组成。我可以通过hue hive sql查询获得整个数据。但是，当我使用pyspark sql编程时，可以显示非浮点型字段，而浮点型字段总是显示空值。色调配置单元sql结果：
zeppelin pyspark输出：
hive表的详细信息：
浏览 18提问于2017-06-29得票数 0
数据源：- 总行：~ 7M (311MBS)
我试着在朱庇特笔记本上使用火星星体。我能够成功地设置一个Sparksession，测试它，并直接读取上面的评论数据(本地存储的)作为火花数据。但是，即使是最简单的数据操作作业，我也无法成功地完成，例如简单地计算不同的userids，甚至无法显示前10行。这项工作没完没了地进行着。
我已经使用以下代码设置并配置了我的闪烁会话：
import findspark
findspark.init()
from pyspark import SparkContext, SparkConf
from pyspark.sql import SparkSessi
浏览 1提问于2020-05-19得票数 1
回答已采纳
下面的数据作为标签分隔格式的.txt文件存储在blob存储中。我使用pyspark.sql将数据作为pyspark.sql.df加载到databricks中。
这是数据的形状。
df = spark.createDataFrame(
[
(302, 'foo'), # values
(203, 'bar'),
(202, 'foo'),
(202, 'bar'),
(172, 'xxx'),
(172, 'yyy'),
],
['LU&
浏览 8提问于2020-04-11得票数 1
我正在学习一篇关于pyspark的教程，并有以下代码：
*
%%pyspark
people = spark.read.option("header", True).option("inferSchema",True).csv("abfss://user-797427@strprmsandboxpoc001.blob.core.windows.net/pysparkCourse/fakefriends-header.csv")
这会产生以下错误：
AnalysisException:无法推断CSV的架构。必须手动指定。回溯(最近
浏览 3提问于2022-01-25得票数 0
1回答
我正在计算PySpark DataFrame中嵌套数据products的平均值和标准差。
+----------+--------------------------------+
|product_PK| products|
+----------+--------------------------------+
| 686 | [[686,520.70],[645,2]]|
| 685 |[[685,45.556],[678,23],[655,21]]|
| 693 |
浏览 11提问于2017-12-28得票数 0
回答已采纳
1回答
我正在使用emgucv。 我希望做hsl过滤。 颜色范围从0到359。 我正在过滤黄色，所以我在寻找30到60的色调。 我加载一个现有的位图，并将其作为hsv图像加载： var img = new Image<Hsv, int>(@"D:\yellow.jpg"); 当我运行这个命令时，我得到： System.NotSupportedException: 'There is an error converting Emgu.CV.Structure.Bgr to Emgu.CV.Structure.Hsv: Requested value 'Bgr
浏览 14提问于2019-05-23得票数 0
1回答
我是PySpark新手，正在尝试读取HDFS文件(上面创建了hive表)并创建PySpark数据帧。通过PySpark读取配置单元表非常耗时。有没有什么方法可以动态获取hive列名(用作dataframe中的模式)？ 我希望将文件位置、表名和数据库名作为输入传递给aa程序/函数，以便从配置单元元数据(可能是元数据xml)中获取模式/列名称，并作为dataframe返回。 请指教
浏览 15提问于2019-03-06得票数 0
回答已采纳
调用下面的对象时出错是在不丢失空值的情况下分解dataframe中的数组，但在调用列时我得到错误，说对象没有属性‘_ code.This _ object _id’。需要帮助，在其他方式调用列，可以工作。
from pyspark.sql import SparkSession
from pyspark.sql import DataFrame
from pyspark.sql import Row
from pyspark.sql.types import ArrayType
from pyspark.sql.functions import *
from functools import
浏览 2提问于2018-07-05得票数 2
我是PySpark的新手，正面临一个奇怪的问题。在加载CSV数据集时，我尝试将某些列设置为不可为空。我可以用一个非常小的数据集(test.csv)重现我的案例：
col1,col2,col3
11,12,13
21,22,23
31,32,33
41,42,43
51,,53
在第5行，第2列有一个空值，我不想在我的DF中获取该行。我将所有字段都设置为不可空(nullable=false)，但是我得到了一个所有三列都具有nullable=true的模式。即使我将所有三列都设置为不可空，也会发生这种情况！我运行的是Spark的最新版本，2.0.1。
代码如下：
from pyspark.sql
浏览 0提问于2016-10-07得票数 14
回答已采纳
3回答
我正在做一些反向工程的程序工作。我试图从旧数据中提取的其中一种颜色是从下面的调色板中选择的颜色
旧软件重新渲染颜色的方式是通过调色板中的索引(因此0表示白色，1表示黄色，2表示橙色，依此类推)。上面的托盘是某种类型的标准布局吗？
我最大的希望是找到一些内置到.NET中的类，在那里我可以传入相同的索引号并重新获得颜色，但是我对找到那么好的东西并不抱太高的期望。
除了使用油漆和滴管手动绘制整个表格之外，有没有什么方法可以让我更轻松呢？
浏览 0提问于2013-05-10得票数 0
回答已采纳
1回答
我正在使用pyspark 1.5从Hive表中获取数据，并尝试使用窗口函数。
根据的说法，存在一个名为firstValue的分析函数，它将为给定窗口提供第一个非空值。我知道它存在于蜂巢中，但我在pyspark中找不到它。
鉴于pyspark不支持UserDefinedAggregateFunctions (UDAF)，有没有办法实现这一点？
浏览 4提问于2016-02-02得票数 6
回答已采纳
我正在尝试使用PySpark读取分区数据，但不知何故，对于某些分区，它为所有列(分区列除外)提供了空值。 当我检查HUE/Hive中的数据时，一切正常。我一直在谷歌上搜索这个问题，发现了这个： https://community.cloudera.com/t5/Support-Questions/Pyspark-Table-Dataframe-returning-empty-records-from/td-p/35836 这与我的问题非常接近，但是，如果我没有弄错的话，这只指的是自己创建的数据，然后以拼图格式存储。但是，我想要读取的表是“外部表”格式，并且我已经设法用 df = spark.
浏览 20提问于2021-10-29得票数 1
回答已采纳
我有一个usecase，其中我想生成新的列值，请考虑如下所示的pyspark数据框架：
User | Product | Event | ...
----------------------------------------
ram apple viewed
ram apple carted
bill samsung viewed
bill samsung carted
bill samsung bought
我希望使用PySpark处理上面的数据
浏览 8提问于2020-10-23得票数 1
回答已采纳
1回答
是否可以找到完整PySpark数据的哈希值(最好是散列256)。我不想找到单个行或列的散列。我知道pySpark中存在函数，用于从pyspark.sql.functions导入sha2进行列级哈希计算。
所需的是根据年份划分一个大数据，并为每年(小数据)查找散列值并将结果持久化到一个表中。
输入(产品，质量，商店，SoldDate)
读取数据中的数据，通过SoldDate进行分区，计算每个分区的散列，并将其写入文件/表。
输出：(日期，散列)
我这样做的原因是，我必须比较每天运行这个过程，然后检查哈希是否更改了以前的日期。
存在文件级别md5的可能性，但不希望生成文件，而是根据日期动态计算分区
浏览 8提问于2022-12-04得票数 0
2回答
我正在使用spark sql开发一个SPARK应用程序，我的工作之一是从两个表中选择值，并将其插入到一个空表中，这就是我的结果。但为此，我正在尝试使用spark创建一个空表，我已经创建了一个空数据框，但无法将其注册为表。下面是我的情况代码
from pyspark import SQLContext
from pyspark.sql.types import StructType,StructField,StringType,DateType,IntegerType
sqlc=SQLContext(sc)
schema= StructType([StructField("Name&#
浏览 2提问于2016-08-03得票数 0
回答已采纳
我无法使用Jupyter Notebook中的PySpark将CSV文件从Azure Blob Storage直接加载到RDD中。 我已经通读了几乎所有其他类似问题的答案，但我还没有找到关于我想要做什么的具体说明。我知道我也可以使用Pandas将数据加载到Notebook中，但之后我需要将Panda DF转换为RDD。 我理想的解决方案应该是这样的，但是这个特定的代码给我的错误是它不能推断出CSV的模式。 #Load Data source = <Blob SAS URL> elog = spark.read.format("csv").option("i
浏览 21提问于2019-04-28得票数 0
PHP PDO或MySQL中是否有一个特性可以在执行超过2秒时自动中止并返回一个空的结果集？
做了一些搜索，但没有找到任何有用的东西。我认为这可能会对用户体验很好，特别是对于不那么重要的琐碎统计数据。
我试着在PHP中想出一种方法来做到这一点，但不确定当PDO:execute()还没有返回时如何监控它的执行时间。
有什么想法吗？
浏览 0提问于2017-10-25得票数 3
1回答
我使用PySpark将数据帧写入CSV文件，如下所示： df.write.csv(PATH, nullValue='') 该数据帧中有一个字符串类型的列。其中一些值为空。这些空值如下所示： ...,"",... 我希望它们像这样显示： ...,,... 使用csv.write()中的选项可以做到这一点吗？ 谢谢!
浏览 44提问于2019-08-30得票数 3
回答已采纳
我使用pyspark和cassandra，并使用cache()函数缓存数据。我想知道cassandra中的数据每次更新时，缓存是否会自动更新？
浏览 0提问于2015-08-21得票数 3
你好，我刚接触过Pyspark，当我将test.csv文件中的字符串列“道布”转换为Date格式时，我遇到了一个问题，在这个问题中，Pyspark将坏记录转换为空值。我知道pyspark在处理坏数据方面的方法，比如允许模式、FAILFAST模式、BadRecordPaths，它们在读取文件/输入时收集坏数据，但是在运行函数时有可能收集坏记录吗？
“守则”是：
spark = SparkSession.builder.appName("Dob_test").getOrCreate()
df = spark.read.option("header", True).c
浏览 4提问于2022-06-01得票数 1
在部署之前，我正在EMR笔记本中测试一些pyspark代码，并且在使用Spark SQL时总是遇到这个奇怪的错误。我将我所有的表和元数据都集成到了AWS Glue目录中，这样我就可以通过spark对它们进行读写。 代码的第一部分从S3/Glue读取一些数据，进行一些转换，然后将结果数据帧写入S3/Glue，如下所示： df.repartition('datekey','coeff')\
.write\
.format('parquet')\
.partitionBy('datekey','coef
浏览 26提问于2021-05-11得票数 1
所以我有一个数据库(Firebase)，基本上我需要将数据从一个表复制到另一个相应的表中。它们都在相同的存储桶和集合中，但不同的文档(复制-有数据和复制到，为空)。
我该怎么做呢？
浏览 2提问于2021-02-04得票数 0
我正在尝试对包含空值的列的数据帧使用sparkML库的standardScaler。我想保留NULL值，但是当我使用带有mean的标准缩放器时，具有NULL值的列的平均值也变成了null。有没有办法让标准的定标器跳过均值计算的空值(就像向量汇编程序中的handleInvalid选项)？ 下面是代码示例 from pyspark.sql import SparkSession
import pyspark.sql.functions as F
sqlContext = SparkSession.builder.appName('test').config("spark.
浏览 37提问于2021-06-24得票数 2
回答已采纳
我需要读取数据(来自一个包含5列的RedShift表，表的总大小约为500 job 1tb)，通过PySpark将数据从PySpark读入Spark，以完成每天的批处理任务。
是否有任何最佳做法：
我如何用S3存储数据的首选文件格式？(格式是否重要？)
最佳文件大小？
任何资源/链接，可以指出我的正确方向，也将发挥作用。
谢谢!
浏览 1提问于2019-07-10得票数 1
回答已采纳
我正在尝试从pyspark dataframe中获取空值的行。在pandas中，我可以在数据帧上使用isnull()来实现这一点：
df = df[df.isnull().any(axis=1)]
但在PySpark的情况下，当我运行以下命令时，它显示Attributeerror：
df.filter(df.isNull())
AttributeError：'DataFrame‘对象没有属性'isNull’。
如何在不对每一列进行检查的情况下获取具有空值的行？
浏览 25提问于2018-11-27得票数 5
作为问题陈述之一，我正在使用PySpark解析XML数据。 以下是示例数据- <?xml version="1.0" encoding="UTF-8" standalone="no" ?>
<component>Engineering
<headers>
<header>
<name>Date</name>
<value>05/05/2021 14:50:03</value>
</header>
浏览 16提问于2021-07-21得票数 1
回答已采纳
我有一个csv文件，其中有一个名为“jsonColumn”的列。下面是一个样本数据。
jsonColumn
{"page":"mainpage","_timestamp":"2022-11-22T10:47:45.8060+01:00","object":"object1","destination":"destination1","subObject":"subObject1","type":"event
浏览 6提问于2022-11-25得票数 0
回答已采纳
1回答
我有一个红色对象: red_object = UIColor.red.cgColor
我想要得到这个‘红色’的色调、饱和度、亮度和alpha参数，这样我就可以使用更具体的参数重新编码我的红色对象。
这个练习是一次性的，但我需要这些参数。
我尝试过cgColor.components，但我认为这不是正确的函数：
red_test = UIColor.red.cgColor
let output = red_test.components
print(output) = Optional([1.0, 0.0, 0.0, 1.0])
但是如果我运行以下命令
let circlePathT = UIB
浏览 0提问于2017-11-20得票数 1
我在HDFS上以Delta格式写入了数据。据我所知，Delta正在以拼接的形式存储数据，只是在它上面增加了一个具有高级功能的层。 但是，当使用Pyspark读取数据时，如果使用spark.read.parquet()或spark.read.format('delta').load()读取dataframe，我会得到不同的结果 df = spark.read.format('delta').load("my_data")
df.count()
> 184511389
df = spark.read.parquet("my_data
浏览 28提问于2021-01-27得票数 1
回答已采纳
1回答
不要忽略MAX中的NULL
、、、、
使用此数据帧：
from pyspark.sql import functions as F
df = spark.createDataFrame([(None,), (1,), (2,)], ['col_name'])
df.show()
# +--------+
# |col_name|
# +--------+
# | null|
# | 1|
# | 2|
# +--------+
默认情况下，计算MAX忽略空：
max = F.max('col_name').alias('col_name')
df.agg
浏览 4提问于2022-07-16得票数 0
回答已采纳
在我的单元格中显示Checkmark附件时出现问题。当我使用其他类型的附件时，它可以工作，但不能与Checkmark附件一起使用。
它在iOS 6上工作得很好，但在iOS 7上不行。我什么时候找不到了？
(UITableViewCell *)tableView:(UITableView *)tableView cellForRowAtIndexPath:(NSIndexPath *)indexPath {
UITableViewCell *cell = [tableView dequeueReusableCellWithIdentifier:EVENT_SELECTION_CELL_
浏览 0提问于2013-10-08得票数 7
我有csv数据，并使用read_csv创建了Pandas dataframe，并强制所有列为字符串。然后，当我尝试从Pandas数据帧创建Spark数据帧时，我得到了下面的错误消息。
from pyspark import SparkContext
from pyspark.sql import SQLContext
from pyspark.sql.types import *
z=pd.read_csv("mydata.csv", dtype=str)
z.info()
<class 'pandas.core.frame.DataFrame'>
浏览 6提问于2016-08-06得票数 33
回答已采纳
1回答
我想以yyy格式过滤日期时间列的数据。但是，它的字符串值和与日期关联的时间戳。我不想让这个时间戳出现在我的专栏里。我是用火花放电来做的。
日期格式- 2021/09/23 09:00:00+00，
待办的格式- 2021-09-23
from pyspark.sql.functions import to_date
df = df_pyspark.withColumn("date_only",to_date(col("DateTime"))) #col name in data is DateTime
date_only显示空值。我该怎么接近这里？
浏览 2提问于2021-10-04得票数 0
回答已采纳
我试图在PySpark中的dataframe PySpark中添加一个列。
我试过的密码：
import pyspark.sql.functions as F
df1 = df1.withColumn("empty_column", F.lit(None))
但我知道这个错误：
pyspark.sql.utils.AnalysisException: Parquet数据源不支持空数据类型。
有人能帮我吗？
浏览 23提问于2022-10-18得票数 3
回答已采纳
1回答
我在用：
python 3.6.8spark 2.4.4
我使用EMR集群(emr-5.28.0)运行pyspark，并使用：pyspark --packages org.apache.spark:spark-avro_2.11:2.4.4
我在星火类路径中有以下几个罐子：
我执行这段代码：
url = "jdbc:redshift://my.cluster:5439/my_db?user=my_user&password=my_password"
query = "select * from schema.table where trunc(timestam
浏览 2提问于2019-11-20得票数 2
回答已采纳
我想知道是否有可能在Xib文件上定义一个UILabel，然后在该标签上定义一个具有不同字体、样式、大小等的属性字符串。
然后将该标签连接到一个属性，但不将其加载到self.view上(因为我只想将属性字符串数据传递给另一个视图)
当我尝试这样做，并试图访问该属性的"attributedString“变量时，它给了我一个空值。
谢谢
浏览 0提问于2013-04-16得票数 0
尝试弄清楚如何用空值随机替换Pyspark中的特定列。因此，像这样更改数据帧： | A | B |
|----|----|
| 1 | 2 |
| 3 | 4 |
| 5 | 6 |
| 7 | 8 |
| 9 | 10 |
| 11 | 12 | 并将列'B‘中25%的值随机更改为空值： | A | B |
|----|------|
| 1 | 2 |
| 3 | NULL |
| 5 | 6 |
| 7 | NULL |
| 9 | NULL |
| 11 | 12 |
浏览 29提问于2020-09-18得票数 2
回答已采纳
2回答
火花流不从本地目录读取
、、、
我正在尝试使用spark编写一个星星之流应用程序。
应用程序应该从本地目录读取文本文件，并将其发送到Kafka集群。
当提交python脚本来激发引擎时，什么也没有发送给kafka。
我试图打印这些事件，而不是把它寄给卡夫卡，结果发现没有什么可读的。
这是脚本的代码。
#!/usr/lib/python
# -*- coding: utf-8 -*-
from pyspark import SparkContext, SparkConf
from pyspark.streaming import StreamingContext
from kafka import KafkaProducer
浏览 2提问于2016-04-17得票数 1
我在Azure技术上工作，想要读取json文件，它超过3 3GB，并且在嵌套元素中有重复的列。我试过pyspark，数据流，pipeines。但不走运。你能建议我使用哪种技术吗？
浏览 34提问于2021-11-18得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
