如何使用pyspark读取Excel文件？
使用pyspark读取Excel文件可以通过以下步骤实现：
- 安装依赖库：首先需要安装pyspark和pandas库。可以使用pip命令进行安装：
pip install pyspark pandas- 导入必要的库：在Python脚本中导入pyspark和pandas库：
from pyspark.sql import SparkSession
import pandas as pd- 创建SparkSession：使用SparkSession来初始化Spark环境：
spark = SparkSession.builder \
.appName("Read Excel with PySpark") \
.getOrCreate()- 读取Excel文件：使用pandas库的read_excel函数来读取Excel文件，并将其转换为Spark DataFrame：
excel_data = pd.read_excel("path/to/excel_file.xlsx")
df = spark.createDataFrame(excel_data)- 处理Excel数据：可以使用Spark DataFrame提供的各种操作和转换函数来处理Excel数据，例如筛选、聚合、排序等：
# 示例：筛选出年龄大于30的数据
filtered_data = df.filter(df.age > 30)- 显示结果：使用show函数来显示处理后的数据：
filtered_data.show()完整的代码示例：
from pyspark.sql import SparkSession
import pandas as pd
# 创建SparkSession
spark = SparkSession.builder \
.appName("Read Excel with PySpark") \
.getOrCreate()
# 读取Excel文件
excel_data = pd.read_excel("path/to/excel_file.xlsx")
df = spark.createDataFrame(excel_data)
# 处理Excel数据
filtered_data = df.filter(df.age > 30)
# 显示结果
filtered_data.show()注意：在使用pyspark读取Excel文件时，需要确保Excel文件已经存在，并且路径正确。另外，pyspark读取Excel文件的性能可能会受到文件大小和数据量的影响，建议在处理大型Excel文件时使用分布式集群来提高性能。
推荐的腾讯云相关产品：腾讯云数据万象（COS）提供了对象存储服务，可以用于存储和管理Excel文件。您可以将Excel文件上传到腾讯云COS中，并使用腾讯云的云服务器（CVM）来运行pyspark代码。您可以通过以下链接了解更多关于腾讯云数据万象和云服务器的信息：
相关·内容
由于在spark中没有对读取excel文件的开箱即用的支持，所以我首先将excel文件读取到pandas数据帧中，然后尝试将pandas数据帧转换为spark数据帧，但我得到了以下错误(我使用spark 1.5.1)
import pandas as pd
from pandas import ExcelFile
from pyspark import SparkContext
from pyspark.sql import SQLContext
from pyspark.sql.types import *
pdf=pd.read_excel('/home/testdata/tes
浏览 0提问于2016-01-15得票数 2
有没有人可以在不转换xlsx或xls文件的情况下让我知道，我们如何才能将它们作为spark数据帧读取？
我已经尝试使用pandas读取数据，然后尝试转换为spark dataframe，但得到错误，错误是
错误：
Cannot merge type <class 'pyspark.sql.types.DoubleType'> and <class 'pyspark.sql.types.StringType'>
代码：
import pandas
import os
df = pandas.read_excel('/dbfs/Fil
浏览 25提问于2019-06-03得票数 8
1回答
我有一个Excel表，其中一列包含xml(每一行都是一个不同的xml)。我正在尝试使用Pyspark和spark-xml通过执行df = spark.read.format('xml').options(rowTag = 'book').load(___)来解析这些内容。 当您指定一个xml文件时，load工作得很好，但是是否可以读取Excel表格并循环这些要解析的xml，而不必将每个xml文件转换为自己的xml文件呢？
浏览 17提问于2020-06-15得票数 2
1回答
我有一个包含以下列的excel(.xlsx)文件
Location Month Desc Position Budget
EUR 1/1/2020 In Europe Right 34%
AUS 1/1/2020 In Australia Left >22%
当我在熊猫df阅读这份文件时，我正面临着预算问题。获取以下错误：
field Budget: Can not merge type <class 'pyspark.sql.types.D
浏览 3提问于2022-02-22得票数 0
回答已采纳
如何在pyspark中解压tar.gz文件？tar.gz中有10个文件。我只对读取10个文件中的一个感兴趣，我需要使用pyspark解压。
浏览 1提问于2019-12-14得票数 0
我正在尝试将我的excel文件导入Azure-DataBricks机器中的PySpark，我必须将其移动到PySpark Dataframe。我无法执行此操作。获取错误
import pandas
data = pandas.read_excel('/dbfs/FileStore/tables/Time_Payments.xlsx')
df_data = sqlContext.createDataFrame(data)
执行上述操作时，出现以下错误。
Error : field Additional Information: Can not merge type <cla
浏览 2提问于2018-09-18得票数 0
2回答
我正在尝试使用AWS EMR的Pyspark来读取它驻留在s3中的Excel文件，为此，我下载了spark-excel jars spark-excel_2.11-0.12.4.jar和spark-excel_2.12-0.13.5.jar，并将其放入s3存储桶中
scenario 1:
===========
df = spark.read.format("com.crealytics.spark.excel").option("useHeader", "true").option("inferschema", "tru
浏览 109提问于2021-02-13得票数 0
1回答
我正在工具/服务的Azure生态系统中寻找一个文件共享解决方案。
当前的需求是能够从运行在Databricks中的脚本编写数千个文件(每周3-4 000个)，到允许其他几个非技术用户访问的存储解决方案。生成报告的脚本是Python，而不是PySpark，尽管它确实在databricks中运行(在它之前有许多PySpark作业)。存储解决方案必须允许：
1)用Python编写/保存excel和html文件。
2)用户一次查看和下载多个文件(我相信这会破坏Blob存储？)
谢谢!
浏览 0提问于2020-05-21得票数 0
回答已采纳
1回答
我需要在.DBF中读取和处理PySpark文件，但是我没有得到任何库，我怎么能像读取CSV、JSON、Parquet或其他文件那样读取它。
请帮助阅读此文件。我只是在起跑线上挡着。创建火花会话后，如何读取.DBF文件。dbfread是python中用于读取dbf文件的库。但是我需要用PySpark阅读，而不仅仅是使用Python。
代码：
from pyspark.sql import SparkSession
spark = (SparkSession.builder
.master("local[*]")
.appName("dbf-file-read
浏览 9提问于2022-01-29得票数 0
2回答
我使用的是pyspark 1.6.0。
我有现有的pyspark代码从亚马逊网络服务的S3桶读取二进制数据文件。其他Spark/Python代码将解析数据中的位，将其转换为int、string、boolean等。每个二进制文件都有一条数据记录。
在PYSPARK中，我使用: sc.binaryFiles("s3n://.......")读取二进制文件。
这很有效，因为它提供了一个元组(文件名和数据)，但我正在尝试找到一个等效的PYSPARK流API来读取二进制文件作为流(如果可以的话，希望也是文件名)。
我尝试过:binaryRecordsStream(目录，recordLen
浏览 3提问于2016-06-29得票数 6
我想使用Python将Dataframe (pyspark.pandas.Dataframe)作为一个Excel文件保存在Azure数据湖Gen2上。我已经切换到pyspark.pandas.Dataframe，因为它是从Spark3.2开始推荐的。
有一种名为to_excel (，文档)的方法允许将文件保存到ADL中的容器中，但我在文件系统访问协议方面遇到了问题。在同一个类中，我使用了使用abfss的to_csv和to_parquet方法，我想在excel中使用相同的方法。
因此，当我尝试这样保存它时，我使用：
import pyspark.pandas as ps
# Omit the d
浏览 32提问于2022-05-11得票数 0
回答已采纳
1回答
我正在从excel中读取excel表，我需要将这些数据作为json存储在HDFS中。对于一些床单，我正面临例外
excel_file = pd.ExcelFile("export_n_moreExportData10846.xls")
for sheet_name in excel_file.sheet_names:
df = pd.read_excel(excel_file, header=None, squeeze=True, sheet_name=sheet_name)
if sheet_name=='Passed':
print '***
浏览 2提问于2018-01-23得票数 1
回答已采纳
我刚接触pyspark &在pyspark 3.0.1中使用数据块。我有两个火花源数据框，df1和df2，我需要将它们保存在ADLS gen2中的excel文件的两个工作表中。所以我写了下面的脚本
writer = pd.ExcelWriter(path+"multipleSheet.xlsx", engine='xlsxwriter')
df1.toPandas().to_excel(writer, sheet_name='df1')
df2.toPandas().to_excel(writer, sheet_name='df2
浏览 0提问于2021-02-08得票数 1
3回答
我正在使用PySpark并加载一个csv文件。我有一个带有欧洲格式数字的列，这意味着逗号代替了点，反之亦然。
例如:我使用2.416,67而不是2,416.67。
My data in .csv file looks like this -
ID; Revenue
21; 2.645,45
23; 31.147,05
.
.
55; 1.009,11
在熊猫中，通过在decimal=','和thousands='.'选项中指定pd.read_csv()来读取欧洲格式，可以轻松地读取这样的文件。
Pandas代码：
import pa
浏览 0提问于2018-10-08得票数 13
回答已采纳
我试图使用vscode中的jupyter、1.8.0_311 ()的java版本和2.12.15版本的scala版本读取一个excel文件。
以下代码如下：
# import necessary library
import pandas as pd
from pyspark.sql.types import StructType
# entry point for spark's functionality
from pyspark import SparkContext, SparkConf, SQLContext
configure = SparkConf()
浏览 12提问于2021-12-23得票数 2
回答已采纳
我需要读取数据(来自一个包含5列的RedShift表，表的总大小约为500 job 1tb)，通过PySpark将数据从PySpark读入Spark，以完成每天的批处理任务。
是否有任何最佳做法：
我如何用S3存储数据的首选文件格式？(格式是否重要？)
最佳文件大小？
任何资源/链接，可以指出我的正确方向，也将发挥作用。
谢谢!
浏览 1提问于2019-07-10得票数 1
回答已采纳
嗨，我正在交互式地使用pyspark。我想我无法正确加载本地文件。
如何检查当前目录，以便转到浏览器查看实际文件？
或者是pyspark所在的默认目录？谢谢
浏览 16提问于2016-05-03得票数 3
回答已采纳
我很难将一个pyspark.pandas.Dataframe导出到一个Excel文件。
我正在开发一个笔记本电脑。我的目标是从Azure容器中读取csv文件，并将其存储为另一个ADLS容器上的Excel文件。
我发现很多与性能和方法有关的困难。pyspark.pandas.Dataframe有一个内置的to_excel方法，但是当文件大于50 to时，命令在1小时后出现超时错误(似乎是众所周知的)。
下面可以找到一个代码示例。最后将文件保存在DBFS上(集成to_excel方法与Azure仍然存在问题)，然后将文件移到ADLS。
import pyspark.pandas as ps
spar
浏览 13提问于2022-09-14得票数 0
回答已采纳
import os
import pandas as pd
from pyspark.sql import SQLContext
from pyspark import SparkContext as sc
import pyarrow
os.chdir(r'C:\2020\EYAIA\work\slack')
master_path = r'PRP.xlsx'
other_path = r'Book1.xlsx'
output = 'merged.xlsx'
sqlContext = SQLContext(sc)
mast
浏览 1提问于2020-06-15得票数 1
回答已采纳
我使用以下代码读取csv文件
import os
import sys
os.environ["SPARK_HOME"] = "D:\ProgramFiles\spark-2.1.0-bin-hadoop2.7"
os.environ["PYLIB"] = os.environ["SPARK_HOME"] + "/python/lib"
sys.path.insert(0, os.environ["PYLIB"] +"/py4j-0.10.4-src.zip")
sys.path.
浏览 0提问于2017-03-05得票数 2
如何在databricks中编写pyspark/python代码以删除在azure存储帐户中超过X天的文件。
浏览 5提问于2022-04-21得票数 0
1回答
在PySpark中，如何将Dataframe转换为普通字符串？
背景：
我将PySpark与Kafka一起使用，而不是硬编码代理名称，而是在PySpark中参数化了Kafka broker名称。
Json文件保存了代理详细信息，Spark读取这个Json输入并将值赋值给变量。这些变量为带有字符串的Dataframe类型。
当我将dataframe传递给Pyspark连接细节以替换值时，我将面临问题。
错误：
只能将字符串(不是Dataframe)连接到字符串。
Json参数文件：
{
"broker": "https://at.com:8082",
"t
浏览 0提问于2021-03-05得票数 0
我有一个关于如何提取管道的最佳模型的问题，以便评分和进一步使用。例如，我尝试使用JPMML pyspark2库将其保存到pmml文件，但我遇到了保存文件的问题。有没有使用pyspark保存管道模型的其他方法？
浏览 5提问于2019-07-15得票数 0
回答已采纳
1回答
我正在尝试读取存储在Azure存储帐户中的CSV文件。为此，我已经在我的虚拟机上安装了一个spark，并试图从pyspark读取dataframe中的CSV文件。
我在某个地方读到了如何做到这一点，我遵循这些步骤，在我的/jar目录中复制了最新的hadoop&azure存储JAR文件。然后，我想出了一个错误：
NoClassDefFoundError: org/apache/hadoop/fs/StreamCapabilities
我搜索了这个错误，发现我需要引用hadoop-azure-2.8.5.jar，而不是最新的。因此，我用最新的hadoop-azure JAR替换了这个j
浏览 6提问于2020-08-26得票数 0
回答已采纳
2回答
我是一个初学者；我要用spark/pyspark连接bigquery读取数据，但是卡在了身份认证这道关卡；我有身份认证文件：ios-app.json文件，格式是：{
"type": "service_account",
"project_id": **************,
"private_key_id": ****************************,
"private_key": *******************************,
"client_em
浏览 114提问于2023-09-13
我之前发布了这个问题，并得到了一些使用PySpark的建议。
下面的压缩文件()包含一个名为data的文件夹，其中包含大约130,000个csv文件。我想把它们合并到一个单独的数据帧中。我有16 of的RAM，当我访问前几百个文件时，我一直在耗尽RAM。这些文件的总大小只有300-400MB的数据。
如果您打开任何csv文件，您可以看到它们都具有相同的格式，第一列用于日期，第二列用于数据系列。
所以现在我改用PySpark，但是我不知道连接所有文件的最有效的方法是什么，对于pandas数据帧，我会像这样连接单个帧的列表，因为我想让它们在日期上合并：
bigframe = pd.concat(
浏览 14提问于2020-02-17得票数 2
回答已采纳
当在dataproc集群中使用Excel文件时，会得到错误的java.lang.NoSuchMethodError。
注意:模式正在打印，而不是实际的数据。
错误：
py4j.protocol.Py4JJavaError:调用o74.howString时出错。：：scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps；at com.crealytics.spark.excel.ExcelRelation.buildScan(ExcelRelation.scala:74) java.lan
浏览 9提问于2022-09-29得票数 2
1回答
我在谷歌云存储上有一个文件夹，里面有几个拼图文件。我安装在我的VM pyspark中，现在我想读取拼图文件。下面是我的代码： from pyspark.sql import SparkSession
spark = SparkSession\
.builder\
.config("spark.driver.maxResultSize", "40g") \
.config('spark.sql.shuffle.partitions', '2001') \
.conf
浏览 26提问于2019-12-11得票数 0
2回答
在s3目录s3://mybucket/my/directory/中有一些选项卡分隔的数据。
现在，我要告诉pyspark，我想使用\t作为分隔符，只在下面这样的一个文件中读取：
from pyspark import SparkContext
from pyspark.sql import HiveContext, SQLContext, Row
from pyspark.sql.types import *
from datetime import datetime
from pyspark.sql.functions import col, date_sub, log, mean, to
浏览 3提问于2017-07-17得票数 1
回答已采纳
我正在使用以下pyspark脚本从databricks中的azure blob存储中读取多个excel文件 schema1 = StructType([
StructField("c1", StringType(), True)
,StructField("c2", StringType(), True)
...
,StructField("c19", StringType(), True)
,StructField("c20", StringType(), True)])
df_full = None
objects =
浏览 49提问于2021-01-21得票数 0
我正在尝试读取utf-8编码文件到Spark Scala。我正在做这个
val nodes = sparkContext.textFile("nodes.csv")
给定的csv文件是UTF-8格式的，但是spark将非英语字符转换为?，我如何让它读取实际值？我在pyspark上试过了，它工作得很好，因为pyspark的textFile()函数有编码选项，默认情况下支持utf-8 (看起来是这样)。
我确信这个文件是utf-8编码的。我这样做是为了确认
➜ workspace git:(f/playground) ✗ file -I nodes.csv
nodes.csv:
浏览 29提问于2018-07-26得票数 0
我的工作是收集、编辑和上传python中的format.xlsb excel文件，并将编辑后的文件上传到sharepoint。
我不想在本地保存它，因为代码应该运行在Azure函数上。我可以从sharepoint收集excel文件的二进制文件，并处理它，但我想编辑excel，并将编辑后的文件上传到相同的路径上，使用python或pyspark。
任何编辑和上传文件的想法，我们能在任何时候做吗？
浏览 7提问于2022-01-26得票数 0
我有一个csv文件，我正在通过pyspark读取并加载到postgresql中。它的一个字段包含字符串，字符串中包含coma和双引号。就像下面的例子- 1. "RACER ""K"", P.L. 9"
2. "JENIS, B. S. ""N"" JENIS, F. T. ""B"" 5" Pyspark正在解析它，如下所示。这会引起问题，因为当我将数据加载到postgresql中时，它会将值/列混为一谈，并且脚本失败。 1. '\"RACER \&
浏览 105提问于2020-08-27得票数 0
如何在PySpark中从HDFS中读取xlsx文件？一种方法是将其转换为csv文件，但我有很多文件，我正在寻找其他方法。
浏览 3提问于2017-11-16得票数 0
1回答
将CSV导入
、、、、
我是个新手，我正在尝试加载如下所示的CSV文件：
我的csv文件：
article_id title short_desc
33 novel findings support original asco-cap guidelines support categorization of her2 by fish status used in bcirg clinical trials
我的代码
浏览 0提问于2018-04-24得票数 0
回答已采纳
1回答
我试图读取XML文件：df = spark.read.format('com.databricks.spark.xml').load('/path/to/my.xml')并获得以下错误：
java.lang.ClassNotFoundException: Failed to find data source: com.databricks.spark.xml
我试过：
使用
$spark_HOME/bin/spark shell-软件包com.databricks:spark-xml_2.12:0.10.0
配置为：set jar_path = f'{S
浏览 2提问于2020-09-18得票数 2
我想读取excel文件作为spark数据帧，第3行作为header.The synatax，读取excel文件作为spark数据帧，第1行作为标题是： s_df = spark.read.format("com.crealytics.spark.excel") \
.option("header", "true") \
.option("inferSchema", "true") \
浏览 86提问于2021-04-07得票数 2
回答已采纳
1回答
在下面的代码中，数据文件的所有列都是字符串。其中一列用一个小数位存储整数或小数(6.1,4.8,3,9.4,6，...etc.)。但是，一旦将数据加载到pyspark dataframe中，它也会显示带有单个小数位(例如3.0)的整数。
问题：我们如何才能强迫pyspark显示所有不带小数的整数值？例如，3.0应该显示为3。
from pyspark.sql.types import StringType
from pyspark.sql import functions as F
df = spark.read.csv(".......dfs.core.windows.net/my
浏览 7提问于2022-05-21得票数 0
1回答
我刚开始使用pyspark，我想在独立的集群中使用一个pyspark程序，我遵循了这个上的步骤，我使用下面的命令午餐了我的程序：
bin\spark-submit examples\src\main\python\LSI_MapReduce\LSI.py这里是我的代码中发生错误的部分：
# load the dataset
rows = np.loadtxt('first.txt') <----- here
rows = sc.parallelize(rows)
mat = RowMatrix(rows)
# compute SVD
svd = mat.compu
浏览 3提问于2022-05-21得票数 0
回答已采纳
1回答
我正在尝试用不同的模式读取由pyspark编写的avro文件。小数列精度的差异。下面是由pyspark编写的avro文件夹的文件夹结构
/mywork/avro_data/day1/part-*
/mywork/avro_data/day2/part-*
下面是它们的模式
day1 = spark.read.format('avro').load('/mywork/avro_data/day1')
day1.printSchema()
root
|-- price: decimal(5,2) (nullable = True)
day2 = spark.re
浏览 4提问于2020-07-07得票数 0
回答已采纳
2回答
新的pyspark，并希望读取csv文件到数据帧。看起来不能读。有什么帮助吗？
from pyspark.sql import SQLContext
import pyspark
from pyspark.sql import Row
import csv
sql_c = SQLContext(sc)
rdd = sc.textFile('data.csv').map(lambda line: line.split(","))
rdd.count()
()中的Py4JJavaError回溯(最近一次调用)->1 rdd.count()
浏览 3提问于2018-05-14得票数 1
回答已采纳
在看过之后，我尝试使用下面的代码，但我知道答案中的createDataFrame与spark.read.json不同，不能以相同的方式使用。
import findspark
findspark.init('/home/myuser/softwareInstallations/spark-3.1.1-bin-hadoop2.7')
import pyspark
from pyspark.sql import SparkSession
from pyspark.sql.types import StructField, StructType, IntegerType, Stri
浏览 2提问于2021-04-01得票数 0
我正在使用Pyspark，我想读取Apache类型的文件，这些文件的扩展名是".arrow“。不幸的是，我找不到任何办法来做这件事，我会感激你的帮助。
浏览 44提问于2022-12-04得票数 0
在读取csv文件时，我正在尝试读取选定的列。假设csv文件有10列，但我只想读取5列。有没有办法做到这一点？
Pandas我们可以使用usecols，但是在pyspark中也有可用的选项吗？
df=pd.read_csv(file_path,usecols=[1,2],index_col=0)
Pyspark：
?
浏览 6提问于2021-03-04得票数 1
1回答
我有一个Python脚本，它使用fastavro库来转换csv文件并根据提供的模式序列化它：
from fastavro import writer
from fastavro.schema import load_schema
import csv
schema = load_schema('schema.avsc')
def csv_reader():
with open('data.csv') as f:
yield from csv.DictReader(f)
with open('data.snappy.avro&#
浏览 1提问于2021-09-21得票数 0
这里的第一个问题，所以如果有不清楚的地方，我道歉。我是pySpark新手，使用数据库时，我试图用以下代码读取保存为csv的excel文件
df = spark.read.csv('/FileStore/tables/file.csv', sep = ";", inferSchema = "true", header = "true")
这很好用，除了一些观测值为空值，而在excel文件中没有空值。实际值可以在其他行中找
浏览 3提问于2019-11-27得票数 0
我有一个Spark 2.0.2集群，我正在通过Pyspark通过Jupyter Notebook访问它。我有多个以管道分隔的txt文件(加载到HDFS中。我需要使用spark-csv将其加载到三个独立的数据帧中，具体取决于文件的名称。
我认为我可以采取三种方法--或者我可以使用python以某种方式遍历HDFS目录(还没有想出如何做到这一点，加载每个文件，然后执行联合。
我还知道在spark中有一些通配符功能(参见) -我可能可以利用
最后，我可以使用pandas从磁盘加载vanilla csv文件作为pandas数据帧，然后创建spark数据帧。这里的缺点是这些文件很大，加载到单个节点上的内
浏览 0提问于2016-12-14得票数 7
回答已采纳
我有一个存储.gz文件(json格式)的S3存储桶。每小时将有更多的文件发送到此存储桶。我想使用Glue增量地(每天)从S3存储桶中读取数据，将.gz转换为拼接，然后写回另一个S3存储桶。 我想我可以使用Glue书签来完成增量文件的读取/转换/写入。然而，我发现如果我读取spark dataframe中的.gz文件，书签就不起作用了。换句话说，我的下面的胶水作业不会以增量方式读取文件。它读取该存储桶中的所有文件。我确实在胶水作业中启用了Bookmark。 我错过了什么吗？是否需要通过glue动态数据帧而不是spark数据帧读取文件？ 我实际上不知道如何通过glue动态数据帧正确读取.gz文件
浏览 24提问于2020-12-30得票数 1
我正在学习一篇关于pyspark的教程，并有以下代码：
*
%%pyspark
people = spark.read.option("header", True).option("inferSchema",True).csv("abfss://user-797427@strprmsandboxpoc001.blob.core.windows.net/pysparkCourse/fakefriends-header.csv")
这会产生以下错误：
AnalysisException:无法推断CSV的架构。必须手动指定。回溯(最近
浏览 3提问于2022-01-25得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
