在函数中保存pyspark dataframe
可以通过将dataframe转换为临时表或者将其写入外部存储系统来实现。
- 将dataframe转换为临时表：
可以使用
createOrReplaceTempView方法将dataframe转换为临时表，然后在函数中使用该临时表进行操作和查询。示例代码如下： - 将dataframe转换为临时表：
可以使用
createOrReplaceTempView方法将dataframe转换为临时表，然后在函数中使用该临时表进行操作和查询。示例代码如下： - 将dataframe写入外部存储系统：
可以使用
write方法将dataframe写入外部存储系统，如Hive表、Parquet文件、CSV文件等。然后在函数中读取该外部存储系统中的数据进行操作和查询。示例代码如下： - 将dataframe写入外部存储系统：
可以使用
write方法将dataframe写入外部存储系统，如Hive表、Parquet文件、CSV文件等。然后在函数中读取该外部存储系统中的数据进行操作和查询。示例代码如下：
以上是保存pyspark dataframe的两种常见方法，具体选择哪种方法取决于实际需求和场景。腾讯云提供的相关产品和服务可以参考以下链接：
相关·内容
2回答
创建DataFrame后，我可以将其保存为avro、csv或拼板格式。
在dataframe或rdd中是否有其他格式可用于在Hadoop中保存数据？
浏览 2提问于2017-12-21得票数 1
我正在尝试将pyspark数据帧保存到hdfs文件夹中。这段代码在函数外部运行良好，但一旦我尝试将其放入函数中，就会遇到错误。这可能是我引用函数参数的一个例子。谢谢你的帮助。
浏览 2提问于2020-03-20得票数 0
回答已采纳
1回答
有一段时间，我在寻找如何将多个列一次重命名为一个PySpark DF，并遇到了如下情况：def rename_sdf(df, mapper={}, **kwargs_mapper，其中通过赋值语句将方法添加到pyspark.DataFrame类中。问题是，我正在创建一个Github来存储我的所有函数和ETL，我认为如果我能够应用上面显示的逻辑，就可以非常容易地创建一个__init__.py模块，在其中实例化我的所有功能，比如：
from
浏览 6提问于2020-07-09得票数 1
我以拼图格式存储了一个pyspark sql dataframe。现在，我还想将其保存为xml格式。我该怎么做呢？直接将pyspark sql dataframe保存在xml中或将拼图转换为xml的解决方案，对我来说什么都行。提前谢谢。
浏览 0提问于2016-06-21得票数 0
我想使用Python将Dataframe (pyspark.pandas.Dataframe)作为一个Excel文件保存在Azure数据湖Gen2上。我已经切换到pyspark.pandas.Dataframe，因为它是从Spark3.2开始推荐的。有一种名为to_excel (，文档)的方法允许将文件保存到ADL中的容器中，但我在文件系统访问协议方面遇到了问题。在同一个类中，我使
浏览 32提问于2022-05-11得票数 0
回答已采纳
我希望使用PySpark将数据保存到一个Hive表中。“
from pyspark.sql import HiveContext
sqlContext.sql("SET spark.sql.hive.convertMetastoreParquet=false")
my_dataframe.saveAsTable(&qu
浏览 2提问于2015-07-17得票数 9
回答已采纳
我在使用dataproc运行pyspark作业时收集度量，并且无法在google存储中持久化它们(只使用python函数，而不是使用Spark)。关键是我可以保存它们，在执行过程中，我成功地读取和修改了它们，但是当作业结束时，我的google存储文件夹中什么都没有。# Python
浏览 0提问于2018-02-08得票数 2
2回答
import pandas as pdpdf = ps.read_parquet("abfss://abc.parquet").to_pandas()
实际上，上面的查询在将pyspark.pandas数据转换为熊猫数据方面花费了大量时间。
浏览 0提问于2022-08-16得票数 0
回答已采纳
我有一个用例来映射基于条件的pyspark列的元素。通过这个文档，我找不到一个函数来执行映射函数。因此，尝试使用pyspark映射函数，但无法将pyspark列转换为dataFrame # like column.map(lambda x: __valid
浏览 4提问于2021-11-19得票数 0
回答已采纳
我目前在本地的windows10系统上使用pyspark。pyspark代码运行得相当快，但将pyspark数据帧保存为csv格式需要花费大量时间。我正在将pyspark数据帧转换为pandas，然后将其保存到csv文件中。我还尝试使用write方法来保存csv文件。com.databricks.spark.csv').option("header", "true").save(&qu
浏览 126提问于2019-08-01得票数 5
在火星雨中：转换为python dataframe：python dataframe：TR (0.50127727，en)
我想要的是我的python中关于
浏览 4提问于2022-03-10得票数 0
我有一个正在运行的Google Dataproc集群，并且正在向它提交一个PySpark作业，该作业从Google Cloud Storage (945MB CSV文件，400万行-->总共需要48秒才能读入)读取一个文件到PySpark dataframe，并对该数据帧应用一个函数(parsed_dataframe = raw_dataframe.rdd.map(parse_user_agents).toDF然后，我必须将这些修改后的结果作为GZIP的CSV或Parquet文件<
浏览 8提问于2017-08-01得票数 4
开始在Databricks上使用PySpark，我看到我可以在pandas的同时导入pyspark.pandas。有什么不同吗？我想这不像koalas，对吧？
浏览 13提问于2022-09-20得票数 0
我正在尝试将我的pandas代码转换为pyspark dataframe，并尝试在dataframe的一列上应用函数。我在pandas dataframe中做了一些如下的事情。在操作了几个列值之后，将新列添加到pandas数据帧中，如下所示。return USD_amount
salesData['Sales (INR)'] = salesData.apply(convert_USD_INR,
浏览 15提问于2020-01-03得票数 1
回答已采纳
2回答
使用read_csv()函数，我读取了一个iso-8859-1文件，如下所示： sep = '|',所以我试着把熊猫的数据转换成一个RDD，如下所示：spDF = sqlContext.createDataFrame(df['A'是否知道如何将特定的熊猫数据栏转换为Pyspark？更新：
从@zero
浏览 4提问于2016-03-17得票数 1
回答已采纳
在spark.sql查询中注册和使用pyspark version 3.1.2内置函数的正确方式是什么？ 下面是一个创建pyspark DataFrame对象并在纯SQL中运行简单查询的最小示例。For column literals, use 'lit', 'array', 'struct' or 'create_map' function...的pyspark内置函数运
浏览 4提问于2021-08-19得票数 0
回答已采纳
1回答
在PySpark中，如何将Dataframe转换为普通字符串？我将PySpark与Kafka一起使用，而不是硬编码代理名称，而是在PySpark中参数化了Kafka broker名称。Json文件保存了代理详细信息，Spark读取这个Json输入并将值赋值给变量。这些变量为带有字符串的Dataframe类型。当我将dataframe传递给Pyspark连接细节以替换值时，
浏览 0提问于2021-03-05得票数 0
2回答
我首先在HUE的图形界面中为Hive创建了一个表"animals“，感谢下面的查询：于是我买了一张新桌子。我写这个脚本是为了给它添加一个新行(1，dog)：from pyspark import SparkContext
from pyspark.sql= hc.sql("select 1 as id, 'dog' as
浏览 2提问于2018-01-25得票数 0
2回答
我在中运行了一个py火花代码。我有一个包含20个数值列的星星之火数据，名为column1、column2、...column20。但是这个收集正在导致星火集群重新启动，据我所知，collect正在试图将整个数据集带到一个驱动程序中，我们有一个解决这个问题的替代方法吗？下面是创建示例dataframe的代码片段。axis=0) normalized_df = pd.DataF
浏览 15提问于2022-11-13得票数 1
回答已采纳
在Spark DataFrame的hint函数中可以使用哪些可能的值 我正在查看文档，但除了broadcast https://spark.apache.org/docs/latest/api/python/pyspark.sql.html#pyspark.sql.DataFrame.hint之外没有太多帮助
浏览 10提问于2019-10-06得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
