我有很大的数据帧(略高于20G)，试图将其保存为pickle对象，以便稍后在另一个进程中使用。 我已经尝试了不同的配置，下面是最新的配置。我还尝试将dataframe保存为hdfs文件，然后尝试将其保存为pickel，但得到与之前相同的错误消息。我的理解是，当我们使用pandas.pickle时，它将所有数据放入一个驱动程序中，然后创建pickle对象。当数据大小超过driver_max_resul
浏览 35提问于2019-05-15得票数 0
1回答
我试图通过工资的值过滤数据帧，然后使用pyspark将它们保存为CSV文件。spark = SparkSession.builder.appName('SparkByExamples.com').getOrCreate()df.show()
spark.sparkContext.parallelize([30,41,62]
浏览 4提问于2022-03-29得票数 0
回答已采纳
1回答
我对处理大型数据集是个新手。我想用我的训练数据生成一个.npy文件。我有大约1.7 MB的PNG图像要加载，但是由于内存错误，我已经将这个设置分成了块，现在我正在尝试将大约389.5 MB的PNG文件加载到numpy数组中，然后保存它。我可以将文件加载到数组中，但是当我试图保存它时，我得到了一个内存错误。我尝试过.pickle和.npy两种文件类型。我搞不懂为什么这是一个问题，因为我的笔记本电脑有8 8GB的RAM。如何将这些数据加载
浏览 29提问于2019-06-05得票数 2
回答已采纳
1回答
假设我们有一个PySpark数据字典。有办法把这本字典写到S3桶里吗？这样做的目的是读取这些PySpark数据帧，然后将它们转换为熊猫数据帧。= ["language","users_count"]
#s
浏览 7提问于2021-09-24得票数 1
回答已采纳
我有下面的代码，它使用包装器函数对数据集进行SQL转换，并使用Sparklyr调用spark SQL API。然后，我使用"invoke("createOrReplaceTempView"，"name")“将Spark环境中的表保存为spark数据帧，以便在将来的函数调用中调用。然后，我使用dplyr代码"mutate“调用一个配置单元函数"regexp_replace”，将
浏览 0提问于2017-06-07得票数 3
我正在尝试将每个worker节点(每个元素都是Pandas DataFrame的RDD )上的Pandas DataFrame转换为跨所有worker节点的Spark DataFrame。the data is a pandas dataframe, and I am using some datetime
indexing which isn't available for spark在完成熊猫处理后，我如何将其转换为Spark DataFrame？我试着做rdd = rdd.map(spark
浏览 31提问于2019-06-05得票数 0
回答已采纳
1回答
我想要执行大量的配置单元查询，并将结果存储在数据帧中。我有一个非常大的数据集，结构如下：| visid_high我理解和，spark上下文对象是不可序列化的。我该如何继续？
浏览 5提问于2018-07-23得票数 0
1回答
我是Scala/Spark编程的新手，我需要将DataFrame保存为XML文件，我从HQL (Hive)查询中获取DataFrame。它是一个简单的DataFrame (没有数组或其他复杂类型) 我已经研究并找到了spark-xml库，但是这个库似乎不能解决这个问题。
浏览 32提问于2019-03-10得票数 0
回答已采纳
1回答
但是，当我想将分类器(使用大型数据集中的sklearn.svm.SVC进行训练)保存为泡菜文件时，它消耗了机器无法分配的太多内存。渴望了解保存分类器的任何替代方法。我试过：
提前谢谢你！谢谢你们所有人。
浏览 2提问于2014-05-10得票数 5
您将需要执行相当多的计算，从源数据帧，一个Spark表，不是吗？或者，dataframe和table都是指向相同数据的指针(即，在创建表时，不是在创建重复数据)？我猜我想要弄清楚的是，你是否可以从一个Spark数据帧到一个表‘开关开关’，或者这样做的计算量是否(非常)昂贵(毕竟这是大数据...)
浏览 26提问于2021-04-26得票数 0
我正在将spark数据帧保存到hive表中。spark dataframe是一个嵌套的json数据结构。我可以将数据帧另存为文件，但它在上面创建了一个配置单元表时失败了，上面写着org.apache.spark.SparkException: Cannot recognize hive type string我不能先创建一个hive表模式，然后再将其插入其中，因为数据框由数百个嵌套列组成。因此，我将
浏览 1提问于2018-08-11得票数 2
如何有效地将大型本地数据帧转换为SparkR数据帧？在我的本地开发机器上，当我尝试将~ 650MB的本地数据帧转换为SparkR数据帧时，它很快就会超出可用的内存，而我的开发机器上有40 of的Ram。= "/home/your/path/spark-2.0.0-bin-hadoop2.7")
library(SparkR
浏览 0提问于2016-09-08得票数 3
我正在使用pandas来分析大型CSV数据文件。它们的大小约为100兆。我可以使用哪些快速方法从磁盘加载/保存数据？
浏览 2提问于2014-08-26得票数 32
我对apache ignite和spark都是新手。在scala中，有没有人可以通过示例将ignite rdd转换为spark rdd？更新-使用案例:我将收到hbase表的数据帧..我将执行一些逻辑来构建报告，将其保存到ignite rdd中。将为每个表更新相同的ignite rdd ...一旦所有的表都被执行，最终的ignite rdd将被转换为spark或java rdd，最后的规则将在该rdd上执行...要运行该规则，我需要将rdd转换为该<e
浏览 3提问于2016-09-26得票数 0
正在尝试将spark数据帧(Python)保存为.tde格式。在spark的jars文件夹中包含这4个jars会起作用吗？
浏览 1提问于2018-09-26得票数 1
2回答
我们有包含二进制列的数据帧，当我们将数据帧保存为csv时，二进制列将导致csv解析器出现问题。 有没有办法强制spark csv write写出hex或base64编码字符串中的任何二进制列？
浏览 24提问于2021-02-10得票数 0
回答已采纳
read_images = []
read_images.append(cv2.imread(image))df.to_pickle(r'data\data_as_pddataframe.pkl')
由于大量的图像，我有一个比较大的泡菜文件此外，当我要在Google培训网络时，Colab会因为大量的数
浏览 1提问于2020-05-19得票数 0
回答已采纳
1回答
我对pyspark非常陌生，正在尝试使用它来处理一个保存为csv文件的大型数据集。我想将CSV文件读入spark dataframe，删除一些列，然后添加新列。我该怎么做呢？我在将这些数据放入数据帧时遇到了问题。.reduce(lambda a, b: a.union(b))
.format("com.databricks.spark.redshiftreduci
浏览 2提问于2016-10-30得票数 7
回答已采纳
我有一个熊猫数据框架，叫做df。import gzipf_in = open('filename.pickle', 'rb有没有一种方法可以更直接地做到这一点，即不创建filename.pickle？
当我想要加载已经被go压缩的数据帧时，我必须经历与创建filename.<
浏览 0提问于2012-10-23得票数 12
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
