我想将Dask Dataframe转换为Spark Dataframe。让我们考虑这个例子：dask_df = dd.read_csv("file_name.csv")
spark_df = spark_session.createDataFra
浏览 18提问于2021-02-25得票数 0
我有一个非常大的Pandas数据帧，我想把它保存到磁盘上，以便以后使用。数据帧仅包含字符串数据。然而，无论我使用哪种格式，保存过程都会导致我的Google Colab环境崩溃，因为除了CSV之外，所有可用的RAM都会用完，CSV甚至在5小时后都不会完成。from sqlalchemy import create_engine
engine = sqlalchemy.create_engine("sqlite:///database.db&qu
浏览 2提问于2019-05-29得票数 2
TLDR：我从一个dask包创建了一个dataframe。dask dataframe将每个观察(事件)作为一列对待。因此，我没有为每个事件设置行数据，而是为每个事件设置了一列。其目标是将列转换为行，就像熊猫可以使用df.T转换数据格式一样。
Details：我有。为了达到我的起点，下面是将json从磁盘读入dask.bag并将其转换为dask.dataframe
浏览 7提问于2016-08-04得票数 4
回答已采纳
我知道，使用engine='c'，我不能使用多哈尔分隔符，但是切换到engine='python'会导致不可预测的结果。因此，在上面的函数中，我改变了：engine="python"和sep=" \]\[ "。这适用于我测试的一个小样本数据。sep=" \]\[ ", na_filter=False,
浏览 1提问于2020-05-28得票数 1
2回答
我使用pip方法在google实验室安装。但我不知道它为什么不起作用。; python_version < "3.8" in /usr/local/lib/python3.7/dist-packages (from fsspec>=0.6.0->dask[dataframepython3.7/dist-packages (from pandas>=0.25.0; extra == &q
浏览 4提问于2021-03-27得票数 1
我想从一个元组的python列表中创建一个dataframe。在熊猫中，您可以使用DataFrame.from_records将元组列表转换为数据格式。什么功能可以给我同样的功能在达克。我的数据有点像这样
import dask
import da
浏览 0提问于2018-10-16得票数 3
回答已采纳
Dataframe是使用scala创建的。val someDF = spark.createDataFrame( spark.sparkContext.parallelize(someData), StructType(someSchema) )PySpark提供了.toPandas()来将火花数据转换成熊猫，但是scala(我可以找到)并没有对应的数据。
浏览 1提问于2020-04-05得票数 0
回答已采纳
长版最小工作示例"gender","race/ethnicity",&q
浏览 10提问于2019-12-13得票数 3
回答已采纳
我正在努力将字典的dask.bag转换为dask.delayed pandas.DataFrames，使之成为最终的dask.dataframe
我有一个函数(make_dict)将文件读入相当复杂的嵌套字典结构，另一个函数(make_df)将这些字典转换为pandas.DataFrame (由此产生的数据为每个文件大约100 mb )。但是，对于以后的工作，我想使用dask.ba
浏览 3提问于2019-03-22得票数 5
回答已采纳
下面的示例是：，我试图将一个~70 as的Dask数据帧与我作为Pandas数据frame加载的~24 as数据帧合并。合并位于两个列A和B上，我没有设置任何索引：from dask.diagnostics import ProgressBar
large_df = dd.read_csv(dataframe2) #as
浏览 16提问于2016-09-13得票数 26
我想知道如何将dask.dataframe.core.Series转换为dask数据帧。我有： type(card_id_pur_freq) 输出： dask.dataframe.core.Series 我试过了： card_id_pur_freq = dd.DataFrame(card_id_pur_freqTraceback (most recent call last)
<ipython-input-36-bd6cdab52455>
浏览 19提问于2019-01-27得票数 2
回答已采纳
TL;DR：我如何从分布式读取中收集元数据(解析期间的错误)到dataframe集合中。
目前，我有一种专用的文件格式，用于输入dask.DataFrame。我有一个函数，它接受一个文件路径并返回一个pandas.DataFrame，dask.DataFrame成功地在内部使用该函数将多个文件加载到同一个dask.DataFrame。直到最近，我还在使用自己的代码将几个pandas
浏览 7提问于2016-01-26得票数 2
回答已采纳
在将join应用于.from_delayed方法生成的dask数据文件时，我得到了意想不到的结果。我想通过下面的示例演示这一点，该示例由三个部分组成。通过from_delayed方法生成dataframe，并将其与通过from_pandas生成的dataframe连接
将通过from_delayed方法生成的dask数据转换为使用</
浏览 0提问于2016-07-17得票数 2
回答已采纳
1回答
尝试：我尝试将一个dataframe保存为拼花格式，然后用火花读取它。问题：时间戳列不能由pyspark解释我尝试将hfds中的dataframe保存为dd.to_parquet(ddf_param_logs, 'hdfs:///user/<myuser>/<filename>', engine='pyarrow
浏览 4提问于2020-01-28得票数 2
回答已采纳
如果我有一个带有DataFrame的Scala段落，我可以在python中分享和使用它吗？(据我所知，pyspark使用)Scala段落：z.put("xtable", x )%pyspark
eval(compiledCode)
File "<string>", line 15, in <modu
浏览 8提问于2016-03-01得票数 14
回答已采纳
是否有一种方法可以获得比可用内存更大的dask数组的唯一行？理想情况下，无需将其转换为dask DataFrame?。我目前使用这种方法import dask.dataframe as dd
ddf = dd.from_dask_array(dx)
ddf = ddf.
浏览 0提问于2018-11-20得票数 5
回答已采纳
1回答
在创建火花会话之后，我运行了以下代码
spark_df.select('*').toPandas(我需要火花df和熊猫df的原因是，对于一些较小的DataFrame，我想很容易地使用各种熊猫EDA函数，但对于一些较大的，我需要使用火花sql。首先，把地板转向熊猫，然后再点燃df，这似乎有点迂回。
浏览 3提问于2019-10-20得票数 0
1回答
, 'Term': 'unique_tokens', 'LocalFreq': 'local_freq_list','CorpusFreq': 'corpus_freq_list'} 我想从它创建一个dask通常，在Pandas中，可以通过以下方式轻松地将is导入Pandas df： df = pd.DataFrame({'Caps': cap_list, 'Term': uniqu
浏览 28提问于2019-12-17得票数 3
除了下面使用Scala的示例之外，我没有找到任何用于将矩阵转换为spark dataframe的pyspark代码。有人知道如何使用python吗？How to convert a mllib matrix to a spark dataframe?
浏览 61提问于2019-01-09得票数 1
回答已采纳
云服务器
ICP备案
对象存储
即时通信 IM
云直播
腾讯云开发者
