代码非常慢，而且几乎永远不会结束- Dask dataframe将列分配给字典
Dask dataframe是一个基于分布式计算框架Dask的数据处理工具，它提供了类似于Pandas的数据结构和API，可以处理大规模的数据集。对于给定的代码，如果执行速度非常慢且几乎永远不会结束，可能存在以下几个可能的原因和解决方案：
- 数据量过大：如果处理的数据量非常大，可能会导致代码执行缓慢。可以考虑使用Dask dataframe的分布式计算能力，将数据分块处理，从而提高处理速度。此外，还可以考虑使用Dask的延迟计算特性，只在需要的时候才执行计算，避免一次性加载整个数据集。
- 算法复杂度高：如果代码中使用了复杂的算法或操作，可能会导致执行速度慢。可以尝试优化算法，减少不必要的计算或使用更高效的算法来提高执行速度。
- 内存不足：如果数据量过大，超出了可用内存的限制，可能会导致代码执行缓慢或崩溃。可以考虑增加可用内存，或者使用Dask dataframe的分布式计算能力，将数据分块处理，减少内存占用。
- 网络通信延迟：如果使用了分布式计算，数据的传输和通信可能会成为性能瓶颈。可以考虑优化网络通信，例如使用更高带宽的网络连接，或者将数据存储在更接近计算节点的位置。
- 代码逻辑问题：代码中可能存在逻辑错误或死循环，导致代码执行永远不会结束。可以仔细检查代码逻辑，确保没有错误或死循环的情况发生。
对于Dask dataframe将列分配给字典的具体操作，可以参考Dask dataframe的官方文档，了解其具体用法和参数设置。根据具体需求，可以选择适合的Dask dataframe的API来实现将列分配给字典的操作。
腾讯云相关产品中，与数据处理和分析相关的产品有腾讯云数据仓库（Tencent Cloud Data Warehouse，CDW）、腾讯云数据湖（Tencent Cloud Data Lake，CDL）等。这些产品提供了大规模数据存储和处理的能力，可以与Dask dataframe结合使用，实现高效的数据处理和分析任务。
参考链接：
- Dask dataframe官方文档：https://docs.dask.org/en/latest/dataframe.html
- 腾讯云数据仓库产品介绍：https://cloud.tencent.com/product/cdw
- 腾讯云数据湖产品介绍：https://cloud.tencent.com/product/cdl
相关·内容
我有1M个dask数据帧行。我正在尝试为数据框的新列分配一个字典值。PS:我正在尝试使用进度条跟踪进度，那里的代码真的很快，高达67%，它挂起了。我的CPU和内存消耗非常少，但代码正在运行，感觉就像永远不会完成。
浏览 10提问于2020-05-31得票数 1
1回答
我正在尝试从字典中的remap数据到数据中的相应值，并且我在这方面是成功的。def remap(data,dict_labels):
浏览 1提问于2018-04-06得票数 2
回答已采纳
我正试图将Pandas DataFrame的一个元组转换为字典，因为我需要dict稍后调用API。我有一个完整的Dataframe，从它迭代一个for循环来获取其中的所有数据。这是代码
for item in df.itertuples():我也尝试使用dict关键字来转换元组，但是有以下错误：cannot convert dictionary update sequence
浏览 2提问于2022-07-05得票数 0
回答已采纳
1回答
另一个数据文件名为sensors，索引的日期时间索引为FREQ1M，并且有大约600个列，每个列用于一个传感器id。本质上，对于每个links行，我希望使用开始值和偏移值作为时间范围，从sensors中分割相关的行，通过获取平均值将其跨行聚合，然后水平地将单行均值传感器值连接到links数据。我用下面的Pandas代码成功地做到了这一点，它可以工作，但是我有很多数据，而且速度非常慢。(*mean_sensors_list)
在下面的代码中使用使用<em
浏览 0提问于2021-05-06得票数 0
2回答
目前，我正在创建一系列列，其中包含基于我正在使用的Dataframe中的日期的布尔值。我觉得我的代码非常清楚它在做什么，而且有人可以很容易地遵循它。然而，我的问题是，这段代码实际上运行得非常慢。
浏览 0提问于2019-09-05得票数 1
回答已采纳
1回答
的目标：加快在大数据帧(190万行)上应用函数行的速度
尝试：使用dask map_partitions，其中分区==核数。问题：--我需要一种将每个函数的输出组合成最终数据的方法。我尝试使用df.append，在这里我会将每个数据块附加到一个新的dataframe中并返回这个dataframe。如果我理解Dask，那么Dask应该将它们组合成一个大的DF。不幸的是，这一行正在触发一个错误(ValueError:无法将输入数组从形状(56)广播到形状(1))。这让我相信
浏览 0提问于2018-07-30得票数 0
回答已采纳
我想要获取一个大约有26,000行的大型数据帧foodList，并将列foodList‘’food_quant‘与数据帧foodConversions中的某个值相乘。为了从foodConversions中确定这个值，另一个列foodList‘’food_name‘有一个对应于foodConversions索引的字符串。我这样做是为了将克不同的食物转化为卡路里，而每种食物类型都有不同的卡路里含量。我试过做嵌套循环来遍历foodConversions中的每个值，看看它是否等于foodList‘’food_name‘，但这非常<
浏览 61提问于2019-11-04得票数 2
回答已采纳
我正在尝试一个小型POC，尝试按&聚合来减少熊猫和Dask中来自大型CSV的数据，而且我观察到内存使用率很高和/或比我预期的处理时间慢。有没有人对蟒蛇/熊猫/杜克诺布有什么改进的建议？* size per block，但当块大小只有6.4MB时，我预计内存的总使用量不会达到9GB。我不知道为什么它的内存使用量猛增到9GB以获得1GB的csv输入我的代码
我不能共享CSV，但是它有一个整数列，后面是8个文本<e
浏览 2提问于2021-02-11得票数 1
由于该数据库所依赖的软件使用不正确，因此将值分配给了B列，而B列本应分配给A列。Column_A Column_B30.0000 0.0000
浏览 5提问于2019-10-29得票数 0
回答已采纳
1回答
我正在创建一个python脚本，它驱动一个旧的fortran代码来定位地震。我希望将输入参数更改为python脚本中的fortran代码，并将结果以及生成它们的值记录在dataframe中。每次运行的结果也可以方便地放入数据帧，从而导致我有一个嵌套的dataframe (IE是分配给数据帧的一个元素的数据)。如果some_operation函数返回一个列表、字典等，那么它似乎工作得很好。
应该以这种方式使用DataFrame吗？我知道dtype对象
浏览 1提问于2015-10-28得票数 1
回答已采纳
1回答
我正在做一些蒙特卡罗的模型，并认为达斯克可能是非常有用的这一目的。在最初的35个小时左右，一切运行相当“顺利”(除了风扇的噪音，使人感觉到计算机正在起飞)。然而，计算机已经变得“安静”，CPU的使用率(如Spyder中所显示的)几乎没有超过20%。模型运行是按顺序进行的(不是并行的)，每个运行大约需要4秒。今天我在做其他事情的时候发生了这样的事情。我过去曾尝试过使用，但它挂起了0%，直到计算结束前几秒钟。
为了清楚，上传模型和必要的数据将是非常复杂的。最后，我没有尝试用.compute()__来获取单个大熊猫.co
浏览 0提问于2018-10-08得票数 2
回答已采纳
len(df)df = dask.dataframe.from_delayed([dask.delayed(read_file)(x, indx) for (indx, x) in enumerate(files_list)])
df.divisions = list(range但是，最后的to_parquet调用将永远挂起。在
浏览 12提问于2022-03-15得票数 2
回答已采纳
我是Pandas的新手，看到有许多方法可以更改列标题。例如，set_axis命令的工作方式如下：>>> import numpy as np>>> df_pretty = df.set_axis(['Long label
浏览 15提问于2018-01-14得票数 2
回答已采纳
2回答
如果我首先调用pandas.get_dummies(df)将分类列转换为1&0，然后调用to_sparse(fill_value=0)，这将花费相当长的时间，这比我所期望的一个具有1200万个条目(大部分为零即使我将零从原始文件中删除并调用to_sparse() (因此填充值为NaN)，也会发生这种情况。无论我是传递kind='block'还是kind='integer'，都会发生这种情况。下面是一些代码，用于创建一个示例数据集，其中包含3列浮点数据和1<e
浏览 4提问于2015-08-08得票数 32
我有一个包含2列客户Id、集群的数据帧(df_cluster)。大约有13个集群，我正在尝试使用python中的apply()为每个集群分配一个名称。下面是代码 if df['cluster'] == 1: elif df['cluster'] ==
浏览 0提问于2020-10-15得票数 0
dask.dataframe as dd# definition of csv fields我已经注意到，工人死亡与我的机器的磁盘达到极限有关，每当工人死亡时，就会释放一些空间。在开始处理时，我有大约37 Gb的空闲磁盘空间。我对达斯克很陌生，所以有几个问题要问：
在将索引转储到拼花文件之前设置索引是个好主意吗？在接下
浏览 7提问于2021-03-02得票数 0
2回答
我不会删除这个问题，因为我认为它仍然是一个有效的问题，而且我没有一个好的答案。我有两张数据。我想做一种连接，这样就可以将点分配到它们所处的每一个区间。我一直在想
我一开始打
浏览 9提问于2017-02-01得票数 5
回答已采纳
2回答
无法弄清楚如何将字符串结果('color_hek')作为单独的列添加回数据帧(df)？#importing librariesdata = [[0,0,0], [0,0,0]]
#looping through the dataframe to apply the functio
浏览 23提问于2019-09-28得票数 1
回答已采纳
5回答
我有一个我想要理解的密码，我需要帮助。Class_numbers=np.array(['a','b','c'])print("Students counts per class:\n{}".format(产出：{'a':
浏览 1提问于2018-04-11得票数 7
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
