应用于滚动数据帧太慢(pandas 0.23.4)
滚动数据帧太慢是指在使用pandas 0.23.4版本进行滚动计算时出现的性能问题。滚动计算是指在时间序列数据中，对数据进行滑动窗口操作，例如计算移动平均值或滚动求和等。
为了解决滚动数据帧太慢的问题，可以采取以下几种方法：
- 升级pandas版本：由于pandas持续进行性能优化和bug修复，较新版本的pandas可能已经解决了滚动数据帧太慢的问题。建议升级到最新版本的pandas，以获得更好的性能。
- 优化代码逻辑：检查滚动计算的代码逻辑，确保使用了高效的算法和数据结构。避免使用循环等低效的操作，尽量使用pandas提供的向量化操作。
- 减少数据量：如果数据量过大导致滚动计算太慢，可以考虑减少数据量。可以通过降采样、数据清洗或者只计算部分时间窗口等方式来减少数据量。
- 并行计算：如果滚动计算可以并行化，可以考虑使用并行计算的方法来加速计算过程。可以使用Python的多线程或多进程库，如concurrent.futures或multiprocessing，将计算任务分配到多个线程或进程中进行并行计算。
- 使用其他库：如果pandas在滚动计算方面的性能无法满足需求，可以考虑使用其他专门针对滚动计算优化的库，如Dask、Vaex等。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云计算服务：https://cloud.tencent.com/product/cvm
- 腾讯云数据库：https://cloud.tencent.com/product/cdb
- 腾讯云对象存储：https://cloud.tencent.com/product/cos
- 腾讯云人工智能：https://cloud.tencent.com/product/ai
- 腾讯云物联网：https://cloud.tencent.com/product/iot
- 腾讯云移动开发：https://cloud.tencent.com/product/mobdev
- 腾讯云区块链：https://cloud.tencent.com/product/baas
- 腾讯云元宇宙：https://cloud.tencent.com/product/mu
相关·内容
我有一个数据框架，对于多个日期的多个产品，我有一些要计算滚动指标的数值：.apply(np.nanmean, raw=True)
它们可以工作，但相当慢:对于大约200万行和20个数字，在我的笔记本电脑上计算一个滚动的
浏览 5提问于2018-12-17得票数 1
1回答
我有一个从pdf中提取表格数据的代码，我想将数据框转换为字典，如果我在tabula中提到输出为JSON，它也会给出不需要的坐标。我只想要表格中的数据。如果将数据框转换为字典，则可以继续进行其他处理工作 from tabula import read_pdfimport pandas aswww.uncledavesenterprise.com/file/health/Food%20Calories%20List.p
浏览 19提问于2020-07-03得票数 0
回答已采纳
我在使用result_type关键字将函数应用于数据框以添加2列时遇到类型错误。这在我的本地环境下运行得很好，它也使用pandas0.23.4，这看起来很奇怪。
浏览 3提问于2021-03-30得票数 0
这就是我的问题，我有一个这样的数据框架：S3 0 5 9S1 6 11 12S4 4 8 8df.mean()df.mean().mean()
但是这个技巧不适用于计算标准差。这对于mean来说不是问题，但它是针对std的，因为pandas函数默认使用ddof=1，而不像numpy函数中使用ddof=0。
浏览 0提问于2014-08-05得票数 46
回答已采纳
1回答
假设我有两个维度相同的数组:一个索引数组idx和一个值数组val import numpy as np
[13, 10, 18],val = np.round(np.random.uniform(0, 100, 9).reshape((3, 3)), 1)
# array([[30.5, 9.8, 68.4],
# [44. , 12.2, 49
浏览 11提问于2019-01-25得票数 1
回答已采纳
2回答
index_col=0, header=0) AttributeError: 'list' object has no attribute 'to_excel' 似乎正在发生的情况是，appended_list的每个元素(数据</
浏览 16提问于2020-10-18得票数 1
回答已采纳
我有一个带有multindex('date'，'class')的pandas (v.0.23.4)数据帧。1 5899 4 7 在'2019-06-30‘中缺少3类，因为没有数据
浏览 11提问于2020-01-19得票数 1
回答已采纳
1回答
我有一个具有多索引(Date，InputTime)的数据帧，该数据帧的列(Value，Id)中可能包含一些NA值。我想要填充正向值，但只按日期填充，而且我找不到以一种非常有效的方式这样做的方法。下面是我拥有的数据帧类型：下面是我想要的结果：因此，为了按日期正确填充，我可以使用groupby(level=0)函数。groupby很快，但是应用于数据帧group by date的填充函数实在太慢了
浏览 2提问于2015-10-08得票数 5
1回答
我有两个不同的(非常大的)数据帧(详细信息如下)。我需要合并他们两个人的数据。由于这些数据帧非常庞大(第一个数据帧有数百万行，第二个数据帧有数千行)，我尝试使用AWS EMR服务。但我不太明白它是如何在那里完成的，我看到的教程大多只显示了一个数据帧的说明。所以，我一直想知道如何使用pyspark来处理两个不同的数据帧。以下是详细信息：
第一个数据
浏览 11提问于2021-06-03得票数 0
回答已采纳
我收到了如下的滴答数据:它将dict嵌套为'olhc‘和’深度‘。同样，“深度”被嵌套为“买入”和“卖出”。这里我面临着更多的问题。: 1500, 'price': 90.0, 'orders': 1}, ]
我想夷平整个数据和保存到熊猫数据与所有字段在单独的列
浏览 0提问于2018-10-22得票数 0
回答已采纳
我正在尝试优化或避免pandas Groupby.apply()方法，该方法接受我的用户定义函数并将其应用于每个ID初始数据帧3333 NAN 2 3 (Random Pick)
apply()方便地聚合了所有3个ID，得到的数据帧是
浏览 3提问于2019-07-04得票数 0
1回答
我有一个pyspark管道(包含估算和一个机器学习模型)和一个pandas数据帧。我是否可以在不将其转换为Pyspark dataframe的情况下将管道应用于此pandas数据帧？如果不可能，我如何有效地使用pyspark管道来生成对pandas数据帧的预测？
浏览 3提问于2021-09-13得票数 1
1回答
Pandas滚动应用乘法
、、、
我本以为这是pd.DataFrame().rolling()或pd.Series().rolling()的基本应用程序，但pandas滚动函数似乎不能处理应用于滚动窗口的标量乘法；我希望我错了，有人能发现错误我尝试取一个序列(或数据帧)的滚动窗口，并将该序列/数据帧的每一行乘以一个权重的序列/数据帧(这些权重已经预先计算好了)。0.1405310, 0.1854318, 0.24
浏览 183提问于2021-03-31得票数 1
1回答
我希望对时间序列使用模板匹配，并且我希望能够将其移植到非常大的数据集。目标是在相对较长的时间序列中寻找许多相对较短的一维模式。关于如何在Dask中做到这一点，有什么建议吗？
浏览 2提问于2019-10-18得票数 0
默认情况下，Pandas数据帧to_csv()执行不需要的格式转换。 我有一个Excel工作表，其中包含引用web应用程序中的选项项的整数值的列。如果我将我的数据框导出到Excel中，整数值将被正确地保留。 我在Mac OSX Mojave上的虚拟环境中使用Pandas 0.23.4。 如有任何帮助，我们不胜感激！
浏览 51提问于2019-04-10得票数 1
回答已采纳
我有一个这样的数据帧 index userID OtherIDs1 abcdef3007abcdef2003 [test339, test968, test87, test678]
4 abcdef3000 [test129, test99, test921, test909] 生成此数据帧的代码将每天运行我需要将其上传到现有数据库中名为"result“的表中。我必须检查
浏览 29提问于2020-11-09得票数 0
回答已采纳
我想将函数f应用于pandas DataFrame的每一行中的许多切片。例如，DataFrame df将如下所示：因此，我有一个2行乘49列的数据帧，并且我的函数需要应用于两行中7个数据点的每个后续切片，以便结果数据帧看起来与输入数据帧相同。所以我想创建一个循环或其他
浏览 9提问于2014-11-16得票数 1
在最初的两行之后，文件中的数据行很少。由于有两个头文件，pandas给了我一个多索引的数据帧，这很好。dataframe = pandas.readexcel(filepath, header=[0,1]) 这是问题所在。在我的一个excel文件中，标题行有65个excel列，有些数据行有66列。熊猫无法执行
dataframe = pandas.reade
浏览 0提问于2018-11-29得票数 0
我有两个pandas数据帧，每个都有相同的索引和列。我想创建第三个pandas数据帧，其中包含其他两个细胞的乘积。 这是我目前的解决方案，但它太慢了。import pandas as pd
for col, values
浏览 10提问于2019-05-11得票数 1
回答已采纳
data2468
假设窗口设置为2，即计算观察前后2个数据点的平均值。说第三个观察结果。在本例中，我们将使用(1+2+3+4+5)/5 = 3。以此类推。
浏览 1提问于2013-11-28得票数 7
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
