我正在尝试连接大量的数据帧，以便在pandas中做相关矩阵。因此，似乎我必须继续在右侧添加列，并将"Date“作为索引。但是，当我尝试使用50个数据帧执行此函数时，它以内存错误结束。
浏览 16提问于2020-03-28得票数 0
我有一本巨蟒字典，上面有一张股票清单。我试图在一个for循环中使用键(股票代码，如下所示)来迭代地为所有股票(以股票代码命名)生成多个pandas DataFrames，这些股票通过pandas DataReader填充了价格/成交量。我认为我在下面的代码中遇到了一个基本的python问题，因为创建的唯一DataFrame是"stockName
浏览 0提问于2013-08-22得票数 3
我正面临着一个问题，我必须在循环中生成大的DataFrames (每次计算两个2000x800熊猫的DataFrames需要50次迭代)。我希望将结果保存在内存中更大的DataFrame中，或者保存在类似字典的结构中。当使用pandas.concat时，我在循环中的某个点得到一个内存错误。当使用numpy.append将结果存储在numpy数组的字典中而不是Dat
浏览 3提问于2013-10-25得票数 5
回答已采纳
我的问题涉及几个excel文件，它们的名称、列标题、数据类型都是相同的，我正试图与熊猫一起阅读这些文件。在阅读完它们之后，我想比较所有数据帧中的“约定日期”列，如果它们匹配，则创建一个yes/no列。我仍然在学习Python和Pandas，所以我正在努力完成这个任务。到目前为止，这是我的代码：import glob
xlpath = "/Users/myname/Documents/Pytho
浏览 7提问于2022-02-26得票数 0
1回答
我在读取pickle文件(在循环中)或拼图文件时遇到了一些python/pandas内存丢失问题。我尝试使用内存分析器进行分析。", end='') 305 13289.527918.5 MiB 13536.3 MiB
浏览 17提问于2021-03-05得票数 0
回答已采纳
Python不会占用大量的内存，直到它将连接的文件写到磁盘上，然后迅速释放高达2gb的内存，然后停止。concat.pyimport os
# Turn them into dataframes
浏览 2提问于2019-12-13得票数 0
回答已采纳
1回答
我面临许多问题，集成/添加Pandas现有代码的Pandas代码。1)如果我将Pandas dataframes转换为，那么多个操作就无法很好地转换，因为Pandas dataframes似乎没有Pandas dataframes那么丰富。2)如果我选择使用Pandas和pandas在同一代码中处理不同的数据集，当通过map调用的函数包含任何熊猫数据<e
浏览 2提问于2017-12-26得票数 6
我一直试图在Pandas/Python中构建我自己的简单的矢量化回溯测试器，以创建一种简单的方法来测试一些交易策略。我一直在使用这个作为指南，它非常有用。我想做一个简单的投资组合回溯测试，比如10只股票/ETF。对于每只股票，我将有一个数据，它将有一个日期作为一个行索引和列将是开放，高，低，收盘价为该日期(金融时间序列数据)。做回溯测试的最有效的方法是什么：
对每个数据进行单独的工作，通过循环并对每个数据进行我的计算，然后总结最
浏览 0提问于2021-06-30得票数 0
1回答
我正在通过读取一些XLS文件import pandas as pd
files = os.listdir(path=path)
filepath = path + '\\' + file print(file)
dataframes[file] = pd.read_excel(
浏览 0提问于2018-05-26得票数 0
1回答
这是我用python开发的程序-Steps4 -我使用Python来建立Postgresql连接和游标。conn.commit()如果我的系统内存是< JSON文件的大小，这种
浏览 7提问于2021-11-13得票数 0
回答已采纳
在Windows机器上使用Python2.7，我在一个SQL查询中有一个大型的pandas DataFrame (大约700万行和20+列)，我想通过循环‘d来过滤这个查询，然后对结果过滤的数据运行计算我知道，如果我尝试使用Windows中的multiprocessing包中的标准方法，每个进程将生成一个大型DataFrame的新实例，供其自己使用，而我的内存将被消耗殆尽。因此，我试图使用我在上读到的信息，使我的Da
浏览 0提问于2016-02-24得票数 1
这是在Linux中，Python3.8。我使用ProcessPoolExecutor来加快大型数据文件列表的处理速度，但是由于它们都在每个进程中被复制，所以内存不足。我该如何解决这个问题？我的代码如下所示： # do some work on a single pandas DataFrame
# dfs is a
浏览 20提问于2022-02-17得票数 1
回答已采纳
我正在尝试使用pandas和matplotlib为两种类型的变量绘制比较条图，并从python中的csv文件中对它们进行计数。每种类型的变量数据都存储在不同的目录中。我为不同的数据和concate数据创建了两个循环，并绘制它们，但是在循环和附加数据方面存在一个问题。sorted(glob.glob(os.path.join(path, "*table.csv")))
# loop through the files and re
浏览 2提问于2020-02-18得票数 0
回答已采纳
有谁知道为什么使用Python3 3的functools.reduce()在加入多个PySpark DataFrames时比使用for循环迭代地加入同一个DataFrames会导致更糟糕的性能呢？具体来说，这会导致大幅度的减速，然后是内存不足的错误： returnleft_df.join
浏览 2提问于2017-07-07得票数 5
回答已采纳
1回答
是否可以像pandas数据帧一样在数据帧中加载完整的数据(30-50 to )？ 这里使用的数据库是Oracle。我试图加载它，但出现内存不足错误。此外，我喜欢在Python中工作。
浏览 14提问于2019-01-17得票数 0
当处理500个数据时，大约需要1.5秒，但我有大约100000个数据。大部分执行时间都花在了这个过程中。我想加快速度。
浏览 17提问于2021-01-20得票数 0
回答已采纳
2回答
问题
我注意到在迭代Pandas 对象时分配的内存在迭代后没有被释放。我使用resource.getrusage(resource.RUSAGE_SELF).ru_maxrss ()来度量process使用的活动内存总量。但是，我确实需要del所有引用通过迭代groupby返回的DataFrames的变量(这可能是一个痛苦，取决于内部for循环中的代码)。由此产生的内存使用与以前解决方案中的
浏览 4提问于2016-03-03得票数 19
1回答
我在pandas中运行了一个很长的ETL管道。我必须创建不同的pandas数据帧，并且我想为一些数据帧释放内存。我一直在阅读如何释放内存，我发现运行此命令不会释放内存： del dataframe 下面是这个链接：How to delete multiple pandas (python) dataframes，我需要将它放在一个列表中，然后删除一个列表，如下所示： lst = [pd.DataFrame()]
de
浏览 171提问于2020-10-15得票数 2
回答已采纳
我怀疑这与视图与数据副本问题有关，但我无法找到解决问题的答案。下面是一个复制问题的简化代码： import pandas as pd df2 = pd.DataFrame(data = [(1,2,3),(4,'a',6),(7,8,9)], columns =
浏览 3提问于2015-10-23得票数 2
回答已采纳
当我这么做时：内存没有释放。
您可能会争辩说，它已经发布，但是它似乎被使用了，但是它被标记为是免费的，并且将被Python重用。但是，如果我尝试创建一个新的800 k行DataFrame，并且只保留一小部分，那么内存的使用量就会增加。如果我再做一次，它就会无限地长出来。我使用的Python3.4.2和Pandas 0.18.1和numpy 1.11.1。1: sa
浏览 2提问于2016-07-03得票数 0
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号