pandas apply和applymap函数在大型数据集上运行需要很长时间
pandas是一个开源的数据分析和数据处理工具，提供了丰富的函数和方法来处理和操作数据。其中，pandas的apply和applymap函数用于对数据集中的元素进行自定义的操作。
- pandas apply函数：
- 概念：apply函数是pandas中的一个高级函数，用于对DataFrame或Series中的每个元素应用自定义函数。
- 分类：apply函数可以分为两种类型，分别是apply和applymap。
- 优势：apply函数能够高效地处理大型数据集，通过向量化操作，避免了显式的循环。
- 应用场景：apply函数适用于需要对数据集中的每个元素进行复杂计算或处理的场景，如数据清洗、特征工程等。
- 推荐的腾讯云相关产品：腾讯云提供了云数据库 TencentDB for MySQL，可以存储和处理大型数据集。您可以使用该产品来存储和处理数据，并在apply函数中调用相关的数据。
- pandas applymap函数：
- 概念：applymap函数是pandas中的一个方法，用于对DataFrame中的每个元素应用自定义函数。
- 分类：applymap函数是专门用于DataFrame的，而apply函数可以用于DataFrame和Series。
- 优势：applymap函数同样能够高效地处理大型数据集，通过向量化操作，避免了显式的循环。
- 应用场景：applymap函数适用于需要对DataFrame中的每个元素进行复杂计算或处理的场景，如数据清洗、特征工程等。
- 推荐的腾讯云相关产品：同样推荐使用腾讯云的云数据库 TencentDB for MySQL，以支持applymap函数中的数据操作。
总结：pandas的apply和applymap函数在大型数据集上运行需要很长时间，但通过向量化操作和高效的数据处理能力，可以提高处理速度。对于大型数据集的处理，建议使用腾讯云的云数据库 TencentDB for MySQL来存储和处理数据，并在apply和applymap函数中调用相关的数据。这样可以充分利用腾讯云的高性能计算和存储资源，提高数据处理效率。
参考链接：
- pandas官方文档：https://pandas.pydata.org/docs/
- 腾讯云数据库 TencentDB for MySQL产品介绍：https://cloud.tencent.com/product/cdb
相关·内容
我在数据帧上应用了两个函数res = res.applymap(lambda x: x.strip('"')这需要很长时间才能运行。 A 0 [1,4,3,c]
1 [t,g,h,j
浏览 2提问于2018-07-11得票数 1
回答已采纳
2回答
我是PySpark和Pandas的新手，我运行以下Pandas函数来混淆包含字符串的列(例如:输入'Luke‘将导致'ulek')def jumble_string(column: pd.Series)-> pd.Series:
return column.apply(lambda x: None if x==None else ''.join(r
浏览 1提问于2021-08-30得票数 1
回答已采纳
我正在用重力场对数据进行地理编码。我编写了一个简单的函数，用于输入国家名称，并返回纬度和经度。我使用apply来运行函数，它返回一个Pandas系列对象。我似乎不能把它转换成数据格式。# Import libraries import pandas as pd from geopy.geocoders import Nominatim(locate)
我得到了一个没有索引
浏览 0提问于2015-03-31得票数 6
回答已采纳
2回答
以下转换(ms -> datetime -> conver时区)需要很长时间(4分钟)运行，可能是因为我正在处理一个大型数据文件： df[column] = d
浏览 1提问于2014-09-04得票数 4
回答已采纳
1回答
我认为我对map和applymap的理解相当好，但是我遇到了一个问题(如果有兴趣，请参阅以获得更多的背景)。( lambda x: x+90 )那么，我的问题是为什么在这里映射和应用映射不以类似的方式工作呢？python
或者更好的是通过这个不需要lambda的。df.applymap( dct.
浏览 1提问于2015-05-27得票数 8
回答已采纳
我正在处理大型数据集(> 100.000，>100)。原始格式为CSV。我使用pandas库将文件作为DataFrame读取。所有数据都必须是数值类型(浮点数的整数)，但是在原始CSV文件中经常会出现缺少数据点或错误字符串的情况。扫描整个CSV需要很长时间，因为根本找不到点。因此，我正在尝试生成一个函数或类，用来定位错误。并提供它们的列名和行名和&#x
浏览 13提问于2017-06-14得票数 2
1回答
我试图遍历我拥有的数据帧，并使用单元格内部的值，但我需要使用单元格所来自的列和行的名称。，因为我正在使用它们在另一个具有相关信息的数据框中查找值。我知道在pandas中for循环永远都会耗费时间，但是我还没有找到任何关于如何同时迭代行和列以及同时迭代的示例。这一点：这是行不通的，因为它只给出单元格中的值，而没有保持对单元格所在行和列的引用，并且：
df.appl
浏览 6提问于2016-02-06得票数 0
在Dask中是否存在与pandas.cut()等价的内容？到目前为止，我可以用熊猫来做这件事，但我想把它并行运行。所以我试着用达斯克。groupby方法工作得很好，但不幸的是，当我试图将数据存储
浏览 4提问于2017-02-24得票数 13
回答已采纳
我正在尝试对pandas数据帧中的记录进行条件计数。我是Python的新手，并且有一个使用for循环的有效解决方案，但是在大约200k行的大型数据帧上运行这个循环需要很长时间，我相信有一种更好的方法可以通过定义一个函数并使用apply来完成这一点，但是我在解决这个问题上遇到了麻烦创建一个包含两列的pandas数据帧：
impor
浏览 2提问于2020-06-07得票数 0
我刚开始使用WEKA进行数据挖掘。为什么多层感知器在具有2000+属性的数据集上运行时间很长？在相同数据集的情况下，最近邻在速度方面做得更好。
MLP中的hiddenLayer如何影响训练集的速
浏览 0提问于2018-04-27得票数 0
回答已采纳
我正在处理存储在S3桶(拼板文件)中的数据集，该数据集由总共30列的~165 million记录组成。现在，需求是首先groupby一个特定的ID列，然后根据数据为每个分组记录生成250+ features。使用多个Pandas功能和10+支持函数构建这些特性是相当复杂的。groupby函数应该生成~5-6 million records，因此最终的输出应该是6M x 250形状的数据。
现在，我已
浏览 4提问于2021-12-15得票数 0
1回答
我正在尝试将机器学习(Python和scikit- learning )应用于存储在CSV文件中的大型数据，该文件大约为2.2G。由于这是一个部分经验的过程，我需要多次运行脚本，这会导致pandas.read_csv()函数一次又一次地被调用，这需要很长时间。显然，这是非常耗时的，所以我想一定有一种方法可以加快读取数据的速度，比如以不同的格式存储数据或以某种方式缓
浏览 0提问于2016-11-08得票数 1
回答已采纳
我有一个名为"endata“的大型数据集-590万个数据点。这表示90天内的数据。数据集是单个向量。0.0187603772480992该函数
浏览 12提问于2020-06-05得票数 2
"C":[100,200,300,400]})目标：[10, 2, 3, 400]df.apply(lambda x: x[x.cols], axis=1)
不幸的是，这不是一个矢量化操作，并且在大型数据
浏览 0提问于2017-12-28得票数 10
回答已采纳
寻找一种快速的方法，使行在一个熊猫数据帧到一个有序的字典，而不是使用列表。列表是很好的，但是使用大型数据集将需要很长时间。我正在使用fiona GIS阅读器，行是有序的字典，模式给出了数据类型。我使用pandas连接数据。在许多情况下，行将具有不同的类型，所以我认为将其转换为带有string类型的numpy数组可能会有所帮助。
浏览 7提问于2013-09-25得票数 18
回答已采纳
我使用大型数据集，使熊猫组和群函数需要很长时间/使用太多的内存。我听过一些人说过，群比可能会很慢，但我很难找到更好的解决方案。1,1]4 1 [1]df_group = df.groupby('a')
df['list_of_b'] = df.apply(lambda row: df_group.get_
浏览 1提问于2016-04-06得票数 1
回答已采纳
我在一个csv文件中的一列中有将近一百万行数据。如果我绘制这一百万组数据，它将是一种包含5个峰值的波形函数。所以我做的第一件事就是将这个csv文件导入到pandas dataframe中。，这并不奇怪，它需要很长时间才能处理。所以我想知道有没有更有效的方法来处理这样的大型数据集？数据集非常复杂，因为峰值中的值在很大范围内上下波动。因此
浏览 9提问于2017-06-28得票数 0
1回答
通用问题：我有两个相似的数据框架(相同的形状，相同的变量，但值不同)。我使用了一个for循环来完成这个操作，这个循环横跨我的dataframe的列。现在，我希望使用df.applymap()或df.apply(np.vectorized
浏览 12提问于2021-06-28得票数 1
1回答
我试图在一个大型数据集上计算过去n天(n= 30)的滚动平均值。在Pandas中，我将使用以下命令：
temp = chunk.groupby('id_code').apply(lambda x: x.set_index('entry_time_flat').resample但是，为了保持代码的效率，最好在Dask数据帧上重现此函数，而无需将其转换为Pandas</e
浏览 11提问于2020-05-04得票数 1
我在一个MySQL DB中有500万行位于(本地)网络上(如此快速的连接，而不是在互联网上)。到DB的连接工作正常，但如果我尝试这样做这需要很长时间另外，我不知道它是挂在那里还是真的在检索信息。
我想问一下，对于那些在DB上处理大型
浏览 0提问于2015-07-29得票数 8
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
