文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

搞定100万行数据：超强Python数据分析利器

作者：Maarten、Roman、Jovan 编译：1+1=6 1 前言 使用Python进行大数据分析变得越来越流行。...1亿行的数据集，对Pandas和Vaex执行相同的操作： Vaex在我们的四核笔记本电脑上的运行速度可提高约190倍，在AWS h1.x8大型机器上，甚至可以提高1000倍！最慢的操作是正则表达式。...流程都一样： pip install vaex 让我们创建一个DataFrame，它有100万行和1000列： import vaex import pandas as pd import numpy...在创建过滤后的数据流时，Vaex会创建一个二进制掩码，然后将其应用于原始数据，而不需要进行复制。这类过滤器的内存成本很低： 过滤10亿行数据流需要大约1.2 GB的RAM。...有了Vaex，你可以通过一个操作来完成，并且只需要一次数据传递！下面的group-by示例超过11亿行，只需要30秒。

2.2K1817

如何使用 Python 分析笔记本电脑上的 100 GB 数据

打开一个数据集会生成一个标准数据框，检查它的速度是否也很快： ? 纽约市黄色出租车数据预览 再一次注意，单元执行时间非常短。这是因为显示 Vaex 数据帧或列只需要从磁盘读取前 5 行和后 5 行。...所有这些统计数据都是通过对数据的一次传递来计算的。 ? 使用 describe 方法获得数据帧的高级概述。...它在过滤 Vaex 数据帧时，不会生成数据的副本，相反，它只创建对原始对象的引用，并在其上应用二进制掩码。掩码选择显示哪些行并用于将来的计算。这为我们节省了 100GB 的 RAM。...如果表达式或函数只使用来自 Numpy 包的 Python 操作和方法编写，Vaex 将使用机器的所有核心并行计算它。...另一方面，使用 Vaex，我们可以通过在聚合函数中提供选择来一步完成此操作。这非常方便，只需要一次传递数据，就可以获得更好的性能。在此之后，我们只需以标准方式绘制结果数据帧： ? ?

1.2K22
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    如何用Python在笔记本电脑上分析100GB数据（下）

    弧长计算公式涉及面广，包含了大量的三角函数和算法，特别是在处理大型数据集时，计算量大。如果表达式或函数只使用来自Numpy包的Python操作和方法编写，Vaex将使用机器的所有核心并行计算它。...注意，在上面的代码块中，一旦我们聚合了数据，小的Vaex数据帧可以很容易地转换为Pandas数据帧，我们可以方便地将其传递给Seaborn。...为此，我们将首先创建一个过滤器，它只选择用现金或卡支付的乘车。下一步是我最喜欢的Vaex特性之一：带有选择的聚合。其他库要求对以后合并为一个支付方法的每个单独筛选的数据帧进行聚合。...另一方面，使用Vaex，我们可以通过在聚合函数中提供选择来一步完成此操作。这非常方便，只需要一次传递数据，就可以获得更好的性能。在此之后，我们只需以标准方式绘制结果数据帧： ?...有了Vaex，你可以在短短几秒钟内浏览超过10亿行数据，计算各种统计数据、聚合信息，并生成信息图表，而这一切都是在你自己的笔记本电脑上完成的。它是免费和开源的，我希望你会给它一个机会!

    1.2K10

    Vaex ：突破pandas，快速分析100GB大数据集

    Python中的pandas是大家常用的数据处理工具，能应付较大数据集（千万行级别），但当数据量达到十亿百亿行级别，pandas处理起来就有点力不从心了，可以说非常的慢。...当然pandas可以通过chunk分批读取数据，但是这样的劣势在于数据处理较复杂，而且每一步分析都会消耗内存和时间。...vaex同样是基于python的数据处理第三方库，使用pip就可以安装。...； vaex的优势在于： 性能：处理海量数据， 行/秒； 惰性：快速计算，不占用内存； 零内存复制：在进行过滤/转换/计算时，不复制内存，在需要时进行流式传输； 可视化：内含可视化组件； API：...vaex则全过程都是零内存。因为它的处理过程仅仅产生expression（表达式），表达式是逻辑表示，不会执行，只有到了最后的生成结果阶段才会执行。而且整个过程数据是流式传输，不会产生内存积压。

    2.5K70

    Vaex ：突破pandas，快速分析100GB大数据集

    Python中的pandas是大家常用的数据处理工具，能应付较大数据集（千万行级别），但当数据量达到十亿百亿行级别，pandas处理起来就有点力不从心了，可以说非常的慢。...当然pandas可以通过chunk分批读取数据，但是这样的劣势在于数据处理较复杂，而且每一步分析都会消耗内存和时间。...下面用pandas读取3.7个GB的数据集（hdf5格式），该数据集共有4列、1亿行，并且计算第一行的平均值。我的电脑CPU是i7-8550U，内存8GB，看看这个加载和计算过程需要花费多少时间。...vaex同样是基于python的数据处理第三方库，使用pip就可以安装。...； vaex的优势在于： 性能：处理海量数据， 行/秒； 惰性：快速计算，不占用内存； 零内存复制：在进行过滤/转换/计算时，不复制内存，在需要时进行流式传输； 可视化：内含可视化组件； API：

    3K31

    如何用Python在笔记本电脑上分析100GB数据（上）

    当您使用Vaex打开内存映射文件时，实际上没有数据读取。Vaex只读取文件元数据，比如磁盘上数据的位置、数据结构(行数、列数、列名和类型)、文件描述等等。那么，如果我们想要检查或与数据交互呢?...这是因为显示Vaex DataFrame或列只需要从磁盘读取前5行和后5行。这就引出了另一个重要的问题:Vaex只会在必要时遍历整个数据集，而且它会尽可能少地传递数据。...如果列的数据类型是numerical，则还将显示平均值、标准偏差以及最小值和最大值。所有这些统计数据都是通过一次数据传递计算的。 ? 使用“describe”方法获得数据帧的高级概述。...一旦我们交互式地决定我们想要关注纽约市的哪个区域，我们可以简单地创建一个过滤后的数据aframe: ? 上面代码块最酷的地方是它需要的内存可以忽略不计！过滤Vaex数据帧时，不会生成数据的副本。...结合上两个部分的分析，早上8点到10点是上班的好时间：一个人每英里可以得到一个好的车费和一个好的小费。

    1.1K21

    使用Python『秒开』100GB+数据！

    这是因为显示Vaex DataFrame或列只需要从磁盘读取前5行和后5行。这就引出了另一个重要的问题：Vaex只会在必要时遍历整个数据集，而且它会尽可能少地遍历数据。 现在开始清理数据集。...在过滤Vaex DataFrame时，不会生成数据副本。相反，只创建对原始对象的引用，并在其上应用二进制掩码。掩码选择显示哪些行并用于将来的计算。...让我们数一数每一名乘客的出行次数。使用value_counts方法很容易做到这一点： ? 应用10亿行的“value_counts”方法只需要20秒！...如果表达式或函数仅使用来自Numpy包的Python操作和方法编写，Vaex将使用计算机的所有核心并行地计算它。...结论 有了Vaex，你可以在短短几秒钟内浏览超过10亿行数据，计算各种统计数据、聚合信息，并生成信息图表，而这一切都是在你自己的笔记本电脑上完成的。而且它是免费和开源的！

    1.4K01

    0.052秒打开100GB数据？这个Python开源库这样做数据分析

    它可以在N维网格上计算每秒超过十亿（10^9）个对象/行的统计信息，例如均值、总和、计数、标准差等 。使用直方图、密度图和三维体绘制完成可视化，从而可以交互式探索大数据。...为什么要选择vaex 性能：处理海量表格数据，每秒处理超过十亿行 虚拟列：动态计算，不浪费内存 高效的内存在执行过滤/选择/子集时没有内存副本。 可视化：直接支持，单线通常就足够了。...这是因为显示Vaex DataFrame或列仅需要从磁盘读取前后5行数据。这将我们引向另一个重点：Vaex只会在需要时遍历整个数据集，并且会尝试通过尽可能少的数据传递来做到这一点。...无论如何，让我们从极端异常值或错误数据输入值开始清除此数据集。一个很好的方法是使用describe方法对数据进行高级概述，其中显示了样本数、缺失值数和每一列的数据类型。...如果列的数据类型为数字，则还将显示平均值、标准偏差以及最小值和最大值。所有这些统计信息都是通过对数据的一次传递来计算的。 ?

    1.3K20

    0.052s 打开 100GB 数据，这个开源库火爆了！

    它可以在N维网格上计算每秒超过十亿（10^9）个对象/行的统计信息，例如均值、总和、计数、标准差等 。使用直方图、密度图和三维体绘制完成可视化，从而可以交互式探索大数据。...为什么要选择vaex？ 性能：处理海量表格数据，每秒处理超过十亿行 虚拟列：动态计算，不浪费内存 高效的内存在执行过滤/选择/子集时没有内存副本。 可视化：直接支持，单线通常就足够了。...打开数据集会生成一个标准的DataFrame并对其进行快速检查： 注意，单元执行时间太短了。这是因为显示Vaex DataFrame或列仅需要从磁盘读取前后5行数据。...一个很好的方法是使用describe方法对数据进行高级概述，其中显示了样本数、缺失值数和每一列的数据类型。如果列的数据类型为数字，则还将显示平均值、标准偏差以及最小值和最大值。...同时数字表明，一些幸运的司机仅凭开一次出租车便几乎成为了百万富翁。让我们看一下在相对合理的范围内这些数量的分布： 纽约超过 10 亿次出租车行程的车费、总额和小费的分布。

    82310

    快使用Vaex DataFrame，每秒数亿数据算起来 ⛵

    /article-detail/393 声明：版权所有，转载请联系平台与作者并注明出处 收藏ShowMeAI查看更多精彩内容图片做 Python 数据分析和机器学习的同学都非常喜欢 pandas 这个工具库...图片Vaex 是一个非常强大的 Python DataFrame 库，能够每秒处理数亿甚至数十亿行，而无需将整个数据集加载到内存中。...上述过程的详细说明如下：① 当我们使用vaex.open()对于 CSV 文件，Vaex 将流式处理整个 CSV 文件以确定行数和列数，以及每列的数据类型。...数字越小，读取速度越快，但数据类型推断可能不太准确（因为不一定扫描完所有数据）。在上面的示例中，我们使用默认参数在大约 5 秒内读取了 76 GB 的 CSV 文件，其中包含近 2 亿行和 23 列。...Vaex 对云非常友好——它可以轻松地从任何公共云存储下载（流式传输）数据。并且 Vaex 只会获取需要的数据。例如，在执行 df.head() 时，只会获取前 5 行。

    2.1K72

    对比Vaex, Dask, PySpark, Modin 和Julia

    我们将看一下Dask，Vaex，PySpark，Modin（全部使用python）和Julia。...这些工具可以分为三类： 并行/云计算— Dask，PySpark和Modin 高效内存利用— Vaex 不同的编程语言— Julia 数据集 对于每种工具，我们将使用Kaggle欺诈检测数据集比较基本操作的速度...主要操作包括加载，合并，排序和聚合数据 Dask-并行化数据框架 Dask的主要目的是并行化任何类型的python计算-数据处理，并行消息处理或机器学习。扩展计算的方法是使用计算机集群的功能。...作者创建该库是为了使数据集的基础分析更加快速。Vaex虽然不支持Pandas的全部功能，但可以计算基本统计信息并快速创建某些图表类型。 Vaex语法 Pandas和vaex语法之间没有太多区别。 ?...从1.5开始，您可以通过julia -t n或julia --threads n启动julia，其中n是所需的内核数。 使用更多核的处理通常会更快，并且julia对开箱即用的并行化有很好的支持。

    4.8K10

    【Python篇】深入挖掘 Pandas：机器学习数据处理的高级技巧

    在【Python篇】详细学习 pandas 和 xlrd：从零开始我们讲解了Python中Pandas模块的基本用法，本篇将对Pandas在机器学习数据处理的深层次应用进行讲解。...第七部分：Pandas 与大数据的结合：PySpark 和 Vaex 虽然 Pandas 对于中小规模数据处理足够强大，但面对 TB 级别的大数据时，它的单机性能可能会显得捉襟见肘。...这时我们可以结合 Pandas 与大数据处理框架，如 PySpark 和 Vaex，来实现大规模数据的高效处理。...pip install vaex 使用 Vaex 读取和处理大数据： import vaex # 读取大型 CSV 文件 df_vaex = vaex.open('large_file.csv')...不会一次性加载整个数据集到内存中，因此可以处理比内存大得多的数据集。

    23910

    pandas.DataFrame()入门

    访问列和行：使用列标签和行索引可以访问​​DataFrame​​中的特定列和行。增加和删除列：使用​​assign()​​方法可以添加新的列，使用​​drop()​​方法可以删除现有的列。...数据过滤和选择：使用条件语句和逻辑操作符可以对​​DataFrame​​中的数据进行过滤和选择。数据排序：使用​​sort_values()​​方法可以对​​DataFrame​​进行按列排序。...不适合处理实时数据流：pandas.DataFrame()需要一次性读取所有数据，不适合处理实时生成的数据流。...类似的工具：Apache Spark：Spark是一个开源的分布式计算框架，提供了DataFrame和Dataset等数据结构，支持并行计算和处理大规模数据集，并且可以与Python和其他编程语言集成。...Vaex：Vaex是一个高性能的Python数据处理库，具有pandas.DataFrame的类似API，可以处理非常大的数据集而无需加载到内存中，并且能够利用多核进行并行计算。

    28010

    Python音频信号处理问题汇总

    量化位数：用多少bit表达一次采样所采集的数据，通常有8bit、16bit、24bit和32bit等几种如果你需要自己录制和编辑声音文件，推荐使用Audacity(http://audacity.sourceforge.net...在短时分析中，将语音信号分为一段一段的语音帧，每一帧一般取10-30ms，我们的研究就建立在每一帧的语音特征分析上。...\frac{N-overlap}{inc}=\frac{N-wlen+inc}{inc}通常的选择是帧长25ms（下图绿色），帧移为10ms（下图黄色）。接下来的操作是对单帧进行的。...第一个是一个包含着特征的大小为nfilt的numpy数组，每一行都有一个特征向量。第二个返回值是每一帧的能量。...你可以在这里使用numpy窗口函数 例如：winfunc=numpy.hamming复制MFCC特征和过滤器特征from python_speech_features import mfcc, logfbank

    2.4K40

    Python音频信号处理

    量化位数：用多少bit表达一次采样所采集的数据，通常有8bit、16bit、24bit和32bit等几种 如果你需要自己录制和编辑声音文件，推荐使用Audacity(http://audacity.sourceforge.net...在短时分析中，将语音信号分为一段一段的语音帧，每一帧一般取10-30ms，我们的研究就建立在每一帧的语音特征分析上。...\frac{N-overlap}{inc}=\frac{N-wlen+inc}{inc} 通常的选择是帧长25ms（下图绿色），帧移为10ms（下图黄色）。接下来的操作是对单帧进行的。...第一个是一个包含着特征的大小为nfilt的numpy数组，每一行都有一个特征向量。第二个返回值是每一帧的能量。...你可以在这里使用numpy窗口函数 例如：winfunc=numpy.hamming MFCC特征和过滤器特征 from python_speech_features import mfcc, logfbank

    4.9K30

    Pandas 秘籍：1~5

    同样，tail方法返回最后的n行。 另见 Pandas read_csv函数的官方文档 访问主要的数据帧组件 可以直接从数据帧访问三个数据帧组件（索引，列和数据）中的每一个。...Python 字典和集合也通过哈希表实现，无论对象的大小如何，都可以在恒定时间内非常快速地进行成员资格检查。 注意values数据帧属性如何返回 NumPy N 维数组或ndarray。...Python 算术和比较运算符直接在数据帧上工作，就像在序列上一样。 准备 当数据帧直接使用算术运算符或比较运算符之一进行运算时，每列的每个值都会对其应用运算。...由于数据帧中有九列，因此每所学校的缺失值最大数目为九。 许多学校缺少每一列的值。 步骤 3 删除所有值均缺失的行。...正是这个索引将 Pandas 数据结构与 NumPy 的 n 维数组分开。 索引为数据的每一行和每一列提供了有意义的标签，而 Pandas 用户可以通过使用这些标签来选择数据。

    37.6K10

    Modin，只需一行代码加速你的Pandas

    Modin是一个Python第三方库，可以通过并行来处理大数据集。它的语法和pandas非常相似，因其出色的性能，能弥补Pandas在处理大数据上的缺陷。...Pandas是python数据分析最常用的工具库，数据科学领域的大明星。...❝Ray是基于python的并行计算和分布式执行引擎。 Dask是一个高性能并行分析库，帮助Pandas、Numpy处理大规模数据。 ❞ 那Modin有何特别之处呢？...append() append在Pandas中用来添加新行，我们来看看Modin和Pandas做append操作时的速度差异。...「Modin Vs Vaex」 Modin可以说是Pandas的加速版本，几乎所有功能通用。 Vaex的核心在于惰性加载，类似spark，但它有独立的一套语法，使用起来和Pandas差异很大。

    2.2K30

    你可能不知道的pandas的5个基本技巧

    使用正则表达式进行文本搜索 我们的t恤数据集有3种尺寸。假设我们想要过滤小的和中号的。...一种繁琐的过滤方式是: df[(df['size'] == 'small') | (df['size'] == 'medium')] 这很糟糕，因为我们通常将其与其他过滤器结合在一起，这使得表达式不可读...df[df['size'].str.contains('small|medium')] 带有“contains”函数的过滤器可读性更强，更容易扩展和与其他过滤器组合。...大内存数据集 pandas甚至不能读取比主内存数据集更大的数据。它抛出MemoryError或内核崩溃。但是要处理一个大数据集，你不需要Dask或Vaex这样的包，只需要一些小技巧。...True, chunksize=1000) df = pd.concat([chunk[chunk['field'] > constant] for chunk in iter_csv]) 分块读取数据集比一次全部读取要慢

    1.1K40

    推荐一个python库：Vaex

    推荐今天看到一个不错的python库。用于日常的数据挖掘工作非常不错。 Vaex是一个开源的DataFrame库。...先感受下速度，如果在笔记本电脑上运行： Pandas将按每秒数百万字符串的顺序进行； Spark将以每秒1000万个字符串的顺序执行； Vaex每秒可以处理大约1亿个字符串； Vaex可以对表格数据集进行可视化...、探索、分析，甚至机器学习，这些数据集和你的硬盘驱动器一样大。...它可以在一个n维网格上每秒计算超过10亿（10^9）个对象的平均值、和、计数、标准差等统计信息。 可视化使用直方图、使用直方图、密度图和3D立体渲染进行可视化。...为此，Vaex采用了内存映射、高效的外核算法和延迟计算等概念来获得最佳性能（不浪费内存）。所有这些都封装在一个类似Pandas的API中。

    1.5K30
    点击加载更多

    扫码

    添加站长 进交流群

    领取专属 10元无门槛券

    手把手带您无忧上云

    扫码加入开发者社群

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2025 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

      领券