文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

《高效R语言编程》6--高效数据木匠

这是本书最重要的一章，将涉及以下内容： 使用tidyr整理数据 使用dplyr处理数据 使用数据库 使用data.table处理数据 软件配置 library("tibble") library("tidyr...") library("stringr") library("readr") library("dplyr") library("data.table") 高效的tibble包 tibble定义了新的数据框...使用dplyr高效处理数据 这个包名的意思是数据框钳，相比基础R的优点是运行更快、与整洁数据和数据库配合好。函数名的部分灵感来自SQL。 ?...与基本R中类似函数不同，变量无需使用 $ 操作符就可直接使用，设计与magrittr包的%>%管道操作符一起使用，以允许每个数据阶段写成新的一行。其是一个大型包，本身可以看成一门语言。...数据库与dplyr 必须使用src_*()函数创建一个数据源。#　使用data.table()处理数据 是dplyr的替代，两个哪个好存在争议，最好学一个一直坚持下去。

1.9K20

R︱高效数据操作——data.table包（实战心得、dplyr对比、key灵活用法、数据合并）

data.table中，还有一个比较特立独行的函数： 使用:=引用来添加或更新一列（参考：R语言data.table速查手册） DT[, c("V1","V2") := list(round(exp(V1...在筛选列变量的数据，也可以与%in%集合运算联用（集合运算见博客：R语言︱集合运算）。..., -State) dplyr中是arrange函数，而data.table是setorder函数，同时降序的方式。...%>%的功能是用于实现将一个函数的输出传递给下一个函数的第一个参数。注意这里的，传递给下一个函数的第一个参数，然后就不用写第一个参数了。在dplyr分组求和的过程中，还是挺有用的。...，相对于对数据框的操作 这样就可以像普通的数据框一样使用，谢谢留言区大神！！！！

9.3K43
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    R语言学习笔记之——数据处理神器data.table

    合理选择一套自己的数据处理工具组合算是挺艰难的选择，因为这个涉及到使用习惯和迁移成本的问题，比如你先熟知了R语言的基础绘图系统，在没有强大的驱动力的情况下，你可能不太愿意画大把时间去研究ggplot2，...使用fread函数导入之后便会自动转化为data.table对象，这是data.table所特有的高性能数据对象，同时继承了data.frame传统数据框类，也意味着他能囊括很多数据框的方法和函数调用。...data.table列索引 列索引与数据框相比操作体验差异比较大，data.table的列索引摒弃了data.frame时代的向量化参数，而使用list参数进行列索引。...当然你要是特别不习惯这种用法，还是习惯使用merge的话，data.table仍然是支持的，因为他本来就继承了数据框，支持所有针对数据框的函数调用。...左手用R右手Python系列——数据合并与追加 长宽转换： 长宽转换仍然支持plyr中的melt/dcast函数以及tidyr中的gather/spread函数。

    3.6K80

    懒癌必备-dplyr和data.table让你的数据分析事半功倍

    接下来，我就为大家分享几个我在工作当中最常用来做数据分析用到的包，dplyr和data.table，我保证你get到这两个包后，就再也不想用R里面自带的基础包函数进行数据分析了！！...) 去重 distinct(df,V1,V2) 根据V1和V2两个条件来进行去重 在基础包里面也有一个去重函数unique() ※注意distinct()可以针对某些列进行去重，而unique()只能对整个数据框进行去重...mutate( ) 为数据增加新列 mutate(df,vnew1=v1-v2,vnew2=vnew1+v3) 与基础包里的transform()函数接近，但mutate可以使用你刚刚创建的column...找到合适的packages并学习使用它，绝对会让我们数据分析工作事半功倍！ 我们有没有发现dylyr包中函数使用的一些规律？ 有的！...①第一个参数都是数据集df ②查询条件都是关于如何操作数据集的，在列上面进行操作 ③返回的都是新的数据集，不会改变原始数据集 在介绍下一个包之前，我们先来引入一个dplyr包的综合运用： grouped

    2.5K70

    Python操控Excel：使用Python在主文件中添加其他工作簿中的数据

    标签：Python与Excel，合并工作簿 本文介绍使用Python向Excel主文件添加新数据的最佳方法。该方法可以保存主数据格式和文件中的所有内容。...图2 可以看出： 1.主文件包含两个工作表，都含有数据。 2.每个工作表都有其格式。 3.想要在每个工作表的最后一行下面的空行开始添加数据。如图2所示，在“湖北”工作表中，是在第5行开始添加新数据。...图3 接下来，要解决如何将新数据放置在想要的位置。 这里，要将新数据放置在紧邻工作表最后一行的下一行，例如上图2中的第5行。那么，我们在Excel中是如何找到最后一个数据行的呢？...图4 打开并读取新数据文件 打开新数据文件，从中获取所有非空的行和列中的数据。使用.expand()方法扩展单元格区域选择。注意，从单元格A2开始扩展，因为第1列为标题行。...图6 将数据转到主文件 下面的代码将新数据工作簿中的数据转移到主文件工作簿中： 图7 上述代码运行后，主文件如下图8所示。 图8 可以看到，添加了新数据，但格式不一致。

    7.9K20

    数据流编程教程：R语言与DataFrame

    在实际使用中，data.talbe::fread()的读取速度可以比原生的read.csv有3-10倍的提升速度。...其中最亮眼的是，R中的DataFrame和数据库之前可以以整个数据框插入的形式插入数据而不需要再拼接SQL语句。 以下是一个官方文档的示例： 三....(): 按列变量选择 filter(): 按行名称分片 slice(): 按行索引分片 mutate(): 在原数据集最后一列追加一些数据集 summarise(): 每组聚合为一个小数量的汇总统计，通常结合...data.table还参考了NoSQL中流行的Key-Value形式，引入了setkey()函数,为数据框设置关键字索引。...在R中使用DDF，我们不需要修改之前任何的代码，并且绕过Hadoop的绝对限制，就可以让data frame格式的数据，自动获得分布式处理的能力！

    3.9K120

    R语言数据分析利器data.table包 —— 数据框结构处理精讲

    因此，在对大数据处理上，使用data.table无疑具有极高的效率。这里我们主要讲的是它对数据框结构的快捷处理。...会将非数字转化为字符 data.table数据框也可使用dplyr包的管道，这里不作阐述。...showProgress，在工作台显示进程，当用file==""时，自动忽略此参数 verbose，是否交互和报告时间 data.table数据框结构处理语法 data.table[ i , j ,...by]    i 决定显示的行,可以是整型，可以是字符，可以是表达式，j 是对数据框进行求值，决定显示的列，by对数据进行指定分组，除了by ，也可以添加其它的一系列参数： keyby，with,nomatch...(x, v)] #取DT的x,v列上x="b",v=3的行 j 对数据框进行求值输出   j 参数对数据进行运算，比如sum,max,min,tail等基本函数，输出基本函数的计算结果，还可以用n输出第

    5.9K20

    R语言 数据框、矩阵、列表的创建、修改、导出

    数据框数据框的创建数据框来源主要包括用代码新建(data.frame)，由已有数据转换或处理得到(取子集、运算、合并等操作)，读取表格文件(read.csv,read.table等)及R语言内置数据函数...data.frame生成指定数据框的列名及列的内容，如代码所示，此时列名不需添加""，df1为变量名，格式为列名=列的向量*matrix矩阵与向量一样只允许同一种数据类型，否则会被转换，可以理解为二维的向量...$score 的列赋值新向量 df1新增列*新增列名与已有的列名不能一样，否则就是修改向量，默认添加到最后df1$p.value 的元素赋值修改数据框的连接merge函数可连接两个数据框，通过指定公共列使具有相同元素的行的列合并*merge函数可支持更复杂的连接，但通过inner_join等更为简便，后述test1 的标准差，并写出用户使用该函数的代码 。

    7.9K00

    「r」dplyr 里的 join 与 base 里的 merge 存在差异

    今天在使用连接操作时发现：虽然都是合并操作函数，dplyr 包里的 *_join() 和基础包里面的 merge() 存在差异，不同的数据结构，结果也会存在偏差。...相同的数据，不同的操作函数存在差异 在进行连接操作时，我们会发现 dplyr 的结果会报错！...所以使用 dplyr 提供的连接函数报错是正常的，但有意思的是，基础包提供的 merge() 函数可以完成连接操作，真是优秀（感兴趣的朋友可以看下测试下 merge 函数源代码）！...本质上是 data.table 体格的泛型函数不支持类似基础包中的操作。 如何编写代码支持对上述数据集的连接操作？...2 S1 S2 S2 S1 S2 更新 在后面的一些使用过程中发现基础包的 merge() 函数在进行连接操作时会输出有问题的结果，所以建议使用的小伙伴仔细检查结果。

    1.6K30

    R数据科学整洁之道：使用dtplyr处理大文件

    有群友问如果文件比较大，读入 R 比较慢怎么办？我告诉他用 data.table 包的 fread 读取。...作为后端，这样做的好处是显而易见的： 前端书写 dplyr 语法，简单、优雅 后端自动转换为 data.table 代码，提升速度 安装 install.packages("dtplyr") 使用...： df %>% lazy_dt() %>% some dplyr verbe %>% as_tibble() 首先，用 lazy_dt() 将数据框转换成“lazy”数据框 其次，使用各种...dplyr 动词对数据进行操作 最后，用函数将结果转换成数据框 最后需要指出的是，dtplyr 通常没有 data.table 快，如果追求极致速度，那么应该直接使用 data.table。...总的来说，dplyr 易用，但速度慢，data.table 速度快，但易用性差一些，而 dtplyr 在两者之间搭起一个桥梁，最终的趋势或许是两者合二为一。

    59510

    R语言︱情感分析—基于监督算法R语言实现（二）

    这里使用`aggregate`统计每篇文章每个词的频次，2行添加了一个辅助列logic，当然不添加辅助列，设置`aggregate`里的FUN参数为`length`函数也能完成，但是数据量大时耗费时间太长..., temp) #不要dplyr包、plyr包同时使用，比如这里就会导致rename函数被覆盖，二者的功能相似，没必要同时加载，或者先加载plyr再加载dplyr。...`randomForest`函数要求为数据框或者矩阵，需要原来的数据框调整为以每个词作为列名称（变量）的数据框。...也就是一定意义上的稀疏矩阵（同关联规则），也就是将long型数据框转化为wide型数据框。 转换可以用的包有reshape2以及data.table。...，如果你的电脑报告内存不足的错误，可以使用data.table包里的`dcast`函数试试。

    1.8K20

    《高效R语言编程》5-高效输入输出

    使用rio的通用数据导入 多功能包，名副其实，提供简单易用和计算高效的函数，其目标是简化数据导入导出过程。R的数据导入导出手册中有些函数已经过时了，比如WriteXLS包，且很难学习。...：1）基础R的read.csv()，2）fread() 里data.table方法3）较新的readr包里read_csv()函数。...在基础R中stringAsFactors=TRUE时才会将字符不转化为因子，而fread()和read_csv()函数默认返回字符型。...feather文件格式 这是为了R语言与Python程序员协作而设计的格式，速度快，轻量、保存数据框是与语言无关。...访问包中的数据 示例数据可以用如下方式查看：data(package="dplyr") Data sets in package ‘dplyr’: band_instruments

    1.6K20

    文本情感分析：特征提取（TFIDF指标）&随机森林模型实现

    这里使用`aggregate`统计每篇文章每个词的频次，2行添加了一个辅助列logic，当然不添加辅助列，设置`aggregate`里的FUN参数为`length`函数也能完成，但是数据量大时耗费时间太长...(traintfidf, temp) #不要dplyr包、plyr包同时使用，比如这里就会导致rename函数被覆盖，二者的功能相似，没必要同时加载，或者先加载plyr再加载dplyr。...`randomForest`函数要求为数据框或者矩阵，需要原来的数据框调整为以每个词作为列名称（变量）的数据框。...也就是一定意义上的稀疏矩阵（同关联规则），也就是将long型数据框转化为wide型数据框。 转换可以用的包有reshape2以及data.table。...，如果你的电脑报告内存不足的错误，可以使用data.table包里的`dcast`函数试试。

    9.1K50

    Matt Dowle 演讲节选（二）

    在2004年的第一天，Matt 离开了所罗门兄弟，也离开了 S-PLUS。他开始不断尝试，终于用自己的方式重写了[.data.frame这个函数，从而让sum(B)在 R 中也能得以运行。...这里的关键在于，在第一种方法中，每为新的一行赋值，data.table就要重新复制一遍DT，也就是说，第一种方法的运行过程中，DF被复制了1000遍！...因为任何对列的处理都必须导致数据集在内存中的复制，也即假如我们的内存是 4G，那么在使用data.frame的情况下，我们最大就只能处理 2G 的数据集！...一个更极端的例子是，加入你在 4G 内存中 装下了一个 3G 的数据集，这时你想要删去其中的一列都是不可能的，因为在data.frame中，哪怕删除操作都会导致数据集的复制！...2014：data.table的现在 fread函数 在演讲的最后（演讲在2014年），Matt 提到了当时他正在给data.table添加的新功能：fast read，也即fread函数。

    1.1K40

    学习R语言，一篇文章让你从懵圈到入门

    在实际工作中，每个数据科学项目各不相同，但基本都遵循一定的通用流程。...在R和python上都可使用 readr：实现表格数据的快速导入。...Google BigQuery的R包 PivotalR：用于读取Pivitol（Greenplum）和HAWQ数据库中的数据 dplyr：提供了一个访问常见数据库的接口 data.table：data.table...包的fread()函数可以快速读取大数据集 git2r：用于访问git仓库 数据整理 以下R包主要用于数据整理，以便于你后续建模分析： tidyr：用于整理表格数据的布局 dplyr：用于将多个数据表连接成一个整齐的数据集...pixiedust：用于自定义数据表的输出 xtable：用于自定义数据表的输出 highr：用于实现R代码的LaTeX或HTML格式输出 formatR：通过tidy_source函数格式化

    3.7K40

    学习R语言，一篇文章让你从懵圈到入门

    在实际工作中，每个数据科学项目各不相同，但基本都遵循一定的通用流程。...在R和python上都可使用 readr：实现表格数据的快速导入。...BigQuery的R包 PivotalR：用于读取Pivitol（Greenplum）和HAWQ数据库中的数据 dplyr：提供了一个访问常见数据库的接口 data.table：data.table包的...fread()函数可以快速读取大数据集 git2r：用于访问git仓库 数据整理 以下R包主要用于数据整理，以便于你后续建模分析： tidyr：用于整理表格数据的布局 dplyr：用于将多个数据表连接成一个整齐的数据集...：用于自定义数据表的输出 xtable：用于自定义数据表的输出 highr：用于实现R代码的LaTeX或HTML格式输出 formatR：通过tidy_source函数格式化R代码的输出 yaml：用于实现

    3.7K60

    R语言学习笔记-Day4

    -可以粗略理解为多个函数的打包存档-有的R包中会有数据，甚至只有数据没有函数-包含函数/数据、帮助文档、描述文件等。...学习目的：找到所有R包的使用规律3 R包镜像镜像网站相当于主网站的副本（备份），访问主网站存在障碍时可选择访问镜像网站。...session都需要加载6 R包安装和使用的逻辑6.1 安装包-加载包-使用包里的函数library(stringr)library()是检查是否安装成功的标准R包安装成功的唯一标准：library()...参数进行读取；2.处理第一列的重复值（去重复，两行求平均值，合并为一行）；3.将第一行设为行名3 数据框导出CSV格式：write.csv()write.csv(ex2,file = "example.csv...("ex2.csv",data.table = F)#不支持直接设置行名library(tibble)ex2 = column_to_rownames(ex2,"V1")#将ex2中“V1”列设置为行名

    15910
    点击加载更多

    扫码

    添加站长 进交流群

    领取专属 10元无门槛券

    手把手带您无忧上云

    扫码加入开发者社群

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2025 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

      领券