在数据分析中，有时候因为一些原因会有重复的记录，因此需要去重。如果重复的那些行是每一列懂相同的，删除多余的行只保留相同行中的一行就可以了，这个在Excel或pandas中都有很容易使用的工具了，例如Excel中就是在菜单栏选择数据->删除重复值，然后选择根据哪些列进行去重就好，pandas中是有drop_duplicates()函数可以用。 但面对一些复杂一些的需求可能就不是那么容易直接操作了。例如根据特定条件去重、去重时对多行数据进行整合等。特定条件例如不是保留第一条也不是最后一条，而是根据两列存在的某种关系、或者保留其中最大的值、或保留评价列文字最多的行等。下面记录一种我遇到的需求：因为设计原因，用户在购物车下的单每个商品都会占一条记录，但价格只记录当次购物车总价，需要每个这样的单子只保留一条记录，但把商品名称整合起来。
> 经常听别人说 Python 在数据领域有多厉害，结果学了很长时间，连数据处理都麻烦得要死。后来才发现，原来不是 Python 数据处理厉害，而是他有数据分析神器—— pandas
复制时不要行号 如果用鼠标复制,会连行号一块选上. 在一般模式下按v进入visiual模式,选择要复制的行,然后输入 +y 就可以了.
需求：随机生成一些测试数据集，对生成的数据进行正则匹配，对匹配后的数据进行输出到外部文件中。以上需要用到的“GenerateFlowFile”、“ReplaceText”、“PutFile”处理器。
今天是pandas数据处理专题的第四篇文章，我们一起来聊聊DataFrame的基本运算。
用过 Linux 系统的朋友一定都或多或少知道 vim ，很多人对这款编辑器的第一印象一定是反人类，可能你不小心进去 vim 的话就不知道怎么退出来了，因此，自从我知道 Ubuntu 图形界面自带 gedit 编辑器时，我就立下 flag 这辈子绝对不用 vim ，可是 flag 这东西不就是用来倒的嘛，最近在 WSL 里面折腾，没有 gedit ，只好学习 vim ，这不， vim 真香！所以嘛，做技术的人还是不要把话说得太绝对，这样只会让人家觉得你很狭隘，一件事物的流行肯定有他的道理，不要固步自封，还是要多去了解一下自己不知道的事务，就像我之前也说过这辈子都不会学 Java 和 PHP ，我自己打脸吧(逃
人人都说 IDEA 好，但你知道他的强大之处在哪儿么？今天就来看看，增进日常开发效率的 IDEA 小技巧。
给定一个 m x n 的矩阵，如果一个元素为 0，则将其所在行和列的所有元素都设为 0。请使用原地算法。
Linux如何查看IP地址的命令，本人知道两种，分别是ifconfig和ip，至于具体用法，在这就不详细说了，我们的主要目标是用正则来过滤两者基本命令获取的内容以至于直接获得地址，但是我们还是必须了解两者获得的内容是不一样的。 首先，我们先来看看两者的基本命令输出的内容分别是什么。 命令ifconfig：
大家好，今天来和大家聊一个老生常谈的问题，我们在使用git merge的时候遇到了冲突，怎么办？
大家好，我是多选参数的程序锅，一个正在”捣鼓“操作系统、学数据结构和算法以及 Java 的废物菜鸡。
在开始正式编写代码之前，我们需要先安装openpyxl库。打开命令行终端，运行以下命令：
本篇内容：顺序执行、选择执行、管道、cut 命令、grep 命令、wc 命令、sort 命令等，高效率使用 Linux 的技巧。
Excel是日常工作中的必备工具，不高端但好用，小火龙为大家总结了工作中经常用到的10点技巧，希望对你有所帮助。
已经是晚上11点整了，小D看了下闹钟然后摘下眼镜，捏了捏疲惫的双眼，办公桌上不知道什么时候冲的咖啡已经凉透了，再看看周围空荡荡的座椅，长长的叹了口气。
版权声明：本文为耕耘实录原创文章，各大自媒体平台同步更新。欢迎转载，转载请注明出处，谢谢。
grep 是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。
给你一个 n x n 整数矩阵 arr ，请你返回 非零偏移下降路径 数字和的最小值。
今天突然发现vi虽然用了些日子了，但是常用的一些命令之外，还是有些命令比较生疏，简单总结了一下，然后自己在vi里面编辑了一把，效果还不错。 对于大家比较熟悉且常用的命令就没有再列举。欢迎大家拍砖，我来做一些汇总。 选项 作用 ) 移动光标到下一个句子。 ( 移动光标到上一个句子。 { 在第一列插入{来定义一个段落 [[
命名的长度应该以能准确达意为目标，尽量使用短的命名方式，但是在足够表达其含义的情况下，长的命名也是可以接受的。 在代码列长度有限制的情况下，短的命名会影响代码可读性，因此，命名的长度应该适当。 此外，作用域小的变量，可以使用相对较短的命名，比如一些函数内的临时变量。相反，对于类名这种作用域比较大的，更推荐使用长的命名方式。
Linux中的三个命令awk、sed、grep在业界被称为“三剑客”，grep擅长查找，sed擅长取行和替换，awk擅长运算。
要删除前一个单词，可以按Ctrl + Backspace (Mac: option + delete)。这在你打错字的时候非常有用。
多表查询的结果是表的乘积，不是显示多个表。这个非常不好用，因为很容易就导致表很大。下面是个例子。
==值得注意的是，drop函数不会修改原数据，如果想直接对原数据进行修改的话，可以选择添加参数inplace = True或用原变量名重新赋值替换。==
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u014688145/article/details/73431186
则表达式是一个查询的字符串，它包含一般的字符和一些特殊的字符，特殊字符可以扩展查找字符串的能力，正则表达式在查找和替换字符串的作用不可忽视，它 能很好提高工作效率。
现如今，JavaScript无处不在，因此关于JavaScript的新知识也是层出不穷。JavaScript的特点在于，要学习它的语法入门简简单，但是要精通使用它的方式却是一件不容易的事。
OV5640 摄像头模组采用美国 OmniVision(豪威)CMOS 芯片图像传感器 OV5640，支持自动对焦的功能。OV5640 芯片支持 DVP 和 MIPI 接口。
简介 SQL Server每个表中各列的数据类型的有各种形式，产生的效果也各有不同，我们主要根据效率兼顾性能的情况下讨论下如何规定类型。 在SQL Server中，数据的存储以页为单位。八个页为一个区。一页为8K，一个区为64K,这个意味着1M的空间可以容纳16个区。 SQL Server中的分配单元分为三种，分别为存储行内数据的In_Row_Data，存储Lob对象的LOB_Data,存储溢出数据的Row_Overflow_data。下面我们通过一个更具体的例子来理解这三种分配
我们工作中可能会遇到类似这样的电子表格：最前面几行表明该表的关键信息，例如这份虚拟的电子装箱单有收货方、地址、预计到货日期等等；表头下方是明细内容，本次发货有几箱，每箱装了什么产品，产品数量多少（每箱重量信息也应该包含，此处省略）。
我上一章总结了Play框架的基本使用。这一章里，我将修改和增加响应。 HTTP协议是按照“请求-响应”的方式工作。Play框架的核心是用动作(Action)来完成“请求-响应”。一个动作负责处理一种请求。一个项目可能要定义许多动作。复杂的网站，可能要定义上百个动作。所以，Play使用控制器(Controller)和URL路由(URL routing)来组织管理动作。控制器用于给动作分类。URL路由(routes)记录了URL和动作的对应关系。 IDE 在开发代码之前，先简单介绍如何使用Eclipse，开发P
前言： 转载的好文不多，但此篇的确是难得一见的好文，如若不信，请仔细阅读。 此篇文章没有波涛汹涌的起伏，没有繁多的代码，只有悠然自得的文笔。 因此，分享此文给大家。 翻译原文链接：https://ww
通过修改home目录下的.bashrc或.bash_profile文件来实现。这两个文件选择其中一个在末尾加入如下一行，具体操作如下：
无法直接dump，写了java多线程程序做迁移 问题1：Operation not allowed after ResultSet closed 裸jdbc语句，一个线程跑7个表，只有第一个表时候出这
sed(Stream EDitor)是一种流文件编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，直到文件末尾。文件内容并没有改变，除非使用-i选项。sed主要用来编辑一个或多个文件，简化对文件的反复操作或者用来编写转换程序等。
语法 sed [-hnV][-e<script>][-f<script文件>][文本文件]
最近微信里有很多小伙伴，在私信问我该怎么学习 python，但网上这方面的资料攻略一抓一大把
是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。
注：Mac(17, pro) 快捷键盘不太一样，mac 对应的 Ctrl 要换成 command
sed 是一种在线编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有 改变，除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。
数据库存储引擎采用的技术会对数据库的某些应用场景的性能产生十分重要的影响。可能很多朋友并不关注这一点，也没有遇到过那些网上所说的问题，这可能你的应用场景并没有遇到哪种情况，或者说你的系统的规模还不大，硬件性能能够弥补这方面的不足。不过作为数据库从业人员，不管是应用架构师、研发人员还是DBA最好还是了解一些这方面的知识，从而避免此类问题发生或者当遇到类似性能问题的时候能够快速定位问题。
使用ADO连接数据库进行查询的时候，数据库将查询结果返回查询端，在查询端的内存里面就会有一个列表，这个列表存放的就是查询的结果。这个内存中的列表就是记录集。
MySQL8.0.18刚刚发布，它包含一个全新的功能EXPLAIN ANALYZE，用来分析和理解查询如何执行。
sed(Stream EDitor)是一种流文件编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（Pattern Space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕，接着处理下一行，直到文件末尾。文件内容并没有改变，除非使用-i选项。sed主要用来编辑一个或多个文件，简化对文件的反复操作或者用来编写转换程序等。
现在回到那个小练习，由于我们主要用正则来进行替换，因此我们先将第一行内容进行复制粘贴
3. table 查询的表名。 4. type（重要）显示查询使用了何种类型。 从最好到最差的连接类型依次为： system，const， eq_ref ，ref，fulltext，ref_or_null，index_merge， unique_subquery，index_subquery，range，index，ALL
-a 或 --text : 不要忽略二进制的数据。 -A <显示行数> 或 --after-context=<显示行数> : 除了显示符合范本样式的那一列之外，并显示该行之后的内容。 -b 或 --byte-offset : 在显示符合样式的那一行之前，标示出该行第一个字符的编号。 -B <显示行数> 或 --before-context=<显示行数> : 除了显示符合样式的那一行之外，并显示该行之前的内容。 -c 或 --count : 计算符合样式的列数。 -C <显示行数> 或 --context=<显示行数>或-<显示行数> : 除了显示符合样式的那一行之外，并显示该行之前后的内容。 -d <动作> 或 --directories=<动作> : 当指定要查找的是目录而非文件时，必须使用这项参数，否则grep指令将回报信息并停止动作。 -e <范本样式> 或 --regexp=<范本样式> : 指定字符串做为查找文件内容的样式。 -E 或 --extended-regexp : 将样式为延伸的正则表达式来使用。 -f <规则文件> 或 --file=<规则文件> : 指定规则文件，其内容含有一个或多个规则样式，让grep查找符合规则条件的文件内容，格式为每行一个规则样式。 -F 或 --fixed-regexp : 将样式视为固定字符串的列表。 -G 或 --basic-regexp : 将样式视为普通的表示法来使用。 -h 或 --no-filename : 在显示符合样式的那一行之前，不标示该行所属的文件名称。 -H 或 --with-filename : 在显示符合样式的那一行之前，表示该行所属的文件名称。 -i 或 --ignore-case : 忽略字符大小写的差别。 -l 或 --file-with-matches : 列出文件内容符合指定的样式的文件名称。 -L 或 --files-without-match : 列出文件内容不符合指定的样式的文件名称。 -n 或 --line-number : 在显示符合样式的那一行之前，标示出该行的列数编号。 -o 或 --only-matching : 只显示匹配PATTERN 部分。 -q 或 --quiet或–silent : 不显示任何信息。 -r 或 --recursive : 此参数的效果和指定"-d recurse"参数相同。 -s 或 --no-messages : 不显示错误信息。 -v 或 --invert-match : 显示不包含匹配文本的所有行。 -V 或 --version : 显示版本信息。 -w 或 --word-regexp : 只显示全字符合的列。 -x --line-regexp : 只显示全列符合的列。 -y : 此参数的效果和指定"-i"参数相同。
网上大部分 Linux 相关教程在涉及文本编辑操作时都是选择的 Vim 编辑器，对于新手来说如何退出成了最大的难题。其实除了 Vim 之外还有别的选择，那就是 nano 。上手 nano 几乎是零学习成本，而且对于只改几行配置文件这样的简单操作，nano 的用户体验完全吊打 Vim。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
