,聚合函数经常和分组查询一起使用。.../聚合函数 from 表名 where 条件 group by 列名 having条件 order by 列名/聚合函数 asc/desc; where和having的区别: where是对整张表的数据进行过滤...条件: %: 0个或者多个任意字符 _: 1个任意字符 处理空值的函数 nvl(列名,数值) 如果列值为null,使用数值代替null 聚合函数 count(列名/*) *:表示统计表中数据总数量...列名:列值不为空的,数据总数量 sum(列名) 求和 avg(列名) 求平均值 min(列名) 求最小值 max(列名) 求最大值 分组查询 聚合函数经常和分组查询一起使用 select 列名/...(address null); 八、索引(index) 索引是建立在表中列上的,数据库对象,索引可以提高查询速度。
,聚合函数经常和分组查询一起使用。.../聚合函数 from 表名 where 条件 group by 列名 having条件 order by 列名/聚合函数 asc/desc; where和having的区别: where是对整张表的数据进行过滤...: %: 0个或者多个任意字符 _: 1个任意字符 处理空值的函数 nvl(列名,数值) 如果列值为null,使用数值代替null 聚合函数 count(列名/*) *:表示统计表中数据总数量 列名:列值不为空的...,数据总数量 sum(列名) 求和 avg(列名) 求平均值 min(列名) 求最小值 max(列名) 求最大值 分组查询 聚合函数经常和分组查询一起使用 select 列名/聚合函数 from...(address null); 八、索引(index) 索引是建立在表中列上的,数据库对象,索引可以提高查询速度。
2.2.1 basic_stages basic_stages中包含了对数据框中的行、列进行丢弃/保留、重命名以及重编码的若干类： ColDrop: 这个类用于对指定单个或多个列进行丢弃...型，决定是否在计算完成后把旧列删除，默认为True，即对应列的计算结果直接替换掉对应的旧列 suffix：str型，控制新列后缀名，当drop参数设置为False时，结果列的列名变为其对应列+suffix...图15 可以看到这时原有列得以保留，新的列以旧列名＋后缀名的方式被添加到旧列之后，下面我们修改result_columns参数以自定义结果列名： # 设置drop参数为False，并将suffix参数设置为...下文只介绍其中我认为最有用的： RegexReplace: 这个类用于对文本型列进行基于正则表达式的内容替换，其主要参数如下： columns：str型或list型，传入要进行替换的单个或多个列名...中举例说明使用到的创建pipeline的方法，直接传入由按顺序的pipeline组件组成的列表便可生成所需pipeline，而除了直接将其视为函数直接传入原始数据和一些辅助参数（如verbose控制是否打印过程
2.2.1 basic_stages basic_stages中包含了对数据框中的行、列进行丢弃/保留、重命名以及重编码的若干类： ColDrop: 这个类用于对指定单个或多个列进行丢弃，其主要参数如下...决定是否在计算完成后把旧列删除，默认为True，即对应列的计算结果直接替换掉对应的旧列 suffix：str型，控制新列后缀名，当drop参数设置为False时，结果列的列名变为其对应列+suffix参数指定的后缀名...中包含了对数据框中文本型变量进行处理的若干类，下文只介绍其中我认为最有用的： RegexReplace: 这个类用于对文本型列进行基于正则表达式的内容替换，其主要参数如下： columns：str型或list型，传入要进行替换的单个或多个列名...，默认为None，即直接替换原始列 drop：bool型，用于决定是否删除替换前的原始列，默认为True，即删除原始列 下面是举例演示： 替换original_language中的'en'或'cn'为'...中举例说明使用到的创建pipeline的方法，直接传入由按顺序的pipeline组件组成的列表便可生成所需pipeline，而除了直接将其视为函数直接传入原始数据和一些辅助参数（如verbose控制是否打印过程
在获得数据后，需要对原始数据的结构与内容进行评估。 2. 如果数据评估后发现数据不能直接进行分析，需要先进行数据清洗。 数据结构评估 1....如果DataFrame对象，如果希望指定某几列，则使用参数(subset("列名1","列名2"))，当某行与前面一行在这两列上值完全相同时，会返回Frue。...如果原始数据的第一行(列名)和第一列(索引)存在问题，那么就可以使用rename(index={})方法和rename(columns={})方法，字典里面的键是原始值，字典里面的值是修改后的值。...宽数据转化成长数据，可以使用pd.melt(DataFrame,id_vars=["需要保留的列名1"，"需要保留的列名2"，var_name="新列列名",value_name="变量值"])。...(subset=[列名])，对这一列参在缺失值的行进行删除。 处理重复数据 1. 当要删除重复的数据时，可以使用drop_duplicates()方法。 2.
在第三个图表中，我更改了图表的数据区域，将值和类别向下移动了一行（注意工作表中的突出显示）。由于属性采用图表数据点设置为假，绿色和金色条和标签在图表中没有移动，而是保留在第二个和第四个条中。 ?...示例B—属性采用图表数据点和系列 属性采用图表数据点和系列 这个例子有多个数据系列。下面图14所示的第一个显示了包含两个系列的默认图表，我在每列中突出显示了两个单元格，填充颜色为金色和绿色。...在第四个图表中，我更改了图表的原始数据区域范围，将值和系列名称向右移动一列。由于“属性采用图表数据点”设置为真，图表中的绿色条和标签已从第二个系列移至第一个，而金色条和标签已从图表中消失。 ?...由于“属性采用图表数据点”设置为假，绿色和金色条以及标签在图表中没有移动，与每个系列的第二个和第四个条形保持一致。 在第四个图表中，我更改了图表的原始数据区域范围，将值和系列名称向右移动一列。...如果我们希望在为图表分配不同的数据范围时在图表中保留自定义格式，确保未选取“属性采用图表数据点”设置。
操控缺失值 把字符串分割为多列 把 Series 里的列表转换为 DataFrame 用多个函数聚合 用一个 DataFrame 合并聚合的输出结果 选择行与列 重塑多重索引 Series 创建透视表...如果想分割字符串，但只想保留分割结果的一列，该怎么操作？ ? 要是只想保留城市列，可以选择只把城市加到 DataFrame 里。 ? 17....要把第二列转为 DataFrame，在第二列上使用 apply() 方法，并把结果传递给 Series 构建器。 ?...有时，要用多个聚合函数，不一定只是 sum() 一个函数。这时，要用 agg() 方法，把多个聚合函数的列表作为该方法的参数。 ? 上列就算出了每个订单的总价与订单里的产品数量。 19....sum() 是聚合函数，该函数返回结果的行数（1834行）比原始数据的行数（4622行）少。 ?
对比一下他们的区别： drop table 1)属于DDL 2)不可回滚 3)不可带where 4)表内容和结构删除 5)删除速度快 truncate table 1)属于DDL 2)不可回滚 3)不可带...①选择最有效率的表名顺序 数据库的解析器按照从右到左的顺序处理FROM子句中的表名，FROM子句中写在最后的表将被最先处理 在FROM子句中包含多个表的情况下： 如果三个表是完全无关系的话，将记录和列名最少的表...DELETE是一条一条记录的删除，而Truncate是将整个表删除，保留表结构，这样比DELETE快 ⑤多使用内部函数提高SQL效率 例如使用mysql的concat()函数会比使用||来进行拼接快，因为...1500 or sal = 3000 or sal = 800; select * from emp where sal in (1500,3000,800); ①④总是使用索引的第一个列 如果索引是建立在多个列上...数据库结构优化 1)范式优化： 比如消除冗余(节省空间。。) 2)反范式优化：比如适当加冗余等(减少join) 3)拆分表： 垂直拆分和水平拆分 服务器硬件优化 这个么多花钱咯！
pivot() 和 pivot_table()：在一个或多个离散类别中对唯一值进行分组。 stack() 和 unstack()：分别将列或行级别的数据透视到相反的轴上。...可以通过将ignore_index=False参数设置为False（默认为True）来保留原始索引值。 ignore_index=False会导致索引值重复。...，该标签在行和列上的类别上具有部分组聚合： In [118]: pd.crosstab( .....: df["A"], df["B"], values=df["C"], aggfunc="sum...，该标签在行和列上的类别中部分组聚合： In [118]: pd.crosstab( .....: df["A"], df["B"], values=df["C"], aggfunc="sum"...，该标签在行和列上的类别中部分组聚合： In [118]: pd.crosstab( .....: df["A"], df["B"], values=df["C"], aggfunc="sum"
2）索引是建立在表上的可选对象；索引的关键在于通过一组排序后的索引键来取代默认的全表扫描检索方式，从而提高检索效率 3）索引在逻辑上和物理上都与相关的表和数据无关，当创建或者删除一个索引时，不会影响基本的表...6）oracle创建主键时会自动在该列上创建索引 数据库索引是为了提高查询速度的一种数据结构。...CREATE INDEX 索引名 ON 表名(列名); --下面是表空间及参数 tablespace GFMIS pctfree 10 --块保留10%的空间留给更新该块数据使用 initrans...索引的建立原则 索引应该建立在WHERE子句中经常使用的列上。如果某个大表经常使用某个字段进行查询，并且检索的啊行数小于总表行数的5%，则应该考虑在该列上建立索引。...查询优化器有RBO（Rule-Based-Optimizer，基于规则的查询优化器）和CBO（Cost-Based-Optimizer，基于成本的查询优化器），其中基于规则的查询优化器在10g的版本中彻底消失了
公众号：尤而小屋 作者：Peter 编辑：Peter 大家好，我是Peter~ 本文主要是介绍Peter在平时使用Pandas处理数据过程中经常接触到的一些小技巧。...可以指定行数 # df2.head() 默认头部5行 df2.head(3) # 指定3行 # df2.tail() 默认尾部5行 df2.tail(2) # 指定尾部2行 显示全部列名...提取最值所在的行 [008i3skNgy1gv5gbs2ffhj60rq06egm202.jpg] Pandas切片 df2.iloc[22] # 提取某个行的数据 df2.iloc[:,1:6] # 行和列上的切片...分组之后，对不同的字段可以使用不同的聚合函数 [008i3skNgy1gv5gfeq7sej60uu0a0gms02.jpg] 索引重排 注意和上面例子的比较。...008i3skNgy1gv5gjlftloj60tu0oyacf02.jpg] [008i3skNgy1gv5gke7v5dj60wo0u0n0a02.jpg] DataFrame合并 1、先看看两个原始数据
这个错误通常是由于训练数据和测试数据在特征列上不匹配导致的。本文将介绍如何解决这个错误，并提供一些可能的解决方案。...ValueError: feature_names mismatch training data did not have the following fields 错误通常在以下情况下出现：训练数据和测试数据在特征列上的顺序不一致...检查特征列顺序确保训练数据和测试数据在特征列上的顺序一致。可以使用 train.columns 和 test.columns 来查看两个数据集的特征列名称和顺序。...总结在机器学习中，ValueError: feature_names mismatch training data did not have the following fields 错误通常是由于训练数据和测试数据在特征列上不一致导致的...这些特征列通常是通过对原始数据进行预处理、特征工程或特征选择等步骤来获得的。
分离是在特定的轴上进行的，axis=0表示行，axis=1表示列。 Splitting the data into groups based on some criteria....分组键 分组键可以是多种形式，并且键不一定是完全相同的类型： 与需要分组的轴向长度一致的值列表或者值数组 DataFrame列名的值 可以在轴索引或索引中的单个标签上调用的函数 可以将分组轴向上的值和分组名称相匹配的字典或者...数据聚合 聚合指的是所有根据数组产生标量值的数据转换过程。...如果传递的是(name,function)形式，则每个元组的name将会被作为DF数据的列名： ? 不同的函数应用到一个或者多个列上 ?...笔记2：只有当多个函数应用到至少一个列时，DF才具有分层列 返回不含行索引的聚合数据：通过向groupby传递as_index=False来实现 数据透视表和交叉表 DF中的pivot-table方法能够实现透视表
keyword) 作为 SQL 组成部分的保留字。...SQL 不区分大小写，但一般习惯关键字用大写，列名和表名使用小写。 处理 SQL 语句时，所有空格都会被忽略。一般认为写成多行更容易维护。 选择多个列时，一定要在列名之间加上逗号，但最后一个列名不加。...如果在最后一个列名加了逗号，会出现错误。 SQL 一般返回原始的、无格式的数据。 第一个检索的行是第 0 行，而不是第 1 行。 并非所有 SQL 实现方式 都一样。...**可以，但是在不同数据库实现方式不同。 在 SQL Server 和 Access 中使用 SELECT 时，可以使用 TOP 关键字来限制最多返回的行。...如果想在多个列上降序排序，必须对每一列指定 DESC 关键字。
DISTINCT和GROUP BY DISTINCT和GROUP BY这两个记录按指定字段(或多个字段)分组，并为该字段的每个唯一值返回一条记录。...它们之间的一个重要区别是DISTINCT在分组之前计算聚合函数。GROUP BY计算分组后的聚合函数。...因此，只有在一个或多个选定字段存在索引时才有意义。它对存储在索引中的字段值进行排序；字母字符串以全部大写字母返回。...您可以设置此系统范围的选项，然后使用%exact排序规则函数为特定查询覆盖它以保留字母大小写。...聚合函数：可以在聚合函数中使用DISTINCT子句，以仅选择要包含在聚合中的不同(唯一)字段值。
需要注意的是，这个方法在索引值不唯一的情况下不起作用。 读者注：该方法在机器学习或者深度学习中很有用，因为在模型训练前，我们往往需要将全部数据集按某个比例划分成训练集和测试集。...对多个函数进行聚合 让我们来看一眼从Chipotle restaurant chain得到的orders这个DataFrame: ?...但是，事实上你不可能在聚合时仅使用一个函数，比如sum()。为了对多个函数进行聚合，你可以使用agg()函数，传给它一个函数列表，比如sum()和count(): ?...想要使用数据透视表，你需要指定索引(index), 列名(columns), 值(values)和聚合函数(aggregation function)。...Volume列现在有一个渐变的背景色，你可以轻松地识别出大的和小的数值。 最后一个例子： ? 现在，Volumn列上有一个条形图，DataFrame上有一个标题。
Filter rows where Age is greater than 30 filtered_df = df[df['Age'] > 30] print(filtered_df) 2、分组和聚合数据...DataFrame 的行或列上应用自定义函数，以实现更复杂的数据处理和转换操作。...它根据一个或多个列的值对数据进行重新排列和汇总，以便更好地理解数据的结构和关系。...id_vars：需要保留的列，它们将成为长格式中的标识变量（identifier variable），不被"融化"。 value_vars：需要"融化"的列，它们将被整合成一列，并用新的列名表示。...var_name：用于存储"融化"后的列名的新列的名称。 value_name：用于存储"融化"后的值的新列的名称。
NOT 运算符用来否定某一条件，但是不能滥用 多个查询条件进行组合时，需要使用AND运算符或者OR运算符。AND运算符的优先级高于OR运算符，想要优先执行OR运算符可以使用括号。...MAX/MIN函数几乎适用于所有数据类型的列，SUM/AVG只适用于数值类型的列 想要计算值得种类时，可以在COUNT函数前使用关键字DISTINCT 聚合键中包含NULL时，在结果中会以不确定（空行）...的形式表现出来 使用GROUP BY 子句时，SELECT子句中不能出现聚合键之外的列名 在GROUP BY子句中不能使用SELECT子句中定义的别名 只有在SELECT子句、ORDER BY子句和HAVING...子句未使用的列和聚合函数 SQL语句的书写顺序（重点！！！）...原则上，窗口函数只能在SELECT子句中使用 超级分组记录默认使用NULL作为聚合键 ROLLUP可以同时得出合计和小计 使用GROUPING函数能够简单分辨出原始数据中的NULL和超级分组记录中的NULL
要根据多个键进行合并，传入一组由列名组成的列表即可: left = pd.DataFrame({'key1':['foo','foo','bar'],'key2':['one','two','one']...2、重塑和轴向旋转 在重塑和轴向旋转中，有两个重要的函数，二者互为逆操作： stack:将数据的列旋转为行 unstack:将数据的行旋转为列 先来看下面的例子： data = pd.DataFrame...从上面的例子可以看出，分组键会跟原始对象的索引共同构成结果对象中的层次化索引。...4.3 数据透视表 透视表是各种电子表格程序和其他数据分析软件中一种常见的数据汇总工具，它根据一个或多个键对数据进行聚合，并根据行和列伤的分组键将数据分配到各个矩形区域中。...考虑我们的小费数据集，我们想聚合tip_pct和size，想根据day进行分组，将smoker放到列上，将day放到行上： tips.pivot_table(['tip_pct','size'],index
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
云直播
