（索引如何建立的话题内容不少，我们将另行撰文讨论，这里只研讨索引使用） 还有一种引申出来的方法是HASH索引，计算记录键值的某种HASH值，散列到1...k的自然数范围。...再如：年龄在某个区间的，索引键是出生日期。索引不能直接用，但年龄和出生日期之间是个单调函数，如果数据库优化做得好是可能利用的。但大概率是不行的。...书写查询条件时要尽量写成针对原始索引键值本身，不要使用函数或表达式。 3. 一般性条件中包含键值条件的，键值条件作为一个最外层的AND条件时有效。 如：出生日期在某天且姓名中有某字的。...数据库会用索引找出出生日期在某天的、然后再在其中遍历查找出姓名中有某字的。现代商用数据库都能够智能地分析条件表达式而找到可以使用索引提速的部分。 再如：出生日期在某天或姓名中有某字的。...从索引原理上似乎是这样，但这样会导致索引表也大一圈，增加IO成本，所以也不一定，需要适当的权衡。 用于遍历 如果我们按上述原则正确地建立和使用了索引，是否就一定能提高性能呢？ 还是不一定！
使用场景 身份证是公民的身份证明，虽然短短的一串数字，也蕴藏了许多信息，入启地区、出生日期、性别。 而从中出生日期信息也衍生了一些其他的属性如年龄、生肖等。...身份证相关函数 1、身份证号15位转18位 2、提取身份证入户的地区信息，最详细可达省市区信息 3、提取身份证出生日期 4、提取身份证出生日期后，计算当前年龄，未过生日不算一年 5、提取身份证出生日期后...，计算当年的干支年 6、提取身份证的性别信息 7、提取身份证出生日期后，计算所属生肖 8、提取身份证出生日期后，计算所属星座 ?...身份证相关函数 日期相关函数 1、获取当前年龄或工龄计算 2、农历日期转公历日期 3、公历日期转农历日期 4、根据公历日期算农历24节气 5、根据年份和24节气名称，计算当年的节气所在日期 6、根据公历日期计算干支年份...，重新定义Excel函数的学习和使用方法 第5波-使用DAX查询从PowerbiDeskTop中获取数据源 第6波-导出PowerbiDesktop模型数据字典 第7波-智能选区功能 第8波-快速可视化数据
二、年龄计算 我认为编程有一个基本原则，就是做一步，验证一步，否则代码积累很多之后再验证正确性，BUG就可能非常复杂，难以排除。...所以要能够及时验证计算的正确性，就将计算的几个要素一开始就纳入进来，性别、海拔、原始成绩都可以直接读取，但是年龄是动态的，不同时间组织的考核，人员的年龄会可能不同，最佳方式就是通过出生日期，即时计算出人员在考核时的年龄...[通用训练课目考核成绩计算.xlsx] 函数calculate_age(born)，参数born是出生日期，函数返回的就是年龄值。...方法截取的表格数据从原表第6行，第2列（B列）开始 rngs = ws_training_performance.iter_rows(min_row=6,min_col=2) for row in rngs...].value) age = calculate_age(row[3].value) # 由出生日期计算年龄，精确到天 row[4].value = age #将年龄值写入到表中的年龄表格中
所以要能够及时验证计算的正确性，就将计算的几个要素一开始就纳入进来，性别、海拔、原始成绩都可以直接读取，但是年龄是动态的，不同时间组织的考核，人员的年龄会可能不同，最佳方式就是通过出生日期，即时计算出人员在考核时的年龄...通用训练课目考核成绩计算.xlsx 函数calculate_age(born)，参数born是出生日期，函数返回的就是年龄值。...方法截取的表格数据从原表第6行，第2列（B列）开始 rngs = ws_training_performance.iter_rows(min_row=6,min_col=2) for row in rngs...].value) age = calculate_age(row[3].value) # 由出生日期计算年龄，精确到天 row[4].value = age #将年龄值写入到表中的年龄表格中...计算结果.xlsx 这里实现了年龄自动计算的功能，但代码的健壮性不足，比如出生日期的格式如果不对，会弹出错误，这将在后面的工作中逐步完善。
从我在学习和制作Tableau报表的时候得出了一定的经验，学习者一定要谨记以下四点： 可视化（谁都知道Tableau是可视化专家，但你真的知道怎么用可视化吗？）...当您单击并将字段从“数据”窗格拖到视图时，Tableau 将继续提供该字段的默认定义。...Tableau 将显示一个散点图 — 这是当您将一个度量放在“行”上并将另一个度量放在“列”上时的默认图表类型。...当您将字段从“度量”区域拖到“列”或“行”时，值默认情况下将是连续的，并且 Tableau 将创建轴；将字段从“数据”窗格的“维度”区域拖到“列”或“行”时，值默认情况下将是离散的，并且 Tableau...在某些情况下，这可能就是您需要的结果（也就是说，在使用快速筛选器时对百分比进行了重新计算）。但在其他情况下，您可能希望百分比即使在您筛选进或筛选出某些项目时也保持稳定。这是我们在本例中所需要的。
，但是从源数据info()方法可知，并无年龄字段，需要自己生成。...# 查看是否有重复值 >>> df.duplicated('UserId').sum() #47681 # 数据总条目 >>> df.count() #980954 ?...分组后用count()方法虽然也能够计算分布情况，但是仅限于无重复数据的情况。...而Python这么无敌，提供了nunique()方法可用于计算含重复值的情况 >>> df.groupby('年龄分层')['UserId'].count() 年龄分层 18岁及以下 25262...980954（总）-47681（重复） # 计算年龄分布 >>> result = df.groupby('年龄分层')['UserId'].nunique()/df.groupby('年龄分层')
如果我们都能正确地猜到每个问题的答案，那是因为人类是可预知的。而这恰恰就是密码存在的问题。我们在选择这些密码时确实很小心谨慎，但跟已成产业规模且特意构建的密码破解软件相比，未免小巫见大巫。...我们利用这些数据集回答一些人口统计学的问题(尤其是与密码选择有关的性别及年龄问题)。我们从500万个邮件地址中提取出了包含名字及出生日期的地址。...我们从500万个地址中解读出了48.5万个性别、22万个年龄。这时候，我们就应该想一个问题，“这些将名字跟出生日期包含在邮件地址中的人会选择跟别人不同的密码吗?”因为从理论上来讲答案有可能是肯定的。...一般来讲，熵会随着长度的变化而变化，不过添加数字、大写字母及符号也会增加字符的范围。 那么，熵是如何计算出来的?方法很多，而且效果各异。不过最为基本的假设是，只能通过尝试字符的每种组合才会猜到密码。...但一种更加聪明的方法意识到人类对模式情有独钟，所以针对人类的多数密码进行了某些假设。随后基于这些假设制定一些猜测密码的规则，从从而加快破解密码的速度。这些方法都很聪明。
如果我们都能正确地猜到每个问题的答案，那是因为人类是可预知的。而这恰恰就是密码存在的问题。我们在选择这些密码时确实很小心谨慎，但跟已成产业规模且特意构建的密码破解软件相比，未免小巫见大巫。...我们利用这些数据集回答一些人口统计学的问题（尤其是与密码选择有关的性别及年龄问题）。我们从500万个邮件地址中提取出了包含名字及出生日期的地址。...我们从500万个地址中解读出了48.5万个性别、22万个年龄。这时候，我们就应该想一个问题，“这些将名字跟出生日期包含在邮件地址中的人会选择跟别人不同的密码吗？”因为从理论上来讲答案有可能是肯定的。...有研究显示，当有人让你说出1到10中的一个数字时，多数人会说3跟7，而且人们似乎对质数的选择存在偏好。这可能行得通。...这些示例密码以一两个不同字符区分作为熵的范围。一般来讲，熵会随着长度的变化而变化，不过添加数字、大写字母及符号也会增加字符的范围。 那么，熵是如何计算出来的？方法很多，而且效果各异。
如果我们都能正确地猜到每个问题的答案，那是因为人类是可预知的。而这恰恰就是密码存在的问题。我们在选择这些密码时确实很小心谨慎，但跟已成产业规模且特意构建的密码破解软件相比，未免小巫见大巫。...我们利用这些数据集回答一些人口统计学的问题（尤其是与密码选择有关的性别及年龄问题）。我们从500万个邮件地址中提取出了包含名字及出生日期的地址。...我们从500万个地址中解读出了48.5万个性别、22万个年龄。这时候，我们就应该想一个问题，“这些将名字跟出生日期包含在邮件地址中的人会选择跟别人不同的密码吗？”因为从理论上来讲答案有可能是肯定的。...一般来讲，熵会随着长度的变化而变化，不过添加数字、大写字母及符号也会增加字符的范围。 那么，熵是如何计算出来的？方法很多，而且效果各异。不过最为基本的假设是，只能通过尝试字符的每种组合才会猜到密码。...但一种更加聪明的方法意识到人类对模式情有独钟，所以针对人类的多数密码进行了某些假设。随后基于这些假设制定一些猜测密码的规则，从从而加快破解密码的速度。这些方法都很聪明。
有时可能还会有键值有重复的情况（按出生日期找人）或按键值区间的查找需求（按出生日期区间找人），比较次数会比 logN 大一些，但基本仍是这个数量级的。索引的本质就是排序。...还有一种衍生出来的 HASH 索引，用来索引的是键值的某种 HASH 值，这样查找时连二分比较也不用了，速度会更快。...HASH 索引本质上是键值的 HASH 值来排序。我们下面的讨论还是以普通键值排序索引为例，HASH 索引的情况可以类比。从原理上看，显然索引不会提高大量数据遍历的运算性能。...只针对键值本身提条件的，如：身份证号等于某值的、出生日期在某个区间内的，这些都很有效。针对键值的函数提条件的，大部分无效，小部分取决于数据库优化。如：出生日期是星期几的，索引键是出生日期。...再如：年龄在某个区间的，索引键是出生日期。索引不能直接用，但年龄和出生日期之间是个单调函数，如果数据库优化做得好是可能利用的。但也有些数据库不行。
抽象 抽象特性主要用来隐藏方法的具体实现。也有一种说法将上面提到的四大特性中的抽象这一特性排除在外，这是因为函数本身就是一种抽象，函数内部包含具体的实现逻辑对调用者来说是不需要关注具体实现方式的。...这是因为继承多个问题会出现”钻石问题“，感兴趣的可自行了解，这里不做过多解释了。...PrintUtil(); A a = new A(); printUtil.print(a); B b = new B(); printUtil.print(b); } 这样，当增加一种设备时...但仔细来看，这段代码显然违反了面向对象中的封装特性，这是因为出生日期、和年龄是相关联的，而出生日期和年龄都暴露了set方法，如果某个开发的同事在使用错误的情况调用了 setBirthday方法，会导致通过出生日期计算的年龄和返回年龄不符的情况...所以正确的做法是，如果给出生日期提供了对外设置的方法，那么年龄就不应该对外暴露设置的方法，且要自动计算，修改后的代码如下所示： public class User { private String
3）以其他变量的计算结果填充缺失值。举个最简单的例子：年龄字段缺失，但是有屏蔽后六位的身份证号信息，那么就可以轻松找出出生年月，算出目前年龄。 4）以业务知识或经验推测填充缺失值。 4....因此，在进行这一步时，需要仔细检查数据格式和内容，特别是当数据源自用户手工填写且校验机制不完善时。...比如“ABC银行”与“ABC銀行”，单看名字可以看出这两条信息大概率是重复的，但只有对比其他信息才能确保去重的正确性，比如对比两家公司的电话与地址是否完全相同。...更好的做法是通过脱敏的身份证号提取出生年月，直接建立新的出生日期字段并用此年龄字段替换用户手动填写的年龄字段。...04 维度相关性检查 当数据库中有多个变量时，我们需要考虑变量之间的相互联系，而相关性就是用来表示定性变量或定量变量之间关系的。相关性研究可以帮助我们了解变量之间的关联性。
这么强大的Ctrl+E,你还不会用吗?...当你再面临重复性工作时，不如把工作交给快捷键"ctrl+E"。 1 信息拆分 下面表格的数据，我们是不是经常遇到呢?我们需要将信息拆分成两列，更方便我们进行信息的收集。...我们需要注意的是，姓名列和成绩列是无法同时进行多列填充的。 ? 2 如何从身份证中快速提取出生日期 我们都知道，身份证第七个数字到第15个数字中间的数据为出生日期。...从身份证中提取出生日期，以得到用户年龄是很常见的问题。如下表中，我们有用户的身份证号，现在你的需求是：需要从身份证中提取出生日期，你可能会想到分列或者MID函数，那有没有一键解决的办法呢？...书名 书名1 1 统计学 《统计学》 2 python基础教程 3 数据挖掘导论 4 统计学导论 5 时间序列分析 现在只有只有少数的书名，我们可以手动进行添加，当数据量大的时候，这就是一些无用的重复性工作
这可能是由于来自数据源的错误输入造成的，我们必须假设这些值是正确的，并映射到男性或女性。...解决方案1：删除样本（行）/特征（列） 如果我们确信丢失的数据是无用的，或者丢失的数据只是数据的一小部分，那么我们可以删除包含丢失值的行。 在统计学中，这种方法称为删除，它是一种处理缺失数据的方法。...这在进行统计分析时非常有用，因为填充缺失值可能会产生意外或有偏差的结果。 解决方案2：插补缺失值 它意味着根据其他数据计算缺失值。例如，我们可以计算年龄和出生日期的缺失值。...在这种情况下，我们没有出生日期，我们可以用数据的平均值或中位数替换缺失值。 注：平均值在数据不倾斜时最有用，而中位数更稳健，对异常值不敏感，因此在数据倾斜时使用。...在这种情况下，让我们使用中位数来替换缺少的值。 ? df["Age"].median用于计算数据的中位数，而fillna用于中位数替换缺失值。
大家好，我是黄同学 前段时间用tableau做了可视化大屏，大家有的说说没学过tableau，有的说不会做，但就是觉得很炫。 因此，有人私聊我说用excel能做可视化大屏吗？...当然，这是可以的，基于粉丝的这个需求，我们今天来讲述一下，怎么使用excel做一个简单的可视化大屏。...某通信公司要求我们从地区、品牌、时间、用户等多维度分析移动终端的销售数据，用于判断和辅助营销决策。...6）针对“地区维度”的处理 ① 数据去重 首先把“源数据”表的地区名字这一列，粘贴到地区这里，然后再选中这一列，点击“删除重复值”。 ? ② 使用sumifs()多条件求和：求出销量 ?...由下图可以看出，每一个维度的数据，我们都计算好了摆放在这，你需要啥，就使用啥。我们将做出来的图，直接ctrl+s粘贴到可视化大屏中即可。 唯一难的在哪里呢？
当打开作品时，我立刻对她的痛苦感同身受。 ? 仔细观察Viz 除了漫长的加载时间（我在Tableau Public上加载它花费了超过一分钟的时间），点击男孩/女孩名字也需要很长的时间才能筛选。...它在Tableau Public上加载和交互的速度就够慢了，当下载下来，想真的尝试拖拉拽操作以改变作品时，我的疼痛值很快达到最高级别。 ?...从观察性能记录器开始，了解时间进展。是否有长时间查询？查询太多？计算慢？绘制复杂？这种洞察力可以确保你的努力方向是正确的。 2. 本书的建议仅供参考。...接下来，我将使用数据源筛选器这种快速简便的方法来减少数据量。 请注意，在Tableau的操作顺序中，数据源筛选器（和提取筛选器）需要在其他类型筛选器之前应用，远在其他计算之前。...字符串/日期 VS 数值/布尔值 来自Alan下一个非常有用的，有助于提升工作簿性能的提示是“字符串和日期很慢，数值和布尔值很快”。 这是一个不相关的例子。
这些图表可以使用Tableau的“Show Me”功能轻松完成。 但由于这是一篇面向高级用户的文章，因此我们将超越“Show Me”并探索需要额外计算的图表。...让我们在双轴(Dual Axis)的帮助下快速修复： 6)再次将排名拖到行上并重复步骤4)和5)以得到： 您在Marks Pane中看到了Rank和Rank(2)吗？...2)将标记类型从自动更改为甘特条： 3)创建一个名为'NegProfit'的计算字段： 4)将这个NegProfit拖到Marks框架中的Size上，得到： 计算的字段用于填写甘特图中的空间。...注意：为了正确理解并使用此功能，您必须具备R及其各种语法的一些知识。...如上图所示，您可以使用Tableau的表计算与R进行通信： 如果您向下滚动功能列表，您将遇到以下四种情况： 当计算区域中包含这些函数时，Tableau会自动理解该脚本适用于R.
由于PQ里没有类似Excel中的Datedif函数，因此，在PQ中计算常用的间隔天数、年数（年龄），跟在Excel里有所不同。...- 计算间隔天数 - 小勤：Power Query里怎么计算两个日期的间隔天数？ 大海：如果两个日期是标准格式的话，可以直接相减的。 小勤：但为什么这是有小数点的一堆乱七八糟的东西？...大海：那你可以直接用函数Duration.TotalDays进行转换，如下图所示： - 计算年龄 - 小勤：Power Query里怎么计算年龄呢?...大海：这个稍微繁琐一点儿，要按照最原始的通过日期计算的方法来求解，但理解了其实也不难。 小勤：那不是要先判断出生日期的月日是否比当前日期的月日大？感觉很麻烦。...大海：对的，所以，你只要判断月日组合的文本大小就可以了。 小勤：判断文本大小？不是要转成数字来比大小吗？
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
云直播
