上篇文章说了连接查询的成本，主要由驱动表的扇出值和被驱动表的查询方法决定，而成本这些都是可以在%cost%表查看的，因为分为server和engine表，server不管理数据成本，里面包含连接管理，查询缓存，sql解码，sql优化，engine就是数据引擎成本，而distinct，union等特殊查询，会建立临时表，临时表看数据量可能建立磁盘或者内存，比如distinct会用unique索引建立临时表去重。
我们都知道，在关系型数据库中，索引的存在是非常重要的，但是不合理的索引反而会影响到业务的性能，那怎么才能合理的设计索引也是业务高效访问数据库需要考虑的？如何才能评估索引创建的合理呢？今天我们给出其中一个评估指标：Cardinality
6.4 配置元件 1 CSV Data Set Config CSV Data Set Config是用来做参数化的常用元件。通过右键点击菜单，选择“添加->配置元件->CSV Data Set Config”而获得。其界面如图41所示。
在MySQL中需要查询表中不重复的记录时，可以使用distinct关键字过滤重复记录。
数据在分片时，典型的是分库分表，就有一个全局ID生成的问题。 单纯的生成全局ID并不是什么难题，但是生成的ID通常要满足分片的一些要求： 1 不能有单点故障。 2 以时间为序，或者ID里包含时间。这样一是可以少一个索引，二是冷热数据容易分离。 3 可以控制ShardingId。比如某一个用户的文章要放在同一个分片内，这样查询效率高，修改也容易。 4 不要太长，最好64bit。使用long比较好操作，如果是96bit，那就要各种移位相当的不方便，还有可能有些组件不能支持这么大
数据在分片时，典型的是分库分表，就有一个全局ID生成的问题。 单纯的生成全局ID并不是什么难题，但是生成的ID通常要满足分片的一些要求： 1 不能有单点故障。 2 以时间为序，或者ID里包含时间。这样一是可以少一个索引，二是冷热数据容易分离。 3 可以控制ShardingId。比如某一个用户的文章要放在同一个分片内，这样查询效率高，修改也容易。 4 不要太长，最好64bit。使用long比较好操作，如果是96bit，那就要各种移位相当的不方便，还有可能有些组件不能支持这么大的ID。
昨天在调试一个业务代码中，无意间发现了一个问题。数据入库后的主键不是连续自增的，主键键值没过几秒就从两千多直接跳到了五千上下。这是为什么？瞬间引起我的注意。 先简单说明下环境。Mysql版本：5.6.23。为了防止某些数据重复，数据库中对某些字段设置了唯一索引，即unique key。经确认此表也只有一个业务程序在操作。那么，问题就定位到主键的auto_increment属性上了。 问题重现 下面来还原问题，以便能准确查找出原因。 表结构如下： CREATE TABLE `test_innodb` (
本篇文章会介绍Redis在项目开发中会有那些应用场景，对每个应用场景会有一个简要概述，并且会在接下来的时间对每个场景整理出文章与对应代码供开发者阅读。
不问花开几许，只愿浅笑安然 除了求和，另一个日常工作中最常用到的聚合方式应该是计数了。DAX提供了一系列关于计数的函数。他们可以帮助我们计算表中有多少行或者某个值出现了多少次。 DAX中包含的计数函数有： COUNT()函数，对列中值的数量进行计数，除了布尔型； COUNTA函数，对列中值的数量进行计数，包含布尔型； COUNTBLANK()函数，返回列中空单元格的计数； COUNTROWS()函数，返回表中行的计数； DISTINCTCOUNT()函数，返回列中值的不重复计数，包含空单元格。 DISTI
分步计数原理对应乘法法则 , 最终结果是 第一步的方案个数 乘以 第二步的方案个数 ;
在使用mysql时，有时需要查询出某个字段不重复的记录，这时可以使用mysql提供的distinct这个关键字来过滤重复的记录，但是实际中我们往往用distinct来返回不重复字段的条数（count(distinct id)）,其原因是distinct只能返回他的目标字段，而无法返回其他字段，例如有如下表user:
短网址服务是用于缩短网址，方便用户记忆和访问的一种服务。它通常通过将长网址与短网址服务提供的接口进行匹配，从而实现缩短网址的目的。短网址服务可以降低用户输入长网址时的错误率，提高用户体验，同时也可以减轻服务器的压力，提高网站的访问速度。目前市面上有许多短网址服务，如google的goo.gl、新浪的sina.lt等。
大致都一样，不过在进行相加这里头和尾也都算上，因为在一开始开空间，全都给0了。 能多加一个条件判断，不怕越界
文章背景： 工作中，有时需要计算某一单元区域内不重复数字的个数。可以借助COUNTA和UNIQUE函数完成这一需求。下面介绍两种场景。
因此这里 元素不重复 , 有序选取 , 对应的是 集合的排列 , 使用集合排列公式 ;
在MySQL中，有时候我们需要从表中检索唯一的、不重复的数据。这时，我们可以使用DISTINCT关键字来过滤掉重复的数据行。在本文中，我们将深入探讨MySQL中DISTINCT的用法以及如何在查询中使用它来得到不重复的结果集。
Given a string, find the length of the longest substring without repeating characters.
所谓系统设计，就是给一个场景，让你给出对应的架构设计，需要考虑哪些问题，采用什么方案解决。很多面试官喜欢出这么一道题来考验你的知识广度和逻辑思考能力。
有赞使用storm已经有将近3年时间，稳定支撑着实时统计、数据同步、对账、监控、风控等业务。订单实时统计是其中一个典型的业务，对数据准确性、性能等方面都有较高要求，也是上线时间最久的一个实时计算应用。通过订单实时统计，描述使用storm时，遇到的准确性、性能、可靠性等方面的问题。 订单实时统计的演进 第一版：流程走通 在使用storm之前，显示实时统计数据一般有两种方案： 在数据库里执行count、sum等聚合查询，是简单快速的实现方案，但容易出现慢查询。 在业务代码里对统计指标做累加，可以满足指标的快速查
完全的范式和反范式是不存在的，在实际操作中建议混用这两种策略，可能使用部分范式化的schema、缓存表、以及其他技巧。
在微博里发布一条带网址的信息，微博会把里面的网址转化成一个更短的网址。只要访问这个短网址，就相当于访问原始的网址。
昨天有个网友在公众号留言问我~ 统计符合B列条件的A列不重复的计数（多个重复算一个） 我读了两边，领悟了他的问题，就是统计符合条件的另外一列的不重复单元格个数！ 这个问题有三个关键点 1、符合条件
Redis 发布订阅 (pub/sub) 是一种消息通信模式：发送者 (pub) 发送消息，订阅者 (sub) 接收消息
前面我们说了join查询原理，最基本的是嵌套查询，这种不推荐，如果数据量庞大，因为内存是有限的，不能放下所有的数据，可能查询到后面的时候，前面的数据就从内存从释放，为了减少磁盘的查询次数，有了join buffer这个缓存区，专门放被驱动表的数据，用来匹配查询出来的驱动表数据是否符合，当然还是建议用索引来查询。
在MySQL数据库中，经常会遇到需要对数据进行分组和去重的情况。为了达到这个目的，我们通常会使用GROUP BY和DISTINCT这两个关键字。虽然它们都可以用于去重，但是它们具有不同的用法和效果。本文将详细解析MySQL中的GROUP BY和DISTINCT的用法，并比较它们对同一字段的去重效果是否相同。
学习MySQL的知识，学习好索引是非常重要的，索引分类、索引如何正确添加、索引失效的场景、底层数据结构等问题是面试中必问的，就这些内容我们一起学习巩固下。
数据库表设计是项目开发中逃不掉的问题，每一张表，我们都会设计一个ID主键字段，关于表ID的生成方式，每个人都有自己的见解，我们就来讨论如何优雅的设计数据库ID
构建分布式系统时，如何对数据进行唯一标识也是一个至关重要的设计。不仅要符合B-tree数据结构以维持查询性能，还要考虑唯一标识的连续性会不会影响系统安全性。在分库分表的情况下，还要避免唯一标识重复且高效等等需要考虑的点。为此，市场就出现了很多分布式ID生成方案。本文将详细介绍九种主流的分布式ID生成策略供大家参考使用。
介绍使用索引、临时表 + 文件排序实现 group by，以及单独介绍临时表的三篇文章中，多次以 count(distinct) 作为示例说明。
另:SELECT * FROM information_schema.STATISTICS WHERE TABLE_NAME = "t1" 与 show index from t1 作用相似,且会返回更多的字段信息
文章目录 一、排列组合内容概要 二、选取问题 三、集合排列 四、环排列 五、集合组合 参考博客 : 【组合数学】基本计数原则 ( 加法原则 | 乘法原则 ) 【组合数学】集合的排列组合问题示例 ( 排列 | 组合 | 圆排列 | 二项式定理 ) 一、排列组合内容概要 ---- 排列组合内容概要 : 选取问题 集合的排列与组合问题 基本计数公式应用 多重集的排列与组合问题 二、选取问题 ---- n 元集 S , 从 S 集合中选取 r 个元素 ; 根据 元素是否允许重复 , 选取过程是否有序
分页功能是很常见的功能，特别是当数据量越来越大的时候，分页查询是必不可少的。实现分页功能有很多种方式，如果使用的ORM框架是mybatis的话，有开源的分页插件可以使用，如：Mybatis-PageHelper。如果不使用分页插件，那么就需要手动分页了，由于不同的数据库实现分页的SQL语句并不一致，如Mysql使用的是limit关键字，而Oracle使用的是rownum，所以本文本文讲解的分页方案只适用于Mysql数据库。
在项目过程中因需要大批量数据的insert or update操作，为了减少应用程序的校验逻辑，所以使用了mysql 的特殊语法insert into … on duplicate key update。用于解决出现相同的主键执行update ，不同主键执行新增。
4.3.2 count(distinct id) 和 count(distinct 1)
Bitmaps 并不是实际的数据类型，而是定义在String类型上的一个面向字节操作的集合。因为字符串是二进制安全的块，他们的最大长度是512M，最适合设置成2^32个不同字节。 bitmaps的位操作分成两类：1.固定时间的单个位操作，比如把String的某个位设置为1或者0，或者获取某个位上的值 2.对于一组位的操作，对给定的bit范围内，统计设定值为1的数目（比如人口统计）。 bitmaps最大的优势是在存储数据时可以极大的节省空间，比如在一个项目中采用自增长的id来标识用户，就可以仅用512M的内存来记录40亿用户的信息（比如用户是否希望收到新的通知，用1和0标识）
事情的发生时这样的，在很久很久以前，SQL SERVER 有一个字段类型叫timestamp， 对比其他数据库都没有的 row version 自动化管理的东西。这个东西厉害的地方，虽然看上去可能是一个时间字段，但实际上不是，只要你对SQL SERVER 表的任意一行进行变动，那你放心那个字段的值一定会自动变化，这样你就可以通过这个字段，在程序里面先将这行的 timestamp值取出来，然后根据业务逻辑，如果需要过段时间你再去这一行变化或曾经变化过吗？之间与现在的timestamp字段值进行比对，那妥妥的能告诉你，这行的数据任意字段是否变化过，有人说MYSQL也有timestamp ，那个字段是通过时间来update 只要这个行变动过就触发timestamp 更改时间就可以了，当然datetime也行，早期版本不行。
群里一网友这两天刚入职新公司，遇到一个重启 MySQL 服务后，自动增长值丢失问题，差点背锅走人。下面我们一起来回顾一下这个问题。
小勤：大海，公司有个关于网点的客户数量统计问题，涉及到非重复计数的问题，这么常用的功能，Excel里居然不支持！
文章目录 一、指数生成函数 二、排列数指数生成函数 = 组合数普通生成函数 三、指数生成函数示例 参考博客 : 按照顺序看 【组合数学】生成函数 简要介绍 ( 生成函数定义 | 牛顿二项式系数 | 常用的生成函数 | 与常数相关 | 与二项式系数相关 | 与多项式系数相关 ) 【组合数学】生成函数 ( 线性性质 | 乘积性质 ) 【组合数学】生成函数 ( 移位性质 ) 【组合数学】生成函数 ( 求和性质 ) 【组合数学】生成函数 ( 换元性质 | 求导性质 | 积分性质 ) 【组合数学】生成函数 ( 性质总
读取不重复的数据可以在 SELECT 语句中使用 DISTINCT 关键字来过滤重复数据。
上一篇文章一场pandas与SQL的巅峰大战中，我们对比了pandas与SQL常见的一些操作，我们的例子虽然是以MySQL为基础的，但换作其他的数据库软件，也一样适用。工作中除了MySQL，也经常会使用Hive SQL，相比之下，后者有更为强大和丰富的函数。本文将延续上一篇文章的风格和思路，继续对比Pandas与SQL，一方面是对上文的补充，另一方面也继续深入学习一下两种工具。方便起见，本文采用hive环境运行SQL，使用jupyter lab运行pandas。关于hive的安装和配置，我在之前的文章MacOS 下hive的安装与配置提到过，不过仅限于mac版本，供参考，如果你觉得比较困难，可以考虑使用postgreSQL，它比MySQL支持更多的函数(不过代码可能需要进行一定的改动)。而jupyter lab和jupyter notebook功能相同，界面相似，完全可以用notebook代替，我在Jupyter notebook使用技巧大全一文的最后有提到过二者的差别，感兴趣可以点击蓝字阅读。希望本文可以帮助各位读者在工作中进行pandas和Hive SQL的快速转换。本文涉及的部分hive 函数我在之前也有总结过，可以参考常用Hive函数的学习和总结。
String 是最基本的 key-value 结构，key 是唯一标识，value 是具体的值，value其实不仅是字符串， 也可以是数字（整数或浮点数），value 最多可以容纳的数据长度是 512M。
我们以前有讲解过如何统计快速重复数值：EXCEL小技巧，筛选重复值！，但如果老板要你统计不重复的数据怎么办？所以今天我们讲解如何快速统计不重复的数据。
游戏开服前两天（2022-08-13至2022-08-14）的角色登录和登出日志如下
作者针对短串联重复序列这个生物学中的特殊motif和最新一代的纳米孔测序相结合，开发了DeepRepeat，讲纳米孔测序的电信号转化为RGB通道的图像，使用深度学习模型对图像进行处理，最终实现对序列的分类。作者在一般数据集和全基因组数据集上进行了测试，验证了模型性能。
项目中一直有计算DAU这类的需求，业务开发者往往埋个点，其他是事情就交给数据团队了。
多线程编程，锁通常是必不可少的保证代码运行安全的工具，一提到锁，最直接想到的是性能问题，给人的印象是锁会影响系统性能。这固然不然。但性能本身并不是锁本身引起的，锁也只是一个系统调用，它本身的开销是很小的，很多测试中，我们发现加锁和去掉锁后的性能几乎没有差别，为什么了？ 问题的关键在于，锁带来的性能下降，是因为锁与锁之间发生了碰撞，如果没有锁间的碰撞，则它所损害的性能是非常有限的。因此，要想减少因为使用锁带来的性能问题，就必须想办法减少锁之间的碰撞。 我常使用两种方法来降低锁之间的碰撞概率： 1.将需要锁保证的资源分组，将一个大锁化为以组为单位的小锁，如：建立多个队列，每个队列对应的一把锁，这样锁队列时，就不至于锁住所有队列（这里有点类似于数据库中的表锁、行锁等）； 2.获取共享资源后即释放锁。这里又有两种场景：一是资源需要重复使用，二是资源取出后不重复使用。对于需要重复使用的应用考虑对该资源使用引用计数，对于不重复的则直接释放锁，如： 示例一： char* msg = NULL; if (!_queue.is_empty()) { sys::CLockHelper lock(_lock); // 这里锁助手，能够在作用域结束时自动解锁 msg = _queue.get_message(); // 从共享的队列中取出数据 } // 运行到这里的时候，锁已经解除掉 // 这里使用从队列里取出的msg，如写入文件等 fputs(msg, fp); 示例二： Object* obj = NULL; if (!_queue.is_empty()) { sys::CLockHelper lock(_lock); // 这里锁助手，能够在作用域结束时自动解锁 obj = _queue.get_object(); // 从共享的队列中取出数据 obj->inc_refcount(); // 增加引用计数 } // 运行到这里的时候，锁已经解除掉 // 这里可以安全的使用obj了，而且已经不在锁范围之类 // 使用完全，需要放回到锁： sys::CLockHelper lock(_lock); if (obj->dec_refcount() > 0) // 如果已经没人使用这个obj，则不用再放回队列了，这里也会删除它以释放资源 _queue.push_object(obj); fputs(msg, fp);
小勤：ALL函数是清除所有筛选条件并返回表中的不重复值，下面对表的行进行计数应该是3呀，因为有两个大海是重复的，怎么还是4? 大海：没有说all返回的是不重复值啊。 小勤：那么我ALL（表[姓名]），
上周有位粉丝给我发了一个这样的问题：怎么处理17G的sql数据库文件。这个问题的其实有些大数据的处理的方向，当然肯定是把这些数据放在mysql数据库里或者Hive里查询操作比较方便。毕竟像Hadoop全家桶就是为了解决大数据而生的。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
