Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Windows微信:消息数据库架构演进

Windows微信:消息数据库架构演进

作者头像
微信终端开发团队
发布于 2022-08-31 07:10:11
发布于 2022-08-31 07:10:11
1.8K0
举报

作者:Jon,来自微信客户端团队

前言

本文基于微信用户日常使用场景 & 数据分析「通过分离重要 / 非重要数据、采用可靠的分库策略等」,对微信数据库架构进行优化 & 改造,并最终得到一个具备实践良好效果的改造方案。

背景说明

微信 for Windows自2014年上线以来,用户数稳步增长。随着时间的不断推移,用户积攒的消息量越来越大。最初的数据库设计秉着「遵循简单易用,方便管理」的原则,把用户收到的所有消息都统一存放在用户当前客户端本地的「同一个数据文件中。」

(注:微信不会保存聊天记录,聊天内容只存储在用户手机、电脑等终端设备上。)

目前问题

该方案随着目前微信使用越来越广泛、消息越来越多而逐渐暴露出许多问题:

问题1:慢

  • 随着使用时间的推移,数据也逐渐增多,数据库的查询和插入效率会受到影响;即使消息数据库存在索引,当数据量越来越庞大,索引的查询效率也随之下降。
  • 文件系统的角度,数据库文件是逐页增长的。因为长时间的使用微信会使得消息量的逐步累积,让数据库体积逐渐增长,也会导致碎片化更严重,这在机械硬盘下,也会进一步影响读写效率。

对用户最直观的影响就是:「切换聊天变得很卡,这个问题对于重度用户尤甚,甚至会出现点击聊天就卡顿的情况。」

问题2:大

随着时间的推移,消息量的逐步累积,数据库体积也是越来越大,占用用户存储空间。

问题3:磁盘文件损坏

磁盘文件意外损坏也有可能导致数据丢失。因为所有消息都放到一个数据库文件,就类似把所有鸡蛋放在一个篮子。数据库文件也可能会因为存储坏道、电脑意外断电、sqlite自身bug等原因导致数据库文件发生损坏。如果发生损坏时,有可能导致用户丢失消息数据。即使有DB恢复机制,也无法保证能恢复出所有历史记录。

当这种情况发生时,对用户影响十分大,「因为聊天记录可能没了!」

原因分析

上述变大和变慢的问题,「都是由于消息数据的不断增多引起。」但消息数的增长是无法避免的,「那么有没有办法控制增长速度,并且控制数据库的大小?」

我们从两个方向进行分析:消息情况、日常使用场景

分析1:消息情况

消息分类

用户消息可分为三大类:单人聊天,群聊,以及订阅号/服务号消息(统称为公众号消息)。

从重要性区分:

  • 单聊和群聊消息:用户的私人消息,被删除或者丢失无法恢复,对用户损失最大;
  • 公众号消息:因为只要关注了公众号,都可以拉取阅读,属于公共的消息,所以对用户来说重要性稍低。
消息大小
  • 基于对测试帐号的消息大小数据分析,我们发现,占总条数比例不高的公众号消息,占用了超过一半的数据库空间。
  • 经过对测试帐号消息类型的分析,网页卡片类消息是公众号消息的主要类型,其平均消息体大小是文本消息的几十倍。

分析2:日常应用场景分析

众所周知,我们日常使用微信,都是收发消息,或者浏览最近的消息。对于更早的消息,我们一般很少会主动去浏览。越早的消息,浏览的概率越低,所以在大多数场景下,我们要让最常访问的消息,不受老数据的影响。

解决方案

针对上述问题 & 结合分析,从以下方面对微信数据库的架构进行演进 & 优化 :

  • 分库改造
  • 建立消息索引
  • 消息体积优化
  • 提高数据库健壮性

1. 分库改造

基于以上分析,首先把公众号消息划分出去,存到单独的一个数据库,跟用户的普通消息隔离,同时也可以大幅减少普通消息数据库的体积。

基于日常使用场景的分析,大部分老数据读取的频率很低,「所以应该提高最近一段时间的读写效率」。对于这种情况,我们采取了「以时间和空间动态划分数据库」的方案。初始默认值是每个数据库存放半年的消息,超过时间之后新建一个数据库存放。对于大部分使用场景,我们只需要读写最新的数据库就可以满足需求,如果需要浏览更早的消息,可以再打开之前的数据库进行读取。

除了时间维度,我们还考虑了空间维度的划分。如果半年内消息普通消息规模超过阈值,也会新建一个数据库进行存储,让每个数据库大小和数据规模不至于太大,能提升最近一段时间消息的读写效率。

2. 建立消息索引

对于最广泛的使用场景,查看每一个聊天的消息,这种场景需要对每一个聊天会话建立一个索引。

这里的索引方案我们参考了安卓端:「即将每一个聊天转换成一个数值型的ID,从而减少每条索引的长度,提高索引的读写效率」。除此之外,我们还对一些经常访问的内容,单独提取成为一个字段,并且增加索引。比如消息的子类型,这个在老数据库中是一个序列化字段,没有索引;但这个字段经常需要用到,所以单独提出成为一列,并且加上索引,为消息按类型查找提供方便。

3. 消息体积优化

消息总是会越来越多的,如何能够不影响读写效率的同时,减少 & 压缩体积,是我们的优化方向。

从上面的数据看,部分消息体积较大,已经超过了数据库每页的大小(Page Size)。数据库是按页存储数据的,Page Size是数据库一页能够容纳的数据。如果一条数据,一个页放不下,就需要用到溢出页,把多出来放不下的数据放到溢出页中,溢出页可以有多个。这时候,如果读取这条数据,就需要把溢出页也全部读出来,会增加IO的消耗。「如果压缩数据,能够把消息体压缩到一个页能放得下,减少溢出页的使用,是可以增加IO性能的」

数据库溢出页结构(来源:《The Definitive Guide to SQLite》)

但是压缩需要占用CPU资源,这里选择一种能够平衡性能和压缩率的算法是关键。

经过对比压缩算法的Benchmark,并且对消息体压缩性进行实测,「最终选择了一个高性能压缩算法:lz4」

经过对测试帐号的数据分析,不同类型的消息体大小差异较大,一般来说,文本消息的长度不会特别大,但是网页卡片类型的消息,体积会较大。由于不同的消息长度,获得的压缩率不一样,太短的文本长度,压缩起来并没有意义,所以经过消息体长度,压缩率,压缩性能的分析,最终确定对网页卡片等进行压缩,在较低性能消耗的前提下,「综合压缩率可达到40%,减少了IO次数」

4. 提高健壮性

如果数据库文件由于外部原因发生损坏,则会对体验造成较大影响。降低损坏率和减少损坏带来的数据损失,也是我们改进的方向。

按照时间维度划分数据库之后,「相当于把消息按时间分散存储」,最新的数据库负责读写最近的消息,其余的数据库只需要根据需求支持浏览查看消息。对于老数据库而言,可以做到按需加载,从而减少了对数据库的读写,也减少了这些数据库损坏的几率。一旦有数据库出现损坏,即使无法恢复,也不会所有消息全部丢失,只会丢失该数据库对应时间段的消息,这也可以减少部分数据库损坏带来的损失。

在早期使用的单数据库架构中,由于数据会越攒越多,数据库体积会持续变大,很难去做备份。分库之后,每个数据库体积变小,因而数据库备份变得更为可行。因为最新的数据库存在频繁的消息读写,发生损坏的概率远高于老数据库,所以这里对最新的一个数据库做定期的备份。「默认配置下,我们每间隔一段时间会对最新的数据库进行一次备份,该备份是最新的一个数据库的完整拷贝」。若最新的数据库在读写时发生损坏,会先尝试从备份数据恢复。若恢复成功,则最多丢失从备份到恢复这段时间的数据,进一步降低损坏造成的损失。

优化对比

经过对比,对于一个在测试帐号中原始的消息数据库,「压缩后大小可以减少接近一半,同时溢出页数和需要使用溢出页的记录数减少也超过一半」

对于读写性能,对比压缩前,压缩后的读取和解压缩性能比之前「有接近10%的提升」

展望

后续我们微信客户端团队将继续研究数据库修复相关的实践,持续关注数据库相关的性能数据,提升可靠性,打造更好的用户体验!

想了解更多「微信客户端技术及开发经验」,请关注「微信客户端技术团队公众号」

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2022-08-30,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 WeMobileDev 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
题目练习之二叉树那些事儿(续集)
这里我们会发现题目希望我们编写一个程序,而不是一个函数,那么这里就需要我们自己去创建二叉树,定义二叉树结点,不能使用现成的。
用户11352420
2024/11/07
1120
题目练习之二叉树那些事儿(续集)
【二叉树 OJ题】二叉树基础知识 与 OJ题完成(二叉树构建与遍历问题,子树查找问题)
树是一种非线性的数据结构,它是由n(n>=0)个有限结点组成一个具有层次关系的集合。
叫我龙翔
2024/01/30
1780
【二叉树 OJ题】二叉树基础知识 与 OJ题完成(二叉树构建与遍历问题,子树查找问题)
由浅入深二叉树刷题指南与讲解
上一篇我们已经了解了二叉树的实现方式, 那么本篇重在进入二叉树OJ刷题环节, 我也会分享我在写题的思路, 帮助我们更好的理解二叉树, 并且本篇也进行二叉树其他方法的实现, 也欢迎不同观点评论区留言.
用户11317877
2024/10/16
1010
由浅入深二叉树刷题指南与讲解
算法:搜索
在无序记录集中搜索关键词为key的记录在记录集中的位置i(0 <= i <= n - 1). 它的查找过程是:
用户3578099
2022/04/18
6240
算法:搜索
【数据结构和算法】--- 二叉树(4)--二叉树链式结构的实现(2)
层序遍历: 除了先序遍历、中序遍历、后序遍历外,还可以对二叉树进行层序遍历。设二叉树的根节点所在层数为1,层序遍历就是从所在二叉树的根节点出发,首先访问第一层的树根节点,然后从左到右访问第2层上的节点,接着是第三层的节点,以此类推,自上而下,自左至右逐层访问树的结点的过程就是层序遍历。 可以参考下图:
用户11029269
2024/03/19
1540
【数据结构和算法】--- 二叉树(4)--二叉树链式结构的实现(2)
【数据结构】二叉树基础OJ题
简单来说,结点的值都要相同。那我们可以去判断当前结点的值和左孩子的值相不相同,再去判断当前结点的值和右孩子的值相不相同。只要出现不同,那我们直接返回错误。再去递归左右孩子,直到结束。
平凡的人1
2022/11/15
1810
【数据结构】二叉树基础OJ题
【数据结构初阶第十七节】二叉树算法题
中序遍历和前序遍历对于这道题来说其实都是一样的,只是其中遍历的方式不一样,整体思路是一样的,后序遍历亦是如此,前面的前、中、后序遍历学得OK的话实现这两道就没有任何问题。
云边有个稻草人
2025/03/02
921
【数据结构初阶第十七节】二叉树算法题
【数据结构初阶】链式二叉树接口实现+痛苦的OJ题
另外说一点哈,我们马上就要进入递归的神圣殿堂了,以后看待二叉树就不能和以前那样看待了,那怎么看待呢?就以下面图那样去看待,每个度小于2的结点是有NULL的,所以你必须看到这些NULL。
举杯邀明月
2023/04/12
2760
【数据结构初阶】链式二叉树接口实现+痛苦的OJ题
【初阶数据结构】二叉树(附题)
树是一种非线性的数据结构,它是由n(n>=0)个有限结点组成一个具有层次关系的集合。把它叫做树是因为它看起来像一棵倒挂的树,也就是说它是根朝上,而叶朝下的。
ZLRRLZ
2024/12/13
4280
【初阶数据结构】二叉树(附题)
数据结构初步(十一)- 二叉树oj来战
,编写一个函数来检验这两棵树是否相同。 如果两个树在结构上相同,并且节点具有相同的值,则认为它们是相同的。
怠惰的未禾
2023/04/27
3970
数据结构初步(十一)- 二叉树oj来战
【LeetCode-二叉树训练】
思路:通过root与其两个子节点判断是否相等,为了通过这个步骤遍历树的所有节点,采用递归方式去遍历即可
每天都要进步呀
2023/03/28
1760
【LeetCode-二叉树训练】
【初阶数据结构篇】深入浅出:链式结构二叉树(二叉链)的实现与递归奥秘(上篇)
BinaryTree · petrichor/2024-summer-c-language - 码云 - 开源中国 (gitee.com)
半截诗
2024/10/09
1490
【初阶数据结构篇】深入浅出:链式结构二叉树(二叉链)的实现与递归奥秘(上篇)
【初阶数据结构篇】二叉树算法题
本题如换做中序和后序遍历,直接调换插入数据顺序即可,其它思路都一样 中序遍历题目 后序遍历题目
半截诗
2024/10/09
1310
【初阶数据结构篇】二叉树算法题
【C++】二叉搜索树
二叉搜索树又称二叉排序树,可以简写成 BST,它或者是一棵空树,或者是具有以下性质的二叉树:
YoungMLet
2024/03/01
1550
【C++】二叉搜索树
二叉树翻转(递归+非递归)
这里还有个趣事,Homebrew 的作者 Max Howell 某天去 Google 面试,面试官出了一道反转二叉树的题目,然而 Max Howell 没答上来,结果被拒。面试官的评语是:“我们 90% 的工程师使用您编写的软件,但是您却无法在面试时在白板上写出翻转二叉树这道题,所以滚蛋吧”。
恋喵大鲤鱼
2020/05/31
2.9K0
二叉树构建与遍历-LeetCode 889、1008、129、113
返回与给定的前序和后序遍历匹配的任何二叉树。 pre 和 post 遍历中的值是不同的正整数。
算法工程师之路
2019/11/26
5700
【算法专题】二叉树中的深搜(DFS)
深度优先遍历(DFS,全称为 Depth First Traversal),是我们树或者图这样的数据结构中常用的⼀种遍历算法。这个算法会尽可能深的搜索树或者图的分支,直到一条路径上的所有节点都被遍历完毕,然后再回溯到上一层,继续找⼀条路遍历。
YoungMLet
2024/03/01
3060
手撕数据结构之二叉树
树是⼀种⾮线性的数据结构,它是由 n(n>=0) 个有限结点组成⼀个具有层次关系的集合。把它叫做树是因为它看起来像⼀棵倒挂的树,也就是说它是根朝上,⽽叶朝下的。
Undoom
2024/09/23
2500
手撕数据结构之二叉树
[数据结构]——二叉树链式结构的实现
在学习二叉树的基本操作前,需先要创建一棵二叉树,然后才能学习其相关的基本操作。由于现在大家对二叉树结构掌握还不够深入,为了降低大家学习成本,此处手动快速创建一棵简单的二叉树,快速进入二叉树操作学习,等二叉树结构了解的差不多时,我们反过头再来研究二叉树真正的创建方式。
小李很执着
2024/06/15
980
[数据结构]——二叉树链式结构的实现
【题目/训练】二叉树的创建&&遍历(递归&&非递归)
这题我们主要用到dfs的想法 然后我们定义两个全局变量,preIndex,postIndex来分别表示当前前序遍历和后序遍历,遍历到哪一个节点,然后由于前序遍历的第一个节点就是根节点,我们先存下根节点,然后在后序遍历找到对应根节点的左右子树,然后返回根节点即可。
IsLand1314
2024/10/15
2050
【题目/训练】二叉树的创建&&遍历(递归&&非递归)
推荐阅读
相关推荐
题目练习之二叉树那些事儿(续集)
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档