Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >MySQL Buffer pool里的change buffer是啥?

MySQL Buffer pool里的change buffer是啥?

作者头像
JavaEdge
发布于 2021-03-05 02:29:03
发布于 2021-03-05 02:29:03
1.7K0
举报
文章被收录于专栏:JavaEdgeJavaEdge

4 change buffer

4.1 基本概念

change buffer是一种特殊的数据结构,当这些页面不在缓冲池中时,这些高速缓存会将更改缓存到辅助索引页面。可能由INSERT,UPDATE或DELETE操作(DML)导致的缓冲更改将在以后通过其他的读取操作将页加载到缓冲池中时合并。

如上图可见,change buffer用的是buffer pool里的内存,所以不能无限增长。change buffer大小可通过参数innodb_change_buffer_max_size动态设置。 比如设置为50:change buffer的大小最多只能占用buffer pool的50%。

需更新一个数据页时:

  • 页在内存,直接更新
  • 页不在内存,在不影响数据一致性下,InooDB会将这些更新操作缓存于change buffer,而无需从磁盘读入页

在下次查询访问该数据页时,才将数据页读入内存,然后执行change buffer中与这个页有关的操作。通过该方式就能保证该数据逻辑的正确性。

change buffer 实际上也是可持久化的数据,即它不仅在内存中有拷贝,也会被写进磁盘。

4.2 merge

将change buffer中的操作应用到原数据页,得到最新结果的过程。

4.2.1 触发时机

  1. 访问该数据页
  2. 系统后台线程定期merge
  3. 数据库正常关闭(shutdown)的过程

若能将更新操作先记录在change buffer,减少读盘,语句执行速度便会明显提升。且数据读入内存需要占用buffer pool,因此也能降低内存占用,提高内存利用率。

4.3 何时使用change buffer

  • 对于唯一索引,更新操作都要先判断该操作是否违反唯一性约束: 比如,要插入(4,400)记录,要先判断表中是否已存k=4记录,就必须要将数据页读入内存来判断。若都已读入内存了,那直接更新内存自然很快,没必要使用change buffer。 因此,唯一索引的更新不能使用change buffer,只有普通索引可使用

4.4 适用场景

难道普通索引的所有场景,使用change buffer都可加速吗?

注意merge才是真正进行数据更新时刻,change buffer主要是将记录的变更动作缓存。所以在一个数据页做merge前,change buffer记录变更越多(即该数据页上要更新的次数越多),收益越大。

  • 写多读少业务,页面在写完后马上被访问到的概率较小,change buffer使用效果最好。常见为账单、日志类系统。
  • 写后马上查询,将先新记录在change buffer,但之后由于立即访问该数据页,又很快触发merge,这样的话随机访问IO次数不会减少,反而增加change buffer维护代价,change buffer起了副作用。
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2021/03/03 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
20+移动端硬件,Int8极速推理,端侧推理引擎Paddle Lite 2.0 正式发布
https://github.com/PaddlePaddle/Paddle-Lite
机器之心
2019/11/11
1.2K0
20+移动端硬件,Int8极速推理,端侧推理引擎Paddle Lite 2.0 正式发布
技术公开课实录:飞桨高性能端侧推理引擎Paddle Lite技术解析
本期是由百度飞桨资深研发工程师为大家带来飞桨高性能端侧推理引擎Paddle Lite技术解析,敬请观看。
用户1386409
2019/12/19
1.1K0
【了不起的芯片2】盘点40+公司的深度学习处理器
【新智元导读】本文列举并介绍了现有的几乎全部深度学习处理器,是值得收藏的超全资料。 Nvidia GPU 英伟达最新的 GPU NVIDIA TESLA V100 单精度浮点性能达到15 TFlops,在新的 Tensor core 架构达到 120 TFlops,是FP16乘法或FP32累加,或适应ML。 英伟达将8个board包装在他们的 DGX-1 for 960 Tensor TFlops Nvidia Volta - 架构看点 这篇文章对 Volta 架构做了一些分析 SoC 英伟达提供 NVID
新智元
2018/03/22
1K0
腾讯开源TurboTransformers,推理加速性能超越TensorRT等主流优化引擎
在自然语言处理领域,以 BERT 为代表的 Transformer 神经网络模型是近年来最重要的模型创新,为诸如阅读理解、文章摘要、语义分类、同义改写等 NLP 任务带了显著的效果提升。但 Transformer 在提高模型精度的同时,也引入了更多的计算量,这导致 Transformer 的线上 NLP 服务在部署方面面临着巨大挑战。
机器之心
2020/04/26
1.6K0
腾讯开源TurboTransformers,推理加速性能超越TensorRT等主流优化引擎
大语言模型推理框架调研
大语言模型(LLM)的迅猛发展及其在自然语言处理、代码生成、多模态交互等领域的广泛应用,对底层推理基础设施提出了前所未有的挑战。模型规模的急剧膨胀(参数量从数十亿扩展至数万亿)和复杂计算需求(如注意力机制)导致推理过程中的显存占用巨大、计算延迟高昂。为了在实际生产环境中高效、经济地部署 LLM,业界涌现出一系列专门针对 LLM 推理优化的框架。这些框架通过引入创新的内存管理机制、批处理策略、并行计算技术以及硬件加速等手段,旨在提升推理吞吐量、降低延迟、优化资源利用率。
磊叔的技术博客
2025/06/03
8740
大语言模型推理框架调研
【AI系统】Kernel 层架构
推理引擎的 Kernel 层通常是推理引擎中用于执行底层数学运算的组件。在神经网络模型推理过程中,需要对大量数据进行高效的数学运算,如矩阵乘法、卷积、池化等。Kernel 层就是实现这些运算的核心部分,它直接影响着推理引擎的速度和效率,因此本文将会重点介绍 Kernel 层相关的内容。
用户11307734
2024/12/06
1630
腾讯微信团队开源推理加速工具TurboTransformers
近日,腾讯正式宣布开源 Transformer 推理加速工具 TurboTransformers。该工具是面向自然语言处理领域中 Transformers 相关模型丰富的线上预测场景所提出的加速方案,已经在微信、腾讯云、QQ 看点等产品的线上服务中广泛应用,这是腾讯通过 GitHub 对外开源的第 100 个项目。
代码医生工作室
2020/05/09
8110
腾讯微信团队开源推理加速工具TurboTransformers
英伟达「核弹级」GPU A100不敌AMD?比起算力,CUDA才是核心武器
从去年下半年到今年8月,英伟达市值一路攀升,创下5080亿美元的记录,位居半导体行业第二位,而英伟达联合创始人、CEO兼总裁黄仁勋的身价也涨至190亿美元。
新智元
2021/11/23
1.5K0
重磅推荐:AI芯片产业生态梳理
AI芯片作为产业核心,也是技术要求和附加值最高的环节,在AI产业链中的产业价值和战略地位远远大于应用层创新。腾讯发布的《中美两国人工智能产业发展全面解读》报告显示,基础层的处理器/芯片企业数量来看,中国有14家,美国33家。本文将对这一领域产业生态做一个简单梳理。
辉哥
2018/08/10
1.1K0
重磅推荐:AI芯片产业生态梳理
开源项目介绍 |TNN-跨平台AI推理框架
2021腾讯犀牛鸟开源人才培养计划 开源项目介绍 滑至文末报名参与开源人才培养计划 提交项目Proposal TNN项目介绍         标签:人工智能         技术栈:C++,Python TNN-跨平台AI推理框架, 跨平台AI推理框架,同时拥有跨平台、高性能、模型压缩、代码裁剪等众多突出优势。同时也借鉴了业界主流开源框架高性能和良好拓展性的优点。目前TNN已经在腾讯业务手Q、微视、P图等广泛落地应用,欢迎大家参与协同共建,促进TNN推理框架进一步完善。 TNN项目导师
腾讯开源
2021/06/21
1.8K0
英伟达 H100 vs. 苹果M2,大模型训练,哪款性价比更高?
关键词:M2芯片;Ultra;M1芯片;UltraFusion;ULTRAMAN;RTX4090、A800;A100;H100;LLAMA、LM、AIGC、CHATGLM、LLVM、LLM、LLMs、GLM、NLP、ChatGPT、AGI、HPC、GPU、CPU、CPU+GPU、英伟达、Nvidia、英特尔、AMD、高性能计算、高性能服务器、蓝海大脑、多元异构算力、高性能计算、大模型训练、大型语言模型、通用人工智能、GPU服务器、GPU集群、大模型训练GPU集群、大语言模型
液冷服务器
2023/07/28
2.3K0
英伟达 H100 vs. 苹果M2,大模型训练,哪款性价比更高?
腾讯开源了 | 微信也在用的Transformer加速推理工具(附源码链接)
自Attention机制提出后,加入attention的Seq2seq模型在各个任务上都有了提升,所以现在的seq2seq模型指的都是结合rnn和attention的模型,具体原理可以参考传送门的文章。之后google又提出了解决sequence to sequence问题的transformer模型,用全attention的结构代替了lstm,在翻译任务上取得了更好的成绩。本文主要介绍《Attention is all you need》这篇文章,自己在最初阅读的时候还是有些不懂,希望可以在自己的解读下让大家更快地理解这个模型。
计算机视觉研究院
2020/05/04
1.4K0
深度学习的异构加速技术(三):互联网巨头们“心水”这些 AI 计算平台
本文探讨了神经网络加速器在数据中心中的重要性,并提出了几种主要的神经网络加速器架构。这些架构包括基于GPU的架构、基于FPGA的架构和基于ASIC的架构。作者还讨论了这些架构的优缺点,并展望了未来神经网络加速器的发展方向。
腾讯技术工程官方号
2017/11/14
4.3K4
深度学习的异构加速技术(三):互联网巨头们“心水”这些 AI 计算平台
干货 | 携程AI应用的推理性能优化
Shan Zhou,携程算法专家,主要负责携程度假AI应用在CPU和GPU平台的性能优化,涉及计算机视觉,自然语言处理,机器翻译和语音处理等多个领域。
携程技术
2020/07/24
1.4K0
干货 | 携程AI应用的推理性能优化
计算机视觉深度学习训练推理框架
前言 本文整理了一些深度学习训练推理框架,涉及计算机视觉、语音、时序任务上的框架,共计20多种。
小白学视觉
2025/02/05
2040
计算机视觉深度学习训练推理框架
一个方案搞定从模型量化到端侧部署全流程
得益于海量数据、超强算力和最新技术,深度学习在视觉、自然语言处理等领域都取得了巨大成功。然而,深度学习模型的网络结构越来越复杂、参数越来越多、计算量越来越大,给模型部署应用带来了不小挑战,尤其对于存储、计算资源都有限的手机等边缘设备。于是,工业界和学术界提出了众多深度学习模型的压缩与加速技术,而模型量化就是最常见的技术之一。
用户1386409
2020/07/08
2.1K0
AMD:AI驱动的存储革命,DPU加速存储访问新趋势
人工智能(AI)的快速发展,尤其是生成性AI的崛起,正在深刻改变存储系统的设计与优化方向。从ChatGPT的快速普及到大型语言模型(LLMs)的规模扩张,AI应用对存储系统的性能、容量和效率提出了前所未有的挑战。与此同时,数据处理单元(DPU)的出现为解决这些挑战提供了新的可能性。本文将探讨AI对存储系统的影响趋势,分析AMD GPU生态系统在AI领域的优势,以及DPU在AI场景中的应用机遇,并通过实际案例研究展示DPU在加速存储访问中的显著效果。
数据存储前沿技术
2025/02/18
1730
AMD:AI驱动的存储革命,DPU加速存储访问新趋势
奔涌吧,GPU! GPU选型全解密
为了让大家了解不同应用场景下的GPU云服务器选型 我们邀请腾讯云大茹姐姐创作了这篇深度好文 要看完呐~~↓↓↓ 随着云计算、大数据和人工智能技术的飞速发展,算法越来越复杂,待处理的数据量呈指数级增长,当前的X86处理器的数据处理速度,已经不足以满足深度学习、视频转码的海量数据处理需求,大数据时代对计算速度提出了更高的要求,至此,GPU处理器应运而生。 腾讯云根据GPU的应用场景,已推出多款GPU实例,如GN10X/GN10Xp(NVIDIA Tesla V100)、GN7(NVIDIA Tesla
腾讯云计算产品团队
2020/07/16
19.6K1
拿下Meta,AMD进军元宇宙!全新GPU=4.9个A100,但不支持CUDA
11月8号,AMD宣布拿下Facebook母公司Meta的数据中心这个大单,这也意味着Meta的新数据中心中会使用AMD的EPYC处理器。
新智元
2021/11/15
8870
干货 | 携程AI推理性能的自动化优化实践
携程度假AI研发团队致力于为携程旅游事业部提供丰富的AI技术产品,其中性能优化组为AI模型提供全方位的优化方案,提升推理性能降低成本,实现AI技术在旅游场景的成功落地。
携程技术
2021/10/08
9320
干货 | 携程AI推理性能的自动化优化实践
推荐阅读
相关推荐
20+移动端硬件,Int8极速推理,端侧推理引擎Paddle Lite 2.0 正式发布
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档