什么是可靠性?系统的可靠性表现为在一定期间内,用户可以预测其发生的行为,也就是说,在一定的期间内,系统不会发生计划外的行为。例如,服务器运行时不会出现意外的停机、应用程序的性能符合预期、计划的停机很少发生等等。
参考链接: https://github.com/wstart/DB_BaseLine
引言 国内较多的互联网公司都是采用MySQL作为数据库系统,随着业务的发展,难免会碰到需要新建索引来优化某些SQL执行性能的情况。在MySQL实现online create index之前,新建索引意味着业务要停止写入,这是非常影响用户使用体验的,为此,MySQL引入了online create index,极大地减少了业务停写的时间,使得新建索引期间业务能够持续正常的工作。本文主要是对其实现原理的总结以及关键步骤的解释说明。
8 月 28 日,网曝华住旗下酒店开房记录疑似泄露,并在黑市进行售卖,数据量合计多达140G约5亿条,售卖总额打包8比特币,约合人民币37.6万元。涉及的酒店包括汉庭、美爵、禧玥、诺富特、美居、CitiGO、桔子、全季、星程、宜必思尚品、宜必思、怡莱、海友等。
概述 软件开发过程中,应用发布非常频繁,通常情况下,开发或运维人员会将系统里所有服务同时上线,使得所有用户都使用上新版本。这样的操作时常会导致发布失败,或因发布前修改代码,线上出现 Bug。 假设一个在线商城,每天都有大量的用户访问,如果直接在所有用户中部署新版本应用,一旦出现问题,所有用户都可能受到影响。相比之下,通过引入灰度发布策略,先将新版本的应用部署到少量的用户中,检查是否存在问题,如果没有,再逐步扩展到更多的用户中,由此解决全量发布的各种弊端。 灰度发布是一种软件发布策略,它允许你在生产环境中渐进
开发过程中,研发人员会提交SQL更新脚本到Git源码库,然后测试负责去拉取这些SQL脚本,并手动在测试环境或其它环境的数据库中执行这些脚本,很麻烦,本代码的用途就是为了替代手工执行的操作
MySQL作为一款面向企业的数据库产品,必须具有能够处理高峰活动和数据容量增长的能力。在进行容量规划时,架构师需要考虑因为用户的活动和数据增长所导致的资源使用变化,并需要考虑未来的促销活动或者其他预计的繁忙时期。
说起安全检查,安全从业人员可能都非常熟悉“安全标准”概念。所有企事业单位网络安全建设都需要满足来自于国家或监管单位的安全标准,如等保2.0、CIS安全标准等。安全标准,还有一个叫法就是“安全基线”。字典上对“基线”的解释是:一种在测量、计算或定位中的基本参照,如海岸基线,是水位到达的水位线。因此,可以认为安全基线就是最低的安全要求。
如前一章提到,监控有赖于运维各专业条线协同完善,通过将监控体系进行分层、分类,各专业条线再去有重点的丰富监控指标。
本文介绍了数据库优化技巧,包括设计优化、内核深度优化、数据层面优化、数据库迁移、数据库安全等方面的内容。此外,还提供了数据库最佳实践和社区活动推荐,以帮助开发者提高数据库应用水平。
OcceanBase是淘宝开源的一个分布式关系数据库,以下是其官方地址:https://oceanbase.alipay.com/
在写文章的时候,我一直在纠结,这个到底能不能算增量备份,因为使用binlog的这种方式,按照官方文档的说话,应该叫做 point-in-time ,而非正经的增量模式,但是也聊胜于无。
涉及到SQL层和存储层,其中SQL层需要解析SQL语句,生成抽象语法树(AST),计算表达式等,存储层需要判断主键冲突,包括增量数据和基线数据上的主键冲突,如果是非重复主键,则将数据插入到增量数据中。
Mysql安全基线 NO.1 增强root帐户密码登陆、删除空密码 原因 一、简单密码容易暴力破解二、mysql默认是空密码 解决 一、增强密码强度- 22位以上- 同时包含大写字母、小写字母、数字、特殊字符- 密码不重复使用- 密码定期更换(60天、90天)二、给空密码帐号加上密码mysqladmin -u root password “newpassword”mysql> use mysql;mysql> update user set password=password(‘newpassword’)
这一年,蓝鲸平台从自动化运维平台,重新定义为研发运营一体化平台,实现了CI、CD、CO的IT管理全生命周期的打通。
在做一些技术规划的时候,会发现有一些事情需要前置,比如说MySQL里面的工具,如果等到实际碰到了各色的问题再来统一,就比较难了。有沟通成本,人力成本,技术沉淀和持续交付等等的成本,这些最好提前和团队有一个基本的沟通,达成一个共识。内部统一了以后,和开发同学规范统一就有了一个基线。 大体来说,我考虑了以下几个方面,内容适当做了删减。 运维管理工具 数据备份恢复工具 数据库优化工具 客户端工具 性能测试工具 数据库版本管理工具 数据库审计工具 我来逐个说一下,有更好的工具也欢迎各位拍砖。 运维管
不知不觉间,2022 年的脚步已经走到了倒数第二个月。临近年末,我们对产品本身以及客户反馈的一些问题进行了持续的更新和优化,例如基线告警、数据服务平台新增 TDengine 数据源支持、行级权限根据用户属性实现动态赋权。
使用SQL执行计划基线可以保证SQL的性能不下降,但实际生产中默认没有开启,这里是姚远老师在给OCM的学员授课中关于SQL执行计划基线的一个案例,大家可以借鉴一下。
最近有一个数据库的延迟问题比较明显,大体的逻辑是有一批数据需要在缓存中校验,如果数据过期,就需要重新刷新数据,整个数据量大概有2000万,更新的数据量平均在600万左右,也就意味着基线变更数据是600万左右,需要根据数据的热度适时更新。
非法挖矿一般分为基于文件的挖矿和基于浏览器的挖矿。由于云主机用户一般不使用浏览器访问网页,故基于浏览器的挖矿在公有云上并非较大的威胁。
项目,一个众所周知的名词,在当代企业业务中,不管是进行内部产品自研、质量管控,还是对外实施交付、咨询服务,都是以项目为单位进行管理、控制。那么什么是项目?
出现性能问题的一个常见的迹象是用户的应用程序出错,此时,用户需要跟踪从应用程序到数据库的组件,确定问题出在哪里?此外,问题也可能由应用程序和数据库之外的因素引起,例如,大量的通信导致路由或者交换机崩溃或超载,应用程序与数据库的连接发生中断。大量的磁盘操作引起的I/O中断。
产业互联网的升级换代,也同时带来网络安全的巨大变化。传统威胁是在客户端、企业私有云环境,随着业务上云,安全风险也随之上云。比如,以往传统认为linux系统没有恶意软件不需要安全软件,在产业互联网普及的今天,这一错误认知已彻底被打破。云端,已经成为硝烟弥漫的网络安全新战场。
一种可靠的方式是 使用解压后的备份文件(必须是Xtrabackup的物理备份)来估算当前数据库的体积。 mysqldump这种逻辑备份的方式,不便于直观的比对数据库体积的增长。
MySQL的自增列问题其实很有意思,在重启数据库之后,会按照max(id)+1的方式来计算,这样一个看起来有些别扭的实现方式在早期版本就饱受诟病,在MySQL 5.7都没有解决掉,终于在8.0松口了,计划在这个版本中修复。 而重启会带来自增列一类的潜在问题,而如果不重启其实也有可能会有自增列的不一致问题。和两个参数table_definition_cache和table_open_cache还是密切相关的。 主要的原因是什么呢,引用阿里数据库内核团队的解释(https://www.kancl
随着互联网的高速发展,目前数据的存储越来越多,传统的数据库逐渐不能满足人们对海量数据、高效查询的需求,国产的数据库如雨后春笋一样,一个个冒了出来来解决我们高速科技发展的数据库瓶颈,今天就给大家聊一聊目前最火的五款国产数据库,大家一起来学习一下。
安全,一直是大部分公司想引起重视,又不引起重视的存在。想引起重视的原因是安全问题不断出现,经常会听到某某云厂商的服务器不可用了,某某公司的服务器被入侵了,某某公司的数据库被前员工删了,层出不穷的安全问题让安全人员防不胜防。
OPPO 大数据平台目前有 20+个服务组件,数据量超 1EB,离线任务数近百万,实时任务数千,数据开发分析师超千人。这也带来了系统复杂度的问题,一方面是用户经常对自己的任务运行状况“摸不着头脑”,不管是性能问题,还是参数配置问题,甚至是一些常见的权限报错问题,都需要咨询平台给出具体的解决方案;另一方面是平台面对各类繁杂任务,运维人员经常需要对任务故障定位和排除,由于任务链路长,组件日志多,运维压力大。因此急需对任务进行实时监控和诊断,不仅要能够帮助用户快速定位异常问题,还需给出具体的建议和优化方案,同时还能治理各类“僵尸”和不合理任务,从而达到降本增效的目的。据调研,目前业界尚无成熟的开源任务诊断平台。为此我们开发了大数据诊断平台,通过诊断平台周优化任务实例数超2 万,取得了良好的效果。
提示:表3-3所示的测试场景中提及的DW,表示MySQL InnoDB引擎中的DoubleWrite双写缓冲机制,该机制是一种数据页的安全保护机制。因MySQL InnoDB的Page Size默认为16k,而文件系统的Block Size默认为4k,当刷新脏数据过程中因进程意外崩溃或主机意外宕机则可能导致数据页发生部分写(损坏)。其核心原理是将脏数据页写两遍,先写一遍到DoubleWrite中,DoubleWrite写入成功之后,再将脏数据页写入到表空间中。期间表空间中的数据页发生部分写,则可以从DoubleWrite中读取完整的页进行恢复。
现在企业的营销手段五花八门。当下火爆的短视频直播平台展现出的裂变效应也取得不错的成绩,这不禁让很多企业舍弃做网站的念头,投入自媒体账号。那么,2024年了,还有必要搭建企业网站吗?
在DBA的日常工作中,快速部署数据库高可用架构,且标准化地入网部署数据库是一项重要的基础任务。本文将介绍常见的部署MGR的方式,并重点介绍万里数据库的GreatADM数据库管理平台进行图形化、可视化、标准化的部署过程,以提高交付效率和质量,给DBA提供一种全新的体验。(本文阅读大约需要4-6分钟)
本文详细介绍了转转业财系统亿级数据存储优化的实践。面对系统数据量大、慢查询多等挑战,转转业财采取了 TiDB 方案优化数据量问题,同时引入 Elasticsearch(ES)解决慢查询难题。实践表明,通过底层数据存储切换和 ES 接入,系统成功突破了存储瓶颈,显著提升了查询效率和响应速度,为大规模数据处理提供了有效的优化路径。
爱可生南区交付服务部 DBA 团队成员,主要负责 MySQL 故障处理,MySQL 高可用架构改造,OceanBase 相关技术支持。爱好足球,羽毛球。
OceanBase是阿里集团研发的可扩展性关系型数据库,实现了数千亿条记录、数百TB数据上的跨行跨表事务。
今天去数据技术嘉年华做了一个主题分享,会场由肖鹏大师主持,我的印象中MySQL中圈子里彦伟和肖鹏真能侃,什么都能聊。下午的场子比预想的人要多,场子里都坐不下了。我到的时候只能站着听了。 在今年数据库技术大会的时候,我在专场"DBA修炼之道”里讲了关于DBA的一些技术建议,没想到得了第三天的“最佳讲师”。奖品是有个蛮不错的音响,没事的时候在客厅放上几个曲子。 当然这个不是重点,自己几斤几两还是自知之明的,我想说的是,同一个主题或者方向,我如果做分享我还是会重新构思一版,这样对自己是一种鞭策,对听众
https://wangcy6.github.io/post/plan/oceanbase_day1/
我的本意是先抛出一个系统层的解决思路,然后引出更有张力的解决方案,但是当时方案还没有验证完,不足为凭,最近的对比测试结果出来了,我就把一些结果附上。
对于很多线上业务而言,如果有新服务器,新的环境,新的业务,到底资源和预期的承载压力是否匹配,这个得用数据说话,或是通过严谨的论证来阐述。 比如一台新的服务器,一般都需要经过压力测试,我们也叫拷机测试。一般都会从多个维度来进行加压(比如CPU,内存,IO等等),看看服务器是否依旧坚挺,虽然这一点上如果产生了懈怠或者懒惰还是会被轻视,但是从身边的例子来看,还是会测试出一些问题来,如果发现了问题,就避免了后续的很多被动。 sysbench就是这么一个工具,功能非常全面。是一个标准模块化,多线程的
Redis 通常是我们业务系统中一个重要的组件,比如:缓存、账号登录信息、排行榜等。
导读:本文将分享网易数帆数据治理的发展过程,以及对现代数据治理的概念和理念的理解,提出现代数据治理应该与数据开发和消费很好地衔接,具备开发治理一体化、形成治理的闭环、仓内仓外统一治理和建立数据资产门户等核心特点。
今天在做节后的一个基本检查的时候,发现一个不太起眼的报警,报警内容为大体为: MySQL 每秒慢查询次数超过 <1>个on xxxx 查看zabbix的监控数据,发现每秒竟然有10个左右的慢查询,按
在大量并发读请求、读多写少的业务场景下,本文利用 Sysbench 性能测试工具,调研基于【负载均衡 + ProxySQL Cluster + MySQL MGR 的读写分离架构】能否有效利用横向扩展的 MySQL 实例的读能力,并最终提高应用系统 QPS。
近年来,随着计算机技术的飞速发展,以及行业信息的共享,传统企业的运维己不再是固步自封,日新月异的计算技术的发展推动企业云平台的建设,云平台的计算能力为大数据分析提供了基础、云平台与大数据分析又将推动运维人工智能的发展。放眼云、大数据、人工智能的运维发展方向的同时,作为运维的生命线,安全生产保障的生命线仍需强调。作为传统企业的安全生产保障,主要以“监”、“管”、“控”为核心,其中“监”则主要指的的监控。
湖仓一体(Data Lakehouse)融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势,帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版本中,Apache Doris 持续加深与数据湖的融合,已演进出一套成熟的湖仓一体解决方案。
有时候突然会把几件不搭边的事情联系起来,竟然能够找到一些共通的地方。我在琢磨最近的几件事情的时候,脑海里不由得浮现出几个字:“半成品”
最近在对接数据流转的一些问题,发现越是了解,越是担心,因为有不少潜在的问题,所以我就在想规划和统一所谓的数据源集市,能够实现数据流转方向的一个基线标准。
在上一篇文章中,我们说到了一个非常有意思的模式: AWD(Attack With Defense,攻防兼备)模式。你需要在一场比赛里要扮演攻击方和防守方,攻者得分,失守者会被扣分。也就是说,攻击别人的靶机可以获取 Flag 分数时,别人会被扣分,同时你也要保护自己的主机不被别人得分,以防扣分。
领取专属 10元无门槛券
手把手带您无忧上云