某项目压测后发现qps达标,服务器cpu和内存占用均在70%以下,然而mysql服务的内存占用高达100%,且并没有因为压测而产生波动。
摩拜单车是全球最大智能共享单车运营平台和移动物联网平台,其从成立到全球最大只用了不到3年的时间,拥有全球范围内最为全面的骑行大数据,每天产生的骑行数据超过30TB,日均订单量逾千万,为全球超过 2 亿用户提供智能出行服务。 要支撑摩拜单车称霸中国、新加坡、英国、意大利、日本、泰国、马来西亚、美国、韩国等 9 个国家 180 +座城市,运营超过 700 万辆摩拜单车,其数据库系统的压力可想而知。 从2015年1月到2016年,摩拜整个技术团队仅有不到50人,后台开发只有十几人。十几个人面对高速增长的业务,
| 作者 王文安,腾讯CSIG数据库专项的数据库工程师,主要负责腾讯云数据库 MySQL 的相关的工作,热爱技术,欢迎留言进行交流。 ---- 作为一个 DBA,想必都有过被慢查询折腾的经历,一个慢查询有时候真的很让人抓狂,本文对常规和非常规手段进行了整理,由浅及深,简单介绍几个慢查询的分析手段。 需要说明的是,下面所有的手段都是原生支持的功能(≥MySQL 5.6),因此在各类 RDS 和原生数据库中都不会有什么使用上的差异,这里图方便就用腾讯云数据库 MySQL 来作为测试环境了,版本为 5.7。
摩拜单车是全球最大智能共享单车运营平台和移动物联网平台,其从成立到全球最大只用了不到3年的时间,每天产生超过30TB骑行数据,日均订单量超过3000万。而海量数据背后,是什么样的数据库系统支撑其称霸中国、新加坡、英国、意大利、日本、泰国、马来西亚、美国、韩国等 9 个国家超过 180 个城市,运营着超过 700 万辆摩拜单车,全球拥有最为全面的骑行大数据,为全球超过 2 亿用户提供着智能出行服务。
使用云上的MySQL时,会遇到很多人询问CDB的 为了更好的了解云上的MySQL,本文将介绍一些重要的知识点。
当前,云原生数据库Serverless化已成为云数据库的重要演进方向。9月7日,在2023腾讯全球数字生态大会云原生数据库技术演进与实践专场上,腾讯云分享了在该领域的多项前沿探索和核心技术解析,并重磅发布云原生数据库TDSQL- C Serverless 2.0版本,为广大企业运用云原生数据库提升业务能力提供了有效参考。
作为一个 DBA,想必都有过被慢查询折腾的经历,本文对常规和非常规手段进行了整理,由浅及深,简单介绍几个慢查询的分析手段。
马上十一、中秋双节,很多客户开始做节日活动,基本都有一个共性需求:活动期间,流量预计翻N备,由此引发了一轮MySQL的容量治理与保障。
前面几篇文章,从两个开源程序chaos-mesh、chaosblade入手,分析混沌工程的原理;然后讲混沌工程实施的完整过程及混沌原则梳理,本文主要是记录之前的知识,用一个例子说明混沌工程是怎么设计的。
如何选购及管理腾讯云 MySQL 数据库?有了腾讯云计算作为基础,我们可以把这些复杂的底层操作交给云计算去完成,而我们只要集中精力去实现业务就可以了。
8月16日-18日,2023第十四届中国数据库技术大会(DTCC)在北京隆重召开,会上,腾讯云数据库多位顶级技术大咖就当前热门数据库技术主题、发展趋势和行业实践应用进行了深入探讨和分享。
导语 | TDSQL-C 为了满足更高的弹性能力和更精准的计费能力要求,推出了 Serverless 实例的形态,为用户提供更低成本、更灵活的云数据库服务。本文由腾讯云 TDSQL-C 高级工程师杨珏吉在 Techo TVP 开发者峰会 ServerlessDays China 2021 上的演讲《突破极致弹性-腾讯云原生数据库 TDSQL-C Serverless 架构设计与实践》整理而成,向大家分享 TDSQL-C Serverless 的特点以及实现原理。 点击可观看精彩演讲视频 一、Serv
8月16日,2023第十四届中国数据库技术大会(DTCC)上,腾讯云数据库TDSQL-C Serverless架构全新升级,提供弹性扩缩容能力,助力企业存储成本降低80%,标志着TDSQL-C Serverless正式承载关键核心业务。
随着国内服务共享化的热潮普及,共享单车,共享雨伞,共享充电宝等各种服务如雨后春笋,随之而来的LBS服务定位问题成为了后端服务的一个挑战。MongoDB对LBS查询的支持较为友好,也是各大LBS服务商的首选数据库。 腾讯云MongoDB团队在运营中发现,原生MongoDB在LBS服务场景下有较大的性能瓶颈,经腾讯云优化后,云MongoDB在LBS服务的综合性能上,有10倍以上的提升。 腾讯云MongoDB提供的优异综合性能,为国内各大LBS服务商,例如摩拜单车等,提供了强有力的保障。 LBS业务特点 以共享
随着云计算和数据库技术的发展,数据库正在变得越来越强大。数据库的性能如处理速度、对高并发的支持在节节攀升,同时分布式、实时的数据分析、兼容主流数据库等强大的性能正在越来越多的新型数据库上实现。
“到2023年,世界上3/4的数据库都会跑在云上。重复造轮子的企业不会走得太远,腾讯愿意做让企业站在自己肩膀上的巨人”
腾讯云数据库国产数据库专题线上技术沙龙正在火热进行中,3月5日林晓斌(丁奇)的2020首场分享已经结束,没来得及参与的小伙伴不用担心,下面就给大家奉上直播视频全程回顾,流量伤不起的小伙伴们也可以看由腾讯云数据库整理好的文字稿,干货满满,保证让你有所收获。 关注“腾讯云数据库”公众号,回复“0305丁奇”,即可下载直播分享PPT。 图文直播回顾 大家好!我是腾讯云数据库的林晓斌,在社区活动的时候网名叫丁奇,跟比较多的同学互相认识,今天跟大家就是找个机会聊一下数据库的基础,还有腾讯自研数据库的技术演进,我相
本文以视频+文字放送,为你带来腾讯云企业级MySQL-动态线程池功能 【背景】 MySQL两种常用工作模式 MySQL比较常用的工作模式有两种,one-thread-per-connection 和 threadpool 模式。 one-thread-per-connection 是MySQL自带的工作模式,采用每个用户连接对应一个 handle_connection 线程的方式处理用户请求。Threadpool 最早由 percona 支持,CDB对其进行了改进。Thread_pool 采用相对固定数量
文章主要介绍了分布式数据库在金融互联网场景下的设计和实现,包括DCDB的架构、基础环境、实例配置、功能、性能、以及扩展性。同时,还探讨了分布式数据库在云原生架构下的应用和挑战,以及TDSQL在金融云上的解决方案和案例。
马上十一、中秋双节,很多客户开始做节日活动,基本都有一个共性需求:活动期间,流量预计翻N备,由此引发了一轮Redis的容量治理与保障。
对于SQL和索引的优化问题,我们会使用explain去分析SQL语句。但是真正的企业级项目有成千上万条SQL,我们不可能从头开始一条一条explain去分析。我们从什么地方可以获取那些运行时间长,耗性能的SQL??
我们前几篇文章介绍了什么是索引,索引分析explain语法的用法,以及索引如何优化等文章,如果大家对这些知识点不熟悉,可以在历史文章里找一下。
MySQL 的慢查询日志是 MySQL 提供的一种日志记录,它用来记录在 MySQL 中响应时间超过阀值的语句,具体指运行时间超过long_query_time值的 SQL,则会被记录到慢查询日志中。long_query_time的默认值为10,意思是运行10s以上的语句。
摘要:MySQL在充分利用多核计算资源方面比较欠缺,无法同时满足在线业务和分析型业务的客户需求,而单独部署一套专用的分析型数据库意味着额外的成本和复杂的数据链路。本次主题将介绍腾讯云数据库为满足此类场景而在HTAP for MySQL产品方面进行的尝试。
由腾讯云售后服务团队倾情打造“2022云顾问技术系列之数据库专场”分享会已于2022年4月14日19:00-20:30在线上会议举行,分享内容包括《云顾问Redis技术之最佳实践》、《云顾问MySQL技术之最佳实践》。分享专家由腾讯云多个领域技术专家联合打造,将腾讯海量业务运维经验和业界先进技术实践倾力奉献给您,助力您更加安全、高效、稳定的使用腾讯云产品。下面是本次分享材料主题和材料等,欢迎大家阅读及给出宝贵建议!
庚子新春,一场突其而来的疫情打乱了中国经济秩序。但经济终要复苏,此时,线上会议服务成为企业远程工作的重要协同工具。
MySQL的慢查询日志是MySQL提供的一种日志记录,他用来记录在MySQL中响应的时间超过阈值的语句,具体指运行时间超过long_query_time(默认是10秒)值的SQL,会被记录到慢查询日志中。
检查腾讯云数据库 MySQL 实例的 CPU 使用率情况,若使用率过高,可能会出现业务请求延迟增加,甚至无响应等风险。
“如果说中小企业是一片片沿溪而耕的农田,那么我们的愿景就是建一座大坝来管理好上游的水资源,来灌溉下游企业。” 腾讯云数据库高级工程师杨珏吉说这是他投身数据库领域的初衷。初创企业、中小企业在数据库层面的最大需求就是低成本。助力企业降本增效是腾讯云数据库一直在努力的方向,尤其在疫情冲击下的经济社会中,更是一份社会责任。 在技术上深研,突破极致弹性,让客户像使用自来水一样的使用数据库,用多少、怎么用由客户决定,计费由使用量决定,这是杨珏吉及其团队给出的答案。TDSQL-C Serverless 数据库通过使用计算
读写分离,主从,master-slave master机器只用来写入 slave机器只能用来读取 读写分离的问题:数据同步的问题,master机器会把新写入数据的同步到slave机器上,毫秒级别 django配置如下 DATABASES = { 'default': { 'ENGINE': 'django.db.backends.sqlite3', 'NAME': os.path.join(BASE_DIR, 'db.sqlite3'), }, 'db
前阵的微博热搜,各种大瓜接踵而来,数据君就像一个瓜田里的猹。 最魔幻的当数22号,前有弃养上热门,后来北京网易员工核酸检测阳性又上热搜,全员下班,隔壁的新浪员工们不仅瑟瑟发抖,还得为新热搜一阵忙活,傍晚在弃养、网易和众多热搜夹缝中,又杀出一个隐婚生子 宣告新浪员工的提前下班梦正式破灭。 不只是吃瓜,电商促销、产品发布、游戏公测,各种狂欢的背后,可能后面都有一堆DBA要掉头发。 (比如这样……) 而对于所有人,这时候的每一分钟,都至关重要。 下面这个,是腾讯云数据库DBA团队帮助从告警到解决仅用20分
作者:赵珣 腾讯云监控工程师 简介 云数据库 MySQL(TencentDB for MySQL)是腾讯云基于开源数据库 MySQL 专业打造的一种高性能分布式数据存储服务,提供了备份恢复、监控、容灾、快速扩容、数据传输等全套解决方案,简化数据库运维工作,让用户专注于业务发展。 云数据库 MySQL 的优势: 快速便捷的数据库服务交付能力,在几分钟内部署可扩展的 MySQL,并可按需弹性升降配置; 真正 100% 的 MySQL 兼容能力,主流 MySQL 分支完全兼容; 提供热备、冷备、binlog
年前本应该是回顾一年工作和收尾的阶段,奈何各种促销,活动都等着春节,因此也遇到了不少的问题,回顾了一下最近遇到的问题,发现有好几个问题比较类似,正好整理一下,作为年前收尾的案例吧。表现上都是数据库假死,无响应,发生的场景有较高的业务压力到来时,也有业务正常运行的时候,突然就出现问题了。
数据库发展至今,已经有许多人为的分类和产品,开发者使用最多的关系型数据库,包括MySQL、PG和SQL Server;为适应新的业务逻辑和场景而生的缓存数据库Redis、Memcached;顺应数据爆炸时代的分析型数据库ClickHouse;以及一些其他的图数据库和时序数据库等。 而在开发者眼中,这些分类并不是这么重要,大多数开发者使用数据库的日常是这样的:申请资源——设计表结构——写SQL语句——找DBA审核语句——复现诡异问题——申请扩缩容。而在一遍遍的日常中,总有些痛点让人糟心。接下来就给大家盘点开
这些日志可以帮助我们定位 mysqld 内部发生的事件,数据库性能故障,记录数据的变更历史,用户恢复数据库等。本文主要讲解错误日志文件(Error Log)相关内容。
前不久,Stack Overflow 的 《2023 技术调查》报告显示,PostgreSQL 以 45.55% 的使用率,超过 MySQL(41.09%),成为最受欢迎的数据库。更有读者认为 PostgreSQL 将凭借其丰富的功能集、极高的可扩展性、开源等优秀的能力蚕食数据库市场,得到了更多开发人员的青睐。到底谁才是世界第一的数据库?开发者如何进行数据库选择?你有哪些数据库使用TIPS?数据库有哪些有趣的底层知识?想学习数据库从何入手......
前段时间遇到一个棘手问题,mq消费速度突然从30/s变成1/s,而且还持续了很长的一段时间,吓得我赶紧动手排查问题。但是mq消费速度慢的原因,可能有很多种(例如mysql、jvm、redis、mq、代码问题等)。为了可以快速定位问题点,博主直接通过Arthas工具进行问题的排查和追踪。
释放数据价值,助力数智转型,本次腾讯全球数字生态大会数据库专场中,各路大咖为我们带来腾讯云数据库的最新动态:全域解决方案、TDSQL新品发布、合作伙伴计划……以下是搜狐畅游数据库团队的负责人李凌在大会分享的图文和视频回顾,请查收~ 关注“腾讯云数据库”公众号,回复“畅游”,即可下载直播分享PPT。 各位嘉宾大家好,我是来自畅游的数据库团队负责人——李凌,很高兴在这里与大家分享畅游腾讯云数据库的使用经验。 畅游是一家全球化的游戏公司,5年前,畅游选择了腾讯云作为畅游全球云产品供应商之一,而这5年来,腾讯
提示:公众号展示代码会自动折行,建议横屏阅读 ---- ---- 近期,有线上5.6版本event用户反映了两个问题: (1) 部分event莫名其妙的延迟执行 (2) 慢日志不记录event中的更新及插入语句 经过一系列的分析及验证,我们确认这两个问题是mysql原生代码的bug,并向官方report。下面就介绍一下相关代码及这两个bug的具体原因及修复方案。 1 mysql event的代码类图 mysql从5.1版本开始引入event机制,这里介绍的代码主要基于5.6/5.7/8.0。5.7/8.
疫情停倮以来,腾讯课堂助力全国数百万老师和数千万学生在线教学、听课。已有3000多个线下教育机构申请入驻腾讯课堂。这背后,离不开腾讯课堂可支持百万人同时在线上课、网络延时低至百毫秒级、1080P直播高清视频、秒级扩容服务海量用户等优势。
默认情况下会给一个缺省的文件host_name-slow.log,当我们指定路径之后就会覆盖这个默认的缺省文件路径
听说很多程序猿在“名义放假实际值班”的假期(这真的叫假期吗)里,呼朋唤友出去体验被异性包围感受的时候,经常会这样:
你写的每条SQL都是全表扫描吗?如果是,那MySQL可太感谢你了,每一次SQL执行都是在给MySQL上压力、上对抗。MySQL有苦难言:你不知道索引吗?你写的SQL索引都失效了不知道吗?慢查询不懂啊?建那么多索引干嘛呢。。。
腾讯云已为多个爆款微信小游戏提供服务,腾讯云数据库团队在多年MongoDB运营&支持微信小游戏服务经验总结,MongoDB产品经理李晓慧在7月26日在厦门举行的《腾讯云GAME-TECH游戏开发者技术沙龙》上,为广大开发者分享了腾讯云MongoDB在小游戏中的实践应用,帮助刚刚走进小游戏开发的同学们提供干货。
2019年5月8日-10日的DTCC2019年中国数据库大会上,腾讯云数据库专家工程师雷海林首受邀做了主题为《TDSQL智能运维平台-扁鹊架构与实践》的技术分享,以下为大会现场演讲实录。
char 和 varchar 最⼤的不同就是⼀个是固定⻓度,⼀个是可变⻓度。由于是可变⻓度,因此存储的是实际字符串再加上⼀个记录字符串⻓度的字节。如果分配给 char 或 varchar 列的值超过列的最⼤⻓度,则对值进⾏裁剪。
生产环境中 select count(*) from table 语句执行很慢,已经远超 long_query_time 参数定义的慢查询时间值,但是却没有记录到慢日志中。在测试环境也很容易复现出该问题,慢查询日志确实没有记录 select count(*) 语句。
领取专属 10元无门槛券
手把手带您无忧上云