导语 | 腾讯云MongoDB目前广泛应用于游戏、电商、ugc、物联网等场景,为了更好地为客户提供服务,腾讯数据库团队对MongoDB进行升级,诞生了青胜于蓝的腾讯云MongoDB 4.2版本,并且已经正式在腾讯云发布啦,让我们一起来看看新版有哪些亮点吧~ 一、 CMongo 介绍 MongoDB作为时下最流行的nosql数据库,是一款集高性能、分布式、易扩展等特性为一身的文档型数据库,同时其易用性和功能丰富程度是其他同类产品所不能比拟的。 CMongo是腾讯云数据库联合团队基于开源Mongo
腾讯云数据库MongoDB作为一款基于开源社区MongoDB版本的文档数据库产品,其承载着公司内外包括微信、看点、QQ音乐在内的亿级用户重量级APP产品。在某些场景的使用过程中,用户在客户端请求超时后会不断重试,可能导致服务端大量请求积压,出现恶性循环甚至导致服务雪崩。一般遇到这种情况,后台会自动检测并做服务降级,主动拒绝一部分用户请求,或者重启后端服务等举措来应对。但是这些措施对业务有损,或者不可自行恢复。 本文围绕 MongoDB 原生 maxTimeMS 特性和腾讯云MongoDB的优化,并结合 4
腾讯云数据库MongoDB作为一款基于开源社区MongoDB版本的文档数据库产品,其承载着公司内外包括微信、看点、QQ音乐在内的亿级用户重量级APP产品。在某些场景的使用过程中,用户在客户端请求超时后会不断重试,可能导致服务端大量请求积压,出现恶性循环甚至导致服务雪崩。一般遇到这种情况,后台会自动检测并做服务降级,主动拒绝一部分用户请求,或者重启后端服务等举措来应对。但是这些措施对业务有损,或者不可自行恢复。 本文围绕 MongoDB 原生 maxTimeMS 特性和腾讯云MongoDB的优化,并结合
CMONGO CMONGO是TEG基础架构部在开源MongoDB源码的基础上进行了一系列优化的内核版本,目前包括腾讯云MongoDB和公司内部很多业务的MongoDB服务(如:ckv冷数据,微信账单等
文章出处: 鹅厂架构师 导读 腾讯 MongoDB 百万库场景下的性能优化成果汇报 腾讯 MongoDB目前广泛应用于游戏、电商、ugc、物联网等场景,很多客户在使用过程中库表数量会大量增长,甚至达到百万级别,导致性能急剧下降,严重影响客户业务。腾讯数据库研发中心CMongo团队在进行深入性能分析之后,改造底层引擎为共享表空间架构,新架构在百万级库表的场景下,相比原生版本读写性能提升 1-2 个数量级,内存消耗显著降低,启动时间从原先小时级缩短到一分钟内。 探索之路正式开始,文章很长但干货满满,建议收藏品
都说腾讯福利待遇好,不过要想加入鹅厂,坚持学习是必须的。只有通过坚持不懈的学习和奋斗,才能给自己加分,加入大厂不再是奢望。 如何保持学习,不断进步呢?其实不难,主要有几个方面:第一,保持行业好奇心,关
导语 | 由腾讯云、腾讯云+社区、云+创业主办的腾讯数据库王者挑战赛开始啦!只需要花几分钟参加比赛免费将☟☟抱回家! MacBook/iPhone 11/AirPods 25台Kindle 8万元腾讯云创业基金 MySQL之父 Michael Widenius 面对面交流 拥有与殿堂级大神的合影和亲笔签名书籍的你, 能让隔壁码农羡慕到流泪! 腾讯云数据库诊断大赛 报名时间:2019.09.27~2019.10.31 参赛福利:报名就送腾讯云数据库代金券(指定产品)、参赛证书/T恤 疯狂奖池:8万
某线上业务每间隔一段时间,使用 writeConcern:majority 方式向 MongoDB 导入一批数据。但是在整体负载非常低的情况下,发现部分写入请求很大概率会出现超时,预期 100ms 内完成的请求可能耗时超过 1s。
2019年MongoDB中文社区年终盛会将于2020年1月4日(星期六)在深圳福田区车公庙附近召开。来现场,您将收获3大专场经验加持:
| 导语ACM SIGMOD/PODS 2019 数据管理国际会议于6月30日到7月5日在荷兰首都阿姆斯特丹召开。腾讯技术团队直击现场第一时间带回大会盛况。 SIGMOD第一天大会Keynote主题为“Responsible Data Science”;第二天的Keynote主题是区块链,更偏应用一些,由IBM Almaden研究中心的著名数据库研究员C. Mohan报告。他自从2016年以来重点研究和推广区块链技术,据统计已经在全世界十几个国家做过相关的报告。区块链技术经过了十年的发展,至今还存在一些争
8月28日,腾讯云数据库在京正式启动战略升级发布会。 未来,腾讯云数据库将聚焦云原生、自治、超融合三大战略方向,并且面向全球用户同步发布五大战略级新品: 数据库智能管家DBbrain 云数据库TBase 数据库备份服务DBS 云数据库Redis混合存储版 自研云原生数据库CynosDB商业化版本 腾讯云数据库产品总监王义成 云原生 云原生数据库CynosDB 不同于过去传统数据库+云能力扩展的模式,CynosDB是纯粹的云原生数据库,现已正式商业化。 它融合了传统数据库、云计算和新硬件
1 综述 MTR框架分为两部分:perl脚本(mysql-test-run.pl)和c++二进制(mysqltest)。perl脚本负责控制流程,包括启停、识别执行哪些用例、创建文件夹、收集结果等等,mysqltest负责执行测试用例,包括读文件,解析特定语法,执行用例。用例的特殊语法(比如,--source,--replace_column等)都在command_names和enum_commands两个枚举结构体中。 MTR框架时序图如下所示: 2 Perl脚本控制框架 如上图所示,mysql-t
点击上方蓝字关注每天学习数据库 All in 云+时代,数据库的高可用性、按需付费、按需扩展等属性解放了大批开发者。腾讯发布的自研数据库CynosDB作为国内首款同时兼容MySQL和PG的云原生数据库在业内引发热议,还不够了解TA?那么本期分享你一定不能错过! 本期云+社区技术沙龙将全方位解读CynosDB,揭秘技术内幕,解读兼容两大主流开源数据库的一主多读架构、高可用架构及快速恢复实现、可计算智能存储和分布式存储。 长按识别下方长图二维码,即可报名到现场与鹅厂技术大牛零距离交流!来不了现场的朋友,可以预
提示:公众号展示代码会自动折行,建议横屏阅读 多机房容灾是存储系统领域非常重要的课题。本文将从内核代码层面,介绍腾讯云MongoDB数据库系统(CMongo)在多机房部署场景下,如何实现业务到机房的就近访问,并保证数据一致性。 1. 背景介绍 为了保证服务可用性和数据可靠性,一些重要业务会将存储系统部署在多地域多机房。比如在北京,上海,深圳 每个地域的机房各存储一份数据副本,保证即使某个地域的机房无法提供访问,也不会影响业务的正常使用。 在多机房部署时,需要考虑多机房之间的网络延迟问题。以作者的ping测
导语 | 腾讯云MongoDB当前服务于游戏、电商、社交、教育、新闻资讯、金融、物联网、软件服务等多个行业;MongoDB团队(简称CMongo)致力于对开源MongoDB内核进行深度研究及持续性优化(如百万库表、物理备份、免密、审计等),为用户提供高性能、低成本、高可用性的安全数据库存储服务。后续持续分享MongoDB在腾讯内部及外部的典型应用场景、踩坑案例、性能优化、内核模块化分析。 引言 全民K歌作为腾讯音乐集团四大产品线之一,月活超过1.5亿,并不断推出新的音娱功能及新玩法,极大丰富了数亿用户
根据运维同学反馈,数据库是不定期出现慢查询的现象,怀疑数据库可能存在死锁问题。由于问题复现的不确定性,因此在线上实例写脚本抓现场:当问题出现时,记录下innodb引擎状态(show innodb status)、用户线程状态,innodb引擎状态信息中存在死锁信息。
CynosDB产品简介 CynosDB,又称NewCDB,是由腾讯云和TEG基础架构部数据库技术团队联合打造的面向云计算2.0时代的新一代企业级分布式云数据库。在兼容开源数据库MySQL的生态体系下,它重新定义了MySQL分布式架构,从而在单实例极致性能、事务响应延时、存储扩展性以及可用性等关键技术指标上,达到商用级数据库级别;与此同时,它是面向通用硬件进行的软件极致优化,相比商用级数据库,它的性价比非常高,能把云计算共享经济普惠给万千腾讯云用户。 CynosDB名称来源 Cynos源于拉丁语中的Cy
CynosDB产品简介。CynosDB,又称NewCDB,是由腾讯云和TEG基础架构部数据库技术团队联合打造的面向云计算2.0时代的新一代企业级分布式云数据库。在兼容开源数据库MySQL的生态体系下,它重新定义了MySQL分布式架构,从而在单实例极致性能、事务响应延时、存储扩展性以及可用性等关键技术指标上,达到商用级数据库级别;与此同时,它是面向通用硬件进行的软件极致优化,相比商用级数据库,它的性价比非常高,能把云计算共享经济普惠给万千腾讯云用户。 CynosDB名称来源。Cynos源于拉丁
NewCDB是在CDB十年技术和产品沉淀的基础上诞生的,腾讯云数据库产品在继承中不断完成突破。
提示:公众号展示代码会自动折行,建议横屏阅读 1 MLOG CHECKPOINT是什么 在MySQL 5.7存储引擎InnoDB崩溃恢复中,我们一定看到过MLOG_CHECKPOIN的身影。从上一个检查点(LOG CHECKPOINT)开始,进行第一次redo日志扫描(参考函数recv_group_scan_log_recs() ),就是要找到MLOG_CHECKPOINT。那么MLOG_CHECKPOINT是用来做什么的? 大家都知道在InnoDB恢复的过程,是先应用redo日志,再执行undo操作。
提示:公众号展示代码会自动折行,建议横屏阅读 ---- 1 历史 MonetDB是荷兰阿姆斯特丹大学数学和计算机科学的一个研究所CWI开发的。CWI最有名的是发明了Python(Python之父Guido van Rossum毕业于阿姆斯特丹大学,当时在这里工作),并且还发明了MonetDB、VectorWise(2008年)等产品。 MonetDB起源于二十世纪90年代,一个数据挖掘项目需要一个分析型数据库,CWI开发了一叫Data Distilleries,该产品成为了MonetDB的早期产品。 Mo
提示:公众号展示代码会自动折行,建议横屏阅读 问题描述 前几天进行测试,发现一个神奇的现象:不加任何优化的版本与加了-O2参数的版本测试结果不一致! 主要代码类似以下例子: #include <stdio.h> #include <stdint.h> class Foo { public: Foo() { printf("%s\n", "ctor"); } ~Foo() { printf("%s\n", "dtor"); } struct tm { unsigned int s
本文主要分享腾讯智慧零售团队优码业务在MongoDB中的应用,采用腾讯云MongoDB作为主存储服务给业务带来了较大收益,主要包括:高性能、快捷的DDL操作、低存储成本、超大存储容量等收益,极大的降低了业务存储成本,并提高了业务迭代开发效率。 一、业务场景 腾讯优码从连接消费者到连接渠道终端,实现以货的数字化为基础的企业数字化升级,包含营销能力升级和动销能力升级。腾讯优码由正品通、门店通和会员通三个子产品组成。 更多信息可以访问腾讯优码官方网站获得: https://uma.qq.com/ 腾讯优码整体
提示:公众号展示代码会自动折行,建议横屏阅读。 第一部分:SKIP LOCKED/NOWAIT订座功能实现 订座在现实生活中是一种很常见的场景,比较常见的有火车票席位选择,电影院席位选择等等。那么如何实现订座功能呢?应用程序可能有很多种不同的实现方式,当然,肯定离不开数据库。这里将介绍一种纯数据库的实现方式。 设想我们有一张座位表如下: CREATE TABLE seats ( seat_no INT PRIMARY KEY, booked ENUM('YES', 'NO') DEFAULT 'NO
提示:公众号展示代码会自动折行,建议横屏阅读 ---- 大家好,今天为大家分享一次 ES 的填坑经验。主要是关于集群恢复过程中,分片恢复并发数调整过大导致集群 hang 住的问题。 一、场景描述 废话不多说,先来描述场景。某日,腾讯云某 ES 集群,15个节点,2700+ 索引,15000+ 分片,数十 TB 数据。由于机器故障,某个节点被重启,此时集群有大量的 unassigned 分片,集群处于 yellow 状态。为了加快集群恢复的速度,调整分片恢复并发数,将默认值为2的 node_concur
Table of Contents ---- SQL 的起源 SQL 的标准化 SQL 标准的历史 学习 SQL 标准 SQL 标准的符合性 SQL 的起源 ---- 通常认为,SQL 是 Structured Query Language 的缩写,规范的发音是 “ˌɛsˌkjuːˈɛl”。但是它的前身是著名的关系数据库原型系统 System R 所采用的 SEQUEL 语言,这也是为什么有很多人将其读作 “ˈsiːkwəl” 的来源。也有人类比 GNU 这个词的定义(GNU’s Not UNIX),认为
提示:公众号展示代码会自动折行,建议横屏阅读 ---- 一、引言 CKV是腾讯自主研发的分布式内存KV存储系统,具备高性能、高可用,低成本等特性。从2009年上线至今,先后服务了空间、游戏、QQ、视频、音乐、微信、支付等诸多业务,与此同时,也为云上的用户提供高效、稳定的服务。 CKV在近一段时间,进行了一次较大规模的重构优化,本文将从新老系统以及自研与开源等角度进行对比,呈现系统的一些设计理念与解决方案。 二、背景 在当前互联网发展迅速,新技术层出不穷的时代,任何一款产品想要保持用户亲和度,且更具
全民K歌作为腾讯音乐集团四大产品线之一,月活超过1.5亿,并不断推出新的音娱功能及新玩法,极大丰富了数亿用户的音乐娱乐活动。 MongoDB天然支持高可用、分布式、高性能、高压缩、schema free、完善的客户端访问均衡策略等功能。作为腾讯音乐集体核心部门,K歌Feed等业务采用腾讯云MongoDB作为主存储服务,极大的方便了K歌业务的快速迭代开发。 本文主要分享K歌技术演进过程中的一些踩坑过程、方案设计、性能优化等,主要包括以下技术点: 全民K歌业务特性 Feed业务读写选型 Feed数据吐出控制策
提示:公众号展示代码会自动折行,建议横屏阅读 Early Lock Release 的原理 ---- 数据库领域存在很多优化措施(例如 group commit),它们很早就被提出来了,ELR 也不例外[1]。在多核处理器的时代,ELR 又被人发掘出来评估对系统性能的影响,例如[2]和[3]评估了包括 ELR 在内的多种性能优化措施。 在数据库中,典型的一个事务 t1 操作流程如下: 0. begin transaction; 1. search & lock tuple for upda
首先我们介绍一下iterator模型。在编程语言中的iterator模型是一种遍历对象列表常用的数据模型,尤其在数据源大小未知或者数据量过大不适合一次性加载所有数据的情况下。通常iterator模型需要实现至少两个接口:hasNext()和next()。hasNext()判断遍历是否结束,next()接口用来取得下一个数据元素。
提示:公众号展示代码会自动折行,建议横屏阅读 TXRocks是TXSQL适配RocksDB的版本,基于Facebook开源的MySQL进行了深度定制和优化。相对于当前线上常用的InnoDB引擎,RocksDB的主要优势是空间占用少。主要原因有两点,第一:RocksDB的数据页是压缩后append方式存储,而InnoDB的数据默认是先凑齐16K,然后再压缩对齐,对齐会造成额外的空间占用;第二:InnoDB的B+树的页面本身也有空洞。一般情况下,RocksDB的空间占用大概是压缩InnoDB的1/2左右。而且
随着近年来公有云技术及云基础设施的发展,越来越多的企业转为使用公有云来托管自己的服务。云数据库因为数据可靠性、资源弹性、运维便捷行,云上数据库服务也正成为企业数据管理的较好的选择。 本文以叮咚买菜自建MongoDB数据库整体迁移上腾讯云MongoDB为背景,分享叮咚买菜上云过程中的遇到的疑难问题及对应的性能优化解决方法等,主要包括以下分享内容: · 云上MongoDB版本选型 · 安全上云及切换方案 · 叮咚买菜业务侧性能优化 · 上云遇到的疑难问题及解决方法 · 自建上
提示:公众号展示代码会自动折行,建议横屏阅读 ---- 1 综述 buffer pool 是 innodb的数据缓存,保存了 data page、index page、undo page、insert buffer page、adaptive hash index、data dictionary、lock info。buffer pool绝大多数page都是 data page(包括index page)。innodb 还有日志缓存 log buffer,保存redo log。 下图可以看出来 inno
提示:公众号展示代码会自动折行,建议横屏阅读 问题描述 近期,线上有个重要Mysql客户的表在从5.6升级到5.7后master上插入过程中出现"Duplicate key"的错误,而且是在主备及RO实例上都出现。以其中一个表为例,迁移前通过“show create table” 命令查看的auto increment id为1758609, 迁移后变成了1758598,实际对迁移生成的新表的自增列用max求最大值为1758609。用户采用的是Innodb引擎,而且据运维同学介绍,之前碰到过类似问题,重启即
提示:公众号展示代码会自动折行,建议横屏阅读 ---- ---- 近期,有线上5.6版本event用户反映了两个问题: (1) 部分event莫名其妙的延迟执行 (2) 慢日志不记录event中的更新及插入语句 经过一系列的分析及验证,我们确认这两个问题是mysql原生代码的bug,并向官方report。下面就介绍一下相关代码及这两个bug的具体原因及修复方案。 1 mysql event的代码类图 mysql从5.1版本开始引入event机制,这里介绍的代码主要基于5.6/5.7/8.0。5.7/8.
提示:公众号展示代码会自动折行,建议横屏阅读 问题描述 近期,线上有个重要Mysql客户的表在从5.6升级到5.7后master上插入过程中出现"Duplicate key"的错误,而且是在主备及RO实例上都出现。以其中一个表为例,迁移前通过“show create table” 命令查看的auto increment id为1758609, 迁移后变成了1758598,实际对迁移生成的新表的自增列用max求最大值为1758609。用户采用的是Innodb引擎,而且据运维同学介绍,之前碰到过类似问题,重启
朱建平,TEG/云架构平台部/块与表格存储中心副总监。08年加入腾讯后,承担过对象存储、键值存储,先后负责过KV存储-TSSD、对象存储-TFS等多个存储平台。 NoSQL 技术和行业背景 NoSQL 是对不同于传统关系型数据库的一个统称,提出 NoSQL 的初衷是针对某些场景简化关系型数据库的设计,更容易水平扩展存储和计算,更侧重于实现高并发、高可用和高伸缩性。 NoSQL vs 关系型数据库 其实早几年大家看两者的区别是清晰的,关系型数据库就是用 SQL 语句操作,具有行列结构和预定义 scheme 的
提示:公众号展示代码会自动折行,建议横屏阅读 1 背景 目前腾讯云 CES(Cloud Elasticsearch)支持了多项商业特性,例如基于角色的访问控制权限(RBAC Security)、机器学习(ML)、跨集群复制(CCR)、应用性能监控(APM)等。为了更好的给用户提供更多 CES 底层技术支持以及和社区共同优化 ES 产品,腾讯云 ES 内核团队将逐一为大家介绍并解析相关的商业特性功能。本文将从功能、架构、源码层面给大家介绍 X-Pack 的机器学习功能。 2 基本概念 2.1 机器学习分
腾讯云数据库MongoDB天然支持高可用、分布式、高性能、高压缩、schema free、完善的客户端访问均衡策略等功能。云上某重点用户基于MongoDB这些优势,选用MongoDB作为主存储服务,该用户业务场景如下: · 存储电商业务核心数据 · 查询条件多变、查询不固定,查询较复杂,查询组合众多 · 对性能要求较高 · 对存储成本有要求 · 流量占比:insert较少、update较多、find较多、峰值流量较高 · 高峰期读写流量数千/秒 通过和业务沟通,了解业务使用场景和业务述求后,通过一系列的索
原文链接:https://wetest.qq.com/lab/view/446.html
这篇笔记记录采用 ESP32 接入腾讯云物联网开发平台的流程,同时给出了我的移植示例,方便其他想接入腾讯云物联网的朋友。
2019年3月20日-22日, GDC游戏开发者大会(GameDevelopers Conference,以下简称GDC)于旧金山召开。每年的GDC大会上,来自世界各地,数以万计的游戏开发者们都会分享最新的研发技术,共同探索游戏行业未来的趋势。而在今年,云游戏再度登上热门话题的舞台。 CMatrix腾讯云游戏服务平台(以下简称腾讯CMatrix)受英特尔公司邀请,共同参展本届GDC大会,给大家带来Android云游戏技术解决方案,并提供了现场体验。同时,围绕 “Android云游戏”,来自腾讯CMatri
2019年3月20日-22日, GDC游戏开发者大会(Game Developers Conference,以下简称GDC)于旧金山召开。每年的GDC大会上,来自世界各地,数以万计的游戏开发者们都会分享最新的研发技术,共同探索游戏行业未来的趋势。而在今年,云游戏再度登上热门话题的舞台。 CMatrix腾讯云游戏服务平台(以下简称腾讯CMatrix)受英特尔公司邀请,共同参展本届GDC大会,给大家带来Android云游戏技术解决方案,并提供了现场体验。同时,围绕 “Android云游戏”,来自腾讯CM
本文主要介绍如何使用 COS 迁移工具将本地数据迁移至 COS,同时带来最新的生态活动,快来看看吧~ 腾讯云 COS 提供了多种同步迁移工具,如 COSCMD、COS Migration 和 COSBrowser 客户端等。 COS 提供的工具还都支持 Windows、Linux 和 macOS 系统,所以我们可以根据不同的环境可以选择适合的迁移工具。如果想操作图形界面,可以使用COSBrowser(https://cloud.tencent.com/document/product/436/11366)。
Stille:互联网重度爱好者,喜欢追求一切基于互联网的前沿科技、技术、产品,目前从事互联网软硬件相关工作。
作为云原生服务网格领域的热门开源项目,Istio 可以为微服务提供无侵入的流量管理、安全通信、服务可见性等服务治理能力。目前越来越多的微服务项目开始考虑将自己的微服务基础设施向 Istio 进行迁移。 针对应用构建和服务管理的发展趋势,腾讯云推出的服务网格TCM为治理和构建云原生服务提供管控平台,全面兼容Istio API,同时针对数据面性能做了大量的优化工作, 相比原生Istio,资源消耗显著降低,并提供全托管网格模式。 腾讯云服务网格(TCM)作为一个兼容 Isito 的服务网格平台,已经在腾讯内外部
今天要说的是腾讯云 CDN 续期 Let’s Encrypt 证书的操作过程,常来的朋友都知道魏艾斯博客放在腾讯云了(点我打开抢 3 折特惠),同时还用了腾讯云 CDN 来加速网站打开,在申请了 Let’s Encrypt 证书之后,还要把证书放到腾讯云 CDN 上面,因为访客是先走 CDN 加速通道,再到达网站页面的。
领取专属 10元无门槛券
手把手带您无忧上云