MongoDB内核代码中提供有完善的gotool工具,这些开源工具作用主要有:数据导出及恢复(mongodump、mongorestore、mongoexport、mongoimport)工具、客户端shell链接工具(mongo)、IO测试工具(mongoperf)、流量qps/时延等监控统计工具(mongostat、mongotop)。
在企业上云逐渐加速的背景下,云数据库作为企业重要的IT基础设施,其重要性毋庸置疑。各大云计算厂商不惜重金,纷纷在产品和技术层面加大布局,争夺这一重要的云服务市场。纵观国内前几大云服务商过去一年的云数据库领域的发展,腾讯云基于自身强大的业务支撑以及技术研发实力,在云数据库市场的突破格外引人注目。
某头部金融机构采用MongoDB存储重要的金融数据,数据量较大,数据规模约2000亿左右,读写流量较高,峰值突破百万级/每秒。本文分享该千亿级高并发MongoDB集群的踩坑经验及性能优化实践,通过本文
腾讯云MongoDB数据库,稳定、弹性、安全、高性能的文档型数据库,兼容 DynamoDB 协议,满足您多样的业务需求
腾讯云上有许多种数据库产品,本文简单介绍每种产品的介绍,特性,应用场景等,帮助各位根据业务需要选择最适合的数据库。
如果你已经完成了自己新的MongoDB应用程序的开发,并且现在正准备将它部署进产品中,那么你和你的运营团队需要讨论一些关键的问题: 最佳部署实践是什么? 为了确保应用程序满足它所必须的服务层次我们需要监控哪些关键指标? 如何能够确定添加分片的时机? 有哪些工具可以对数据库进行备份和恢复? 怎样才能安全地访问所有新的实时大数据? 本文介绍了硬件选择、扩展、HA和监控。在查看详细信息之前,首先让我们处理一个最常见的问题: 部署MongoDB和部署RDBMS有什么不同? 你会发现MongoDB作为一个文档
导语 | 腾讯云MongoDB目前广泛应用于游戏、电商、ugc、物联网等场景,为了更好地为客户提供服务,腾讯数据库团队对MongoDB进行升级,诞生了青胜于蓝的腾讯云MongoDB 4.2版本,并且已经正式在腾讯云发布啦,让我们一起来看看新版有哪些亮点吧~ 一、 CMongo 介绍 MongoDB作为时下最流行的nosql数据库,是一款集高性能、分布式、易扩展等特性为一身的文档型数据库,同时其易用性和功能丰富程度是其他同类产品所不能比拟的。 CMongo是腾讯云数据库联合团队基于开源Mongo
文章出处: 鹅厂架构师 导读 腾讯 MongoDB 百万库场景下的性能优化成果汇报 腾讯 MongoDB目前广泛应用于游戏、电商、ugc、物联网等场景,很多客户在使用过程中库表数量会大量增长,甚至达到百万级别,导致性能急剧下降,严重影响客户业务。腾讯数据库研发中心CMongo团队在进行深入性能分析之后,改造底层引擎为共享表空间架构,新架构在百万级库表的场景下,相比原生版本读写性能提升 1-2 个数量级,内存消耗显著降低,启动时间从原先小时级缩短到一分钟内。 探索之路正式开始,文章很长但干货满满,建议收藏品
某核心JAVA长连接服务使用MongoDB作为主要存储,客户端数百台机器连接同一MongoDB集群,短期内出现多次性能抖动问题,此外,还出现一次“雪崩”故障,同时流量瞬间跌零,无法自动恢复。本文分析这两次故障的根本原因,包括客户端配置使用不合理、MongoDB内核链接认证不合理、代理配置不全等一系列问题,最终经过多方努力确定问题根源。
随着网络技术的提升,视频直播已经成为了互联网的一种常态。因为视频直播最接近人类沟通方式,易于使用、交互能力强、体验最好,所以拥有庞大的用户群。巨大的用户需求加剧了直播平台之间的竞争,为了增强竞争力,吸引更多的用户,各大直播平台想方设法提升自身服务质量,不仅要不断推出新的业务形式,还要大力借助IT技术的力量。
为帮助开发者更好的了解和运用数据库,腾讯云数据库团队特出品《深入浅出理解云数据库》系列文章,从数据库的基本概念到云数据库特性及应用,从数据库基础原理知识到腾讯云经典实战案例解读,带你走进云数据库的世界。关注“腾讯云数据库”微信公众号,开启2020年的DB修炼之旅。 第一回请点击:数据库的基本概念和云数据库特性 第二回请点击:云数据库的市场应用及基础原理知识 1 PartⅠ 腾讯云数据库产品总览 接下来的章节中我们以腾讯云数据库为例,来详细解读云数据库的功能和特性等。 首先来让我们用一张表来看清楚腾讯
摩拜单车是全球最大智能共享单车运营平台和移动物联网平台,其从成立到全球最大只用了不到3年的时间,拥有全球范围内最为全面的骑行大数据,每天产生的骑行数据超过30TB,日均订单量逾千万,为全球超过 2 亿用户提供智能出行服务。 要支撑摩拜单车称霸中国、新加坡、英国、意大利、日本、泰国、马来西亚、美国、韩国等 9 个国家 180 +座城市,运营超过 700 万辆摩拜单车,其数据库系统的压力可想而知。 从2015年1月到2016年,摩拜整个技术团队仅有不到50人,后台开发只有十几人。十几个人面对高速增长的业务,
NoSQL,指的是非关系型的数据库。NoSQL 有时也称作 Not Only SQL(意即"不仅仅是SQL") 的缩写,其显著特点是不使用SQL作为查询语言,数据存储不需要特定的表格模式。
TTL(Time-To-Live)索引在MongoDB中是一种特殊的索引,用于自动删除过期的文档。其核心原理在于MongoDB会启动一个后台线程,该线程会周期性地扫描集合中拥有TTL索引的字段。当这个后台线程运行时,它会检查索引字段的值与当前时间的差异,如果差异超过了设定的过期时间,该文档就被标记为“过期”。但请注意,标记为“过期”并不意味着文档会立即从数据库中删除,实际的删除操作可能会稍后进行。
随着大数据时代的发展,诞生了一大批大数据时代下的新数据库产品,如今MongoDB、Redis、HBase这些NoSQL数据库已经成为了互联网开发的新标配,SQL一统江湖的时代不复存在了。
我司的各种监控做的比较到位,当天突然收到了数据库服务器负载较高的告警通知,于是我和同事们就赶紧登录了Zabbix监控,如下图所示,截图的时候是正常状态,当时事故期间忘记留图了,可以想象当时的数据曲线反正是该高的很低,该低的很高就是了。
MongoDB自带了mongostat和mongotop这两个命令来监控MongoDB的运行情况。这两个命令对于我们处理MongoDB数据库变慢等等问题非常有用,能详细的统计MongoDB当前的状态信息。除此之外,还可以用db.serverStatus()、db.stats()、开启profile功能通过查看日志进行监控分析。
摩拜单车是全球最大智能共享单车运营平台和移动物联网平台,其从成立到全球最大只用了不到3年的时间,每天产生超过30TB骑行数据,日均订单量超过3000万。而海量数据背后,是什么样的数据库系统支撑其称霸中国、新加坡、英国、意大利、日本、泰国、马来西亚、美国、韩国等 9 个国家超过 180 个城市,运营着超过 700 万辆摩拜单车,全球拥有最为全面的骑行大数据,为全球超过 2 亿用户提供着智能出行服务。
作者:王小雪。滴滴出行架构师,原快的打车架构师。 来源:程序员杂志 某知名打车平台从随着业务的发展,系统访问量迅速膨胀,很多复杂的问题要在短时间内解决,且不能影响线上业务,这是比较大的挑战,本文将会阐
在你已经安装部署并允许MongoDB服务后,你必须要了解MongoDB的运行情况,并查看MongoDB的性能。这样在大流量得情况下可以很好的应对并保证MongoDB正常运作。
快的打车从2013年年底到2014年下半年,系统访问量迅速膨胀,很多复杂的问题要在短时间内解决,且不能影响线上业务,这是比较大的挑战,看下打车架构演变过程遇到的一些有代表性的问题和解决方案。
1.客户端与服务端通信会遇到哪些问题? 2.怎样基于Storm和HBase打造实时监控平台? 3.怎样对Web系统进行分布式改造? 快的打车从2013年年底到2014年下半年,系统访问量迅速膨胀,很多
2014年:基于分布式的基础架构 微众银行在2014年成立之时,就非常有前瞻性的确立了微众银行的IT基础架构的方向:摒弃传统的基于商业IT产品的集中架构模式,走互联网模式的分布式架构。众所周知,传统银行IT架构体系非常依赖于传统的商业数据库,商业存储以及大中型服务器设备,每年也需要巨大的IT费用去维护和升级,同时这种集中式的架构,也不便于进行高效的实现水平扩展。从过往经验来看,当时除了oracle等少数传统的商业数据库,能满足金融级银行场景的数据库产品并不多。当时腾讯有一款金融级的分布式数据库产品TD
MongoDB到现在已经走过了12个年头了。就在今天刚刚发布了5.0版本。来看一下新版本发布了哪些新功能和特性~官方选择从4.4直接跳到5.0可能也是为了表达出该版本变化比较大(调整了发布节奏)的含义。
CAT(Central Application Tracking)是基于 Java 开发的实时应用监控平台,包括实时应用监控,业务监控。
本文是对 Mongo 官方文档粗略的总结,并没有涉及到很深的细节(细节还是直接看官方文档吧)。我认为 Mongo 有重要的就 3 点:
前面的文章介绍了MongoDB副本集和分片集群的做法,下面对MongoDB集群的日常维护操作进行小总结: MongDB副本集故障转移功能得益于它的选举机制。选举机制采用了Bully算法,可以很方便从分布式节点中选出主节点。Bully算法是一种协调者(主节点)竞选算法,主要思想是集群的每个成员都可以声明它是主节点并通知其他节点。别的节点可以选择接受这个声称或是拒绝并进入主节点竞争。被其他所有节点接受的节点才能成为主节点。节点按照一些属性来判断谁应该胜出。这个属性可以是一个静态ID,也可以是更新
MongoDB 提供了 TTL 索引自动在后台清理过期数据,该功能广泛应用在数据清理和分布式锁等业务场景,但是有些业务在使用过程中却发现并非那么理想。本文结合 4.2.11 版本的内核代码,以及腾讯云 MongoDB 产品多年的运营经验,对 TTL 索引原理、缺陷和优化措施进行描述,并对常用业务场景的解决方案进行探讨。
K8S 容器云平台(如: K8S, OpenShift, Rancher, 博云, 才云, DaoCloud...) 是基于K8S的容器即服务(CAAS)和平台即服务(PAAS)的平台. 提供完整的企业级PAAS平台能力:
Erupt是一个低代码全栈类框架,它使用Java 注解动态生成页面以及增、删、改、查、权限控制等后台功能。零前端代码、零CURD、自动建表,仅需一个类文件 + 简洁的注解配置,快速开发企业级后台管理系统。
腾讯云已为多个爆款微信小游戏提供服务,腾讯云数据库团队在多年MongoDB运营&支持微信小游戏服务经验总结,MongoDB产品经理李晓慧在7月26日在厦门举行的《腾讯云GAME-TECH游戏开发者技术沙龙》上,为广大开发者分享了腾讯云MongoDB在小游戏中的实践应用,帮助刚刚走进小游戏开发的同学们提供干货。
点击▲关注 腾讯云数据库 | 导语 微众银行在2014年成立之时,就非常有前瞻性的确立了分布式架构的基础架构。当时,腾讯有一款金融级的分布式数据库产品TDSQL,其业务场景和对数据库的可靠性要求,和银行场景非常类似。微众银行和腾讯TDSQL团队合作,共同将TDSQL打造为适合银行核心场景使用的金融级分布式数据库产品,并将TDSQL用于微众银行的核心系统数据库。本文是对整个实践历程的总结。 一、背景介绍 微众银行在2014年成立之时,就非常有前瞻性的确立了微众银行的IT基础架构的方向:摒弃传统的基于商业IT
MongoDB自带了mongostat 和 mongotop 这两个命令来监控MongoDB的运行情况。这两个命令用于处理MongoDB数据库变慢等等问题非常有用,能详细的统计MongoDB当前的状态信息。除此之外,还可以用db.serverStatus()、db.stats()、开启profile功能通过查看日志进行监控分析。
在完成应用系统开发并上线运行后,你就可以让全世界分享自己的工作成果了。在召开系统发布会之前,应密切关注数据库的运行性能。数据库监控是生产准备环节的必要组成部分,但在预备发布阶段很容易被忽视。
近日,国际领先的行业研究与咨询机构Forrester正式对外发布全球最新的数据库评估报告《The Forrester Wave™: Database-As-A-Service, Q2 2019》,腾讯云数据库(TencentDB)在性能规模、配置和管理、数据安全、执行力、开源、售后支持、综合收入、用户数量、合作伙伴9项细分指标均获高分。
Zabbix Agent 2可以让我们通过最少的配置来监控一整套新系统。不需要再编写自定义监控脚本、部署额外的包或配置ODBC了。Zabbix Agent 2的一个很好的用例是监控最流行的NoSQL数据库后端之一的MongoDB。本文分享该用例的详细描述和操作指南。
·为什么MongoDB会记录这么多“Connection Accepted”事件?
自开源以来,Tapdata 吸引了越来越多开发者的关注。随着更多新鲜力量涌入社区,在和社区成员讨论共创的过程中,我们也意识到在基础文档之外,一个更“直观”、更具“互动性”的实践示范教程的重要性和必要性。为了辅助开发者更好地理解技术文档,真正实现快速上手、深度参与,即刻开启实时数据新体验,我们同步启动了 Tapdata 功能特性及操作演示系列教程。 以下,为本教程的第一弹内容——零基础快速上手实践,细致分享了从源码编译和启动服务到如何新建数据源,再到如何做数据源之间的数据同步的启动部署及常见功能演示,主要任务包括:
随着客户上云的加快,客户越来越希望直接采用云上的数据库系统支撑业务发展,作为服务商来讲,了解云上的数据库的应用场景及常见特性成为必然。否则,将出现与客户交流困难,影响项目成效的麻烦事。今天我们讲五种常见的云数据库,这些内容也是在与客户沟通交流中的常见问题。
https://github.com/percona/grafana-dashboards/blob/main/dashboards/MongoDB/MongoDB_Instances_Overview.json
过期数据的清理问题,一直是数据库界的一个问题,处理的方式很多,大部分都是通过存储过程,或者定期使用第三方工具来进行处理。MONGODB 处理过期数据的方面,可以使用类似REDIS expired key 的概念,创建TTL index 来通过时间的方式处理过期数据。
领取专属 10元无门槛券
手把手带您无忧上云