京东容器数据库系统,管理1800台物理计算节点,生产1W+ 多MySQL Docker容器实例。架构简单可靠,Docker容器计算平台与MySQL集群管理平台解耦处理。为描述方便,京东容器化数据库系统命名为CDS,底层京东Docker容器计算平台命名为JDOS。 本文重点介绍JDOS如何支持CDS。CDS是更大的话题,后续数据库团队会分享相关实践。 介绍 CDS依赖京东坚实的JDOS技术,生产运行1W+个MySQL容器实例。CDS借助JDOS技术优势获得主要3个方面的技术收益: CDS借助Docker容器
随着云计算的发展,数据库上云已经成为趋势,云数据库服务相对于传统数据库在架构、性能与安全等方面都存在着新的挑战。 11月23日,移动云TeaTalk线上沙龙带着满满的干货来了! 本次技术沙龙邀请了移动云创新中心的技术专家及华中科技大学数据工程研究所的教授与专家,和您一起分享云数据库技术的创新研究与实践经验。 如果您对云原生关系型数据库、存算分离型数据库集群上的查询优化以及数据库安全与隐私保护等技术有着浓厚的兴趣,欢迎来聆听这一场技术的对话! 参与 TeaTalk 线上直播 沙龙活动 这里是移动云TeaTa
在这个由两部分组成的系列文章的第一部分中,我介绍了物联网中需要收集数据的位置:公共云或私有云中的边缘设备,网关和服务器。我还讨论了这些系统的特点以及选择合适的数据库管理系统技术的含义。
腾讯云MongoDB数据库,稳定、弹性、安全、高性能的文档型数据库,兼容 DynamoDB 协议,满足您多样的业务需求
作者介绍:李瑞,高级DBA,拥有丰富的数据库运维运营经验,现负责腾讯云分布式数据库运营相关工作,对数据库的高一致性、高可靠、分布式架构等有深入理解,擅长MySQL/MariaDB等数据库架构设计,性能调优等。
2021年7月22日,腾讯云数据库正式发布数据库代理(又名proxy)服务,支持MySQL 5.7 版本和8.0 版本,可为用户提供透明且安全的网络代理服务,实现自动读写分离,降低业务使用数据库的复杂度,完美解决了数据库故障切换的网络瞬断问题,网络中断时间降低至0,MySQL数据库的故障转移时间最多可减少 60%,使得应用程序抵抗数据库故障风险的能力大幅提升。这标志着腾讯云数据库MySQL完成了企业级中间件的孵化,在可用性、稳定性和扩展性方面均有了突破性提升,能够更好地为用户提供企业级服务。 数据库代理是
CynosDB for PostgreSQL是腾讯云自研的一款云原生数据库,其主要核心思想来自于亚马逊的云数据库服务Aurora。这种核心思想就是“基于日志的存储”和“存储计算分离”。同时,CynosDB在架构和工程实现上确实有很多和Aurora不一样的地方。
企业IT系统迁移到公有云上已然是正在发生的趋势。数据库服务,作为公有云上提供的关键组件,是企业客户是否愿意将自己运行多年的系统搬到云上的关键考量之一。另一方面,自从System R开始,关系数据库系统已经大约四十年的历史了。尤其是随着互联网的发展,业务对数据库实例的吞吐量要求越来越高。对于很多业务来说,单个物理机器所能提供的最大吞吐量已经不能满足业务的高速发展。因此,数据库集群是很多IT系统绕不过去的坎。
在“国产化”和“新基建”浪潮下,腾讯云与新炬网络积极开展合作,共同推动数据库的国产化进程,日前,新炬网络在腾讯云数据库领域已经获得了多名工程师认证,并成功为众多客户提供了数据库迁移改造、运维优化等服务。下一步,新炬网络将继续与腾讯云携手,加速推进国产数据库的发展和落地应用。 一、新炬网络多名员工率先通过腾讯云数据库TCP工程师认证 由腾讯云推出的数据库培训认证——数据库交付运维工程师-腾讯云TBase认证(TCP)一经发布,新炬网络的多名员工便率先通过了此项认证,并获得由官方颁发的证书。 数据库交付
其实关于数据库的话题,能聊的很多,作为开发者来说,单说自己接触过的或者曾经用过的数据库就有不少,比如说关系型数据库:Mysql数据库、Oracle数据库、SQL Server数据库、DB2数据库、DM数据库;以及一些自己知道但是还未曾用过的关系型数据库:PostgreSQL数据库、OceanBase数据库等等。当然还有业务中常出现的非关系型数据库:Redis数据库、Memcached数据库、MongoDB数据库、Elasticsearch等。以及现在出现的云数据库、云原生数据库等。比如阿里云现有的数据库云产品系列,
日前,腾讯云数据库KeeWiDB在微拍堂成功落地,读写、查询性能全面提升。KeeWiDB为微拍堂提供高性能、高效率、低成本的数据库服务,助力微拍堂提升用户体验。 作为行业领先的艺术品电商平台,微拍堂经过8年时间发展,目前已拥有超1亿用户,入驻商家超33万,业务占比稳居行业之首。在业务持续增长的态势下,其自研的Hades数据库已无法满足TB级的终端设备信息存储需求。基于成本、性能等诸多方面的对比分析和测试,微拍堂最终选择了腾讯云数据库KeeWiDB,对原有数据库进行替换升级。 作为腾讯云全新一代分布式KV存
前两天 GitHub 的博客上发布了一篇题为「Partitioning GitHub’s relational databases to handle scale」[1] 讲述他们如何拆分自己的数据库。相关内容在 Hacker News[2] 上也引起了大家的关注。
本次分享将介绍Pigsty:PostgreSQL RDS的Me-Better开源替代。Pigsty是如何从可观测性,可靠性,可维护性,可用性,可扩展性与安全性六个维度上,让裸奔的PostgreSQL内核成为全盛状态的六边形战士,以云数据库5%~30%的成本,提供更好的生产级关系型数据库服务(RDS)。
2019 年 3 月 16 日,在北京国粹馆举行了首期 TVP 修炼营,这是一场专属于热爱大数据的技术专家们的活动。TVP,即腾讯云最具价值专家(Tencent Cloud Valuable Professional),是腾讯云实现数字化转型、建设智慧生态的重要战略计划之一,旨在通过建立与行业技术专家的交流平台,促进腾讯云与技术专家和用户之间的有效沟通,从而提升腾讯云产品能力,打造云计算技术生态,实现“用科技影响世界”的美好愿景。
据国际权威机构Statista统计和预测数据指出,到2035年,全球数据产生量增长预计将达到2142ZB(1ZB约1万亿GB))。 信息技术的不断发展,也在驱动催生许多新的数据业务场景,这也意味着,这些新的业务和海量的数据对数据库能力提出了新的要求。而这些新的要求,也亟需新技术来满足。 自上月TDSQL- A公有云版本发布以来,腾讯云数据库就对其核心架构进行了整体介绍和深入的解读,但除此之外,TDSQL-A仍有不少值得一提的“硬核新技术”。 6月5日14:30~17:00,5位技术大咖将共同对TDSQL-
前面讲了 Mycat 是一个开源的分布式数据库系统,但是由于真正的数据库需要存储引擎,而 Mycat 并没有存储引擎,所以并不是完全意义的分布式数据库系统。
Mycat中的概念 数据库中间件 前面讲了Mycat是一个开源的分布式数据库系统,但是由于真正的数据库需要存储引擎,而Mycat并没有存储引擎,所以并不是 完全意义的分布式数据库系统。 那么Mycat是什么?Mycat是数据库中间件,就是介于数据库与应用之间,进行数据处理与交互的中间服务。由于前面讲的对数 据进行分片处理之后,从原有的一个库,被切分为多个分片数据库,所有的分片数据库集群构成了整个完整的数据库存储。 如上图所表示,数据被分到多个分片数据库后,应用如果需要读取数据,就要需要处理多个数据源的数据。如果没有数据库中间 件,那么应用将直接面对分片集群,数据源切换、事务处理、数据聚合都需要应用直接处理,原本该是专注于业务的应用,将会 花大量的工作来处理分片后的问题,最重要的是每个应用处理将是完全的重复造轮子。 所以有了数据库中间件,应用只需要集中与业务处理,大量的通用的数据聚合,事务,数据源切换都由中间件来处理,中间件的 性能与处理能力将直接决定应用的读写性能,所以一款好的数据库中间件至关重要。 逻辑库(schema) 逻辑库(schema) 前面一节讲了数据库中间件,通常对实际应用来说,并不需要知道中间件的存在,业务开发人员只需要知道数据库的概念,所以 数据库中间件可以被看做是一个或多个数据库集群构成的逻辑库。 在云计算时代,数据库中间件可以以多租户的形式给一个或多个应用提供服务,每个应用访问的可能是一个独立或者是共享的物 理库,常见的如阿里云数据库服务器RDS。 逻辑表(table) 逻辑表 既然有逻辑库,那么就会有逻辑表,分布式数据库中,对应用来说,读写数据的表就是逻辑表。逻辑表,可以是数据切分后,分 布在一个或多个分片库中,也可以不做数据切分,不分片,只有一个表构成。 分片表 分片表,是指那些原有的很大数据的表,需要切分到多个数据库的表,这样,每个分片都有一部分数据,所有分片构成了完整的 数据。 例如在mycat配置中的t_node就属于分片表,数据按照规则被分到dn1,dn2两个分片节点(dataNode)上。
构建直播小程序 申请腾讯云直播服务 获取加密私钥 部署自己的业务后台 生成开播,播放端地址 开启小程序
作者:李跃森 2016年7月,腾讯云对外发布云数据库PostgreSQL,提供腾讯自研的内核优化版和社区版两个版本,以及提供分布式集群架构(分布式集群内部代号PostgreSQL-XZ)两种方案。 本
6月5日,“国产数据库硬核技术沙龙-TDSQL-A技术揭秘”如约而至。5位腾讯云技术大咖分别从整体技术架构、列式存储及相关执行优化、集群数据交互总线、Fragment执行框架/查询分片策略/子查询框架以及向量化执行引擎等多个方面对TDSQL-A进行了深入解读。以下带来腾讯云数据库技术总监李跃森老师的在线分享。 1 TDSQL-A产品定位 TDSQL-A是腾讯基于PostgreSQL自主研发的分布式超大规模在线关系型数据仓库,业务场景针对于在线高性能数据分析。 TDSQL-A有四个主要特点: 无共享MP
2020年7月8日,腾讯云正式发布了腾讯云MySQL 8.0。MySQL 8.0版本是一个里程碑式的版本,官方版本大幅度的提高了性能和可用性。而腾讯云基于官方版本发布的腾讯云MySQL 8.0版本,更是在官方版本之上,进一步优化,大幅度提高性能。
作者:冯伟源,高级工程师,腾讯云Redis系统运维负责人。6年DBA经验,一直从事SQL优化、实例调优、数据库架构、海量数据库集群运维、运营平台建设和管理等工作。为 QQ、Qzone、QQ音乐、微云、腾讯云等业务提供数据库服务。
近几年由于各个行业的数据体量都在飞速增长,伴随着云计算产业的快速发展,上云,已经成为了众多企业优化运维手段、突破数据存储瓶颈的关键选择。目前绝大多数企业都正在进行或已实现整体业务的迁移上云。
又到了双十一、双十二、年终大促季,每年这个时候都是购物狂欢节,不仅促销产品多、种类全、覆盖面广,促销花样也在不断翻新,直播、砍价、优惠券、加价购等,令人眼花缭乱。 当全国人民沉浸在买买买的自嗨中无法自拔时,考验的不仅是百万商家的战略战术,更是各种技术平台的实力比拼,尤其是底层的数据库,将迎来流量峰值期间的高并发和快速响应挑战。 高并发业务场景下 快速、弹性扩缩容调整 (微盟产品和服务布局) 以微盟为例,公司承载的是多渠道的广告营销业务,提供和各个细分领域相关的垂直SaaS解决方案及服务。比如:双11期
腾讯云原生数据库 TDSQL-C(Cloud Native Database TDSQL-C,TDSQL-C)是腾讯云自研的新一代高性能高可用的企业级分布式云数据库。融合了传统数据库、云计算与新硬件技术的优势,100%兼容 MySQL 和 PostgreSQL,实现超百万级 QPS 的高吞吐,128TB 海量分布式智能存储,保障数据安全可靠。 本文由腾讯云数据库高级工程师唐颋为大家详细解读TDSQL-C PostreSQL的高可用特性。 TDSQL-C PG版产品简介 TDSQL-C PG版是一款基于计算、
对于Share-Nothing架构的分布式数据库来说,如何将数据均匀的分布到各个节点、在线扩容,以获取更大的存储容量和更高的并发访问量。成为各大分布式数据库系统的一大挑战,今天我将对腾讯云数据库TBase的数据节点在线扩容方案做一个简单的分享。
使用RPM的方式部署proxy实例,部署之后使用OBclient进行连接,报错提示:
腾讯云上有许多种数据库产品,本文简单介绍每种产品的介绍,特性,应用场景等,帮助各位根据业务需要选择最适合的数据库。
数据库市场规模倍速增长,成为企业组织IT战略的重要组成部分。多源异构类型数据库的选择已成为常态化趋势。
内容来源:2018 年 10 月 20 日,源数据库论坛(ODF)发起人周彦伟在“ODF走进名企之贝壳技术沙龙-数据库存储技术的多元应用”进行《使用ArkControl实现MySQL运维体系建设》的演讲分享。IT 大咖说(微信id:itdakashuo)作为独家视频合作方,经主办方和讲者审阅授权发布。
上世纪 60 年代,首款企业级数据库产品诞生。经过六十余年的发展,企业级数据库市场已从原先寡头垄断的格局发展成百家争鸣的繁荣局面。多元数据库的格局,极大的促进了社会经济的发展,但同时也带来了数据库运维管理上的难题,如何更好的管理多云数据库,成为行业亟待解决的难题。 数据库多元化带来的管理难点 安装部署过程复杂:传统数据库环境准备,需要用户自行准备存储、网络、计算资源,协调系统、网络、数据库等各方专家,才能完成一套可用的数据库集群部署。 数据库管理难度大:传统数据库管理依赖于数据库厂商自带的管理工具,而今数据
作者:冯伟源,高级工程师,腾讯云Redis系统运维负责人。6年DBA经验,一直从事SQL优化、实例调优、数据库架构、海量数据库集群运维、运营平台建设和管理等工作。为QQ、Qzone、QQ音乐、微云、腾讯云等业务提供数据库服务。 ---- 腾讯云Redis自2015年诞生以来,爆发式增长,为上万家客户提供服务。作者作为唯一的运维负责人,面对三大挑战时如何破解? 元信息的一致性管理 万台设备高效运维 如何实现智能调度 解读腾讯云Redis 腾讯云Redis是基于腾讯内部分布式缓存领域在QQ、音乐、Qzone
最近接触的一些项目大搞国产化,著名的关系型数据库厂商都在美国,有Oracle的Oracle和MySQL数据库、IBM的DB2、微软的SQL Server等。今天细说一下国内的数据库厂商。
今年6月,腾讯云数据库TDSQL PG版 Oracle兼容能力以及TDSQL-A两大引擎全新升级,Oracle兼容性和海量数据查询分析能力再上新台阶。为帮助开发者更清楚的了解到腾讯云数据库究竟做了什么,特推出"DBTalk数据库企业级能力国产化”专场,就数据库引擎在Oracle兼容核心能力构建、海量数据分析引擎构架设计、下一代列式存储原理、复杂查询执行优化等方面进行深入解读。 本期带来各讲师分享精华及直播回顾视频。想要讲师ppt的小伙伴,可在腾讯云数据库公众号后台发送"610讲师课件",即可获得哦! 《深入
为帮助开发者更好地了解和学习前沿数据库技术,腾讯云数据库特推出"DB · TALK"系列技术分享会,聚焦干货赋能创新,邀请数十位鹅厂资深数据库专家每月和您一起深入探讨云数据库的内核技术、性能、架构、管理运维和最佳实践等。 3月30日第一期分享会“数据库管理与运维”专场已结束,错过直播的小伙伴也不要拍大腿,本期带来腾讯云数据库产品经理陈昊分享《数据库统一纳管平台DBhouse技术路线的最佳实践》的文字回顾。 大家好,我是陈昊,我的分享包括四个部分:产品建设背景,为什么要做DBhouse;产品架构,包括技术架
数据库作为企业数据的管理软件,是企业的核心资产,需要避免单点灾难,因此数据库灾备需求应运而生。
随着互联网的迅速发展,数据量的增长和访问量的增加,单一数据库已经不能满足大规模网站的需求。传统的单机数据库在数据量达到一定级别时,系统性能会急剧下降,甚至系统崩溃。为了解决这个问题,数据库集群应运而生。
TDSQL-C再创佳绩 9月16日,Distributed Cloud|2021全球分布式云大会在上海召开,腾讯云原生数据库TDSQL-C荣获“云原生卓越技术提供商”奖项,TDSQL-C 是腾讯自研的云原生分布式数据库(原CynosDB), 基于共享存储,实现了强大的扩展能力和超百万级QPS的高吞吐性能,深度定制的数据库内核TXSQL是支撑关键业务平稳运行的基石。 (云原生卓越技术提供商奖项) TDSQL-C的总体架构是基于共享存储,存储和计算分离的架构。 (传统的MySQL主备架构和TDSQL
针对当前远程容灾备份系统普遍造价高昂的缺点,技术人员提出了一种通过基于Linux系统下的Rsync(Remote Synchronize)远程同步框架进行改进,采用节点间数据复制技术实现数据库远程备份方案。 根据容灾备份系统对备份类别的要求程度,数据库备份系统可以分为数据级备份和应用级备份。数据备份是指建立一个异地的数据备份系统,该系统是对原本地系统关键应用数据实时复制。当出现故障时,可由异地数据系统迅速恢复本地数据从而保证业务的连续性。应用级备份比数据备份层次更高,即在异地建立一套完整的、与本地数据库系统
本文最初发表于 scaleyourapp.com 网站,经原作者 Shivang Sarawagi 授权由 InfoQ 中文站翻译分享。
“腾讯云 TDSQL-C 产品测评活动”是由腾讯云联合 CSDN 推出的针对数据库产品测评及产品体验活动,本次活动主要面向 TDSQL-C Serverless版本,初步的产品体验或针对TDSQL-C产品的自动弹性能力、自动启停能力、兼容性、安全、并发、可靠性等多方面的产品测评。
集群(cluster)就是一组计算机,它们作为一个整体向用户提供一组网络资源,这些单个的计算机系统就是集群的节点(node)。集群提供了以下关键的特性。
目前,随着大型决策支持系统的发展,其支撑数据库的执行效率已经成为制约整个企业信息系统性能和效率提升的瓶颈。[1]尤其在电子商务领域,联机事务分析(OLAP)应用越来越广泛,对性能的要求也越发紧迫。联机事务分析是以多维度的方式分析数据,能弹性地提供积存、下钻和枢纽分析等操作,呈现集成性决策信息的方法。其目前主要处理兆兆(T)字节的数据,满足复杂的查询需求,尤其是对多张表中的千万条记录的数据进行数据分析和信息综合。而目前上述需求在关系数据库中已经不能完全的得到满足。[2]同时,商业应用领域对性能、可靠性和性价比的苛刻要求,催生了数据库集群的广泛应用[3]。数据库集群分为共享集群和非共享集群,而针对决策支持系统的业务处理,非共享集群有其固有的优势。[4]
2019数据技术嘉年华于11月16日在京落下了帷幕。大会历时两天,来自全国各地上千名学术精英、数据库领袖人物、数据库专家、技术爱好者在这里汇聚一堂,围绕“开源 • 智能 • 云数据 - 自主驱动发展 创新引领未来”的大会主题,共享"开源自研,云和数据,智能运维,智能业务,数据前沿,用户实践"六大主题盛宴。
微软子公司GitHub近日就上个月底持续时间超过8个小时的一连串故障发表了完整的事后分析报告,详细说明了数据库基础架构导致GitHub遭遇故障的确切原因,GitHub数据库出岔子不是第一次了。
5月18日,腾讯云首款分布式分析型数据库TDSQL-A正式发布公有云版本。 TDSQL-A作为领先的分析型数据库,是腾讯首款分布式分析型数据库,采用全并行无共享架构,具有自研列式存储引擎,支持行列混合存储,适应于海量OLAP关联分析查询场景。它能够支持2000台物理服务器以上的集群规模,存储容量能达到单数据库实例百P级。 TDSQL-A具备强大的海量数据实时分析能力,并全面兼容PostgreSQL语法、高度兼容Oracle语法,同时具备高安全、高可用、超大规模集群支持和完整事务能力等产品特性,可为企业用
来源:InfoQ 中文站翻译分享 作者 | Shivang Sarawagi 、译者 | 张卫滨、策划 | 辛晓亮 YouTube 是仅次于谷歌的第二大热门网站。在 2019 年 5 月,每分钟会有超过 500 小时的视频内容上传到该平台。 该视频共享平台有超过 20 亿的用户,每天有超过 10 亿小时的视频被播放,产生数十亿的浏览量。这些都是令人难以置信的数字。 本文会对 YouTube 使用的 数据库 和后端数据基础设施进行深入讲解,它们使得该视频平台能够存储如此巨量的数据,并能扩展至数十亿的用户。 那
作者介绍:林锦,腾讯云数据库团队高级工程师,曾任云计算初创公司系统架构师,从事分布式系统研发7年,2017年加入腾讯云,从事NewSQL研发工作,目前主要负责CynosDB for PostgreSQL开发工作。
2019年5月8日-10日的DTCC2019年中国数据库大会上,腾讯云数据库专家工程师雷海林首受邀做了主题为《TDSQL智能运维平台-扁鹊架构与实践》的技术分享,以下为大会现场演讲实录。
领取专属 10元无门槛券
手把手带您无忧上云