这段时间团队在梳理mysql使用上的一些痛点（分库分表、读写分离、权限控制、监控告警、日志审计等），也调研了业内一些mysql中间件的实现，这里把对问题域的思考，以及常见中间件整理沉淀一下
云原生为实践者指明了一条能够充分利用云的能力、发挥云的价值的最佳途径，现已成为企业数字化转型的必经之路。随着云计算的普及，企业应用容器化的趋势已势不可挡，并主要面临以下几个重要问题：激增的流量负载与资源容量规划的矛盾如何解决？资源成本与系统可用性如何平衡？
对于分库分表来说，主要是面对以下问题： 选择一个数据库中间件，调研、学习、测试； 设计你的分库分表的一个方案，你要分成多少个库，每个库分成多少个表，比如 3 个库，每个库 4 个表； 基于选择好的数据库中间件，以及在测试环境建立好的分库分表的环境，然后测试一下能否正常进行分库分表的读写； 完成单库单表到分库分表的迁移，双写方案； 线上系统开始基于分库分表对外提供服务； 扩容了，扩容成 6 个库，每个库需要 12 个表，你怎么来增加更多库和表呢？ 这个是你必须面对的一个事儿，就是你已经弄好分库分表方案了，然后一堆库和表都建好了，基于分库分表中间件的代码开发啥的都好了，测试都 ok 了，数据能均匀分布到各个库和各个表里去，而且接着你还通过双写的方案咔嚓一下上了系统，已经直接基于分库分表方案在搞了。 那么现在问题来了，你现在这些库和表又支撑不住了，要继续扩容咋办？这个可能就是说你的每个库的容量又快满了，或者是你的表数据量又太大了，也可能是你每个库的写并发太高了，你得继续扩容。这都是玩儿分库分表线上必须经历的事儿。
在5月12日的Java开发者大会上，除了我本人进行分享之外，还有其他5位优秀的老师也有精彩的分享。
Presto 最初是由 Facebook 开发的一个分布式 SQL 执行引擎， 它被设计为用来专门进行高速、实时的数据分析，以弥补 Hive 在速度和对接多种数据源上的短板。
腾讯云容器团队对IDC、上云非容器化、容器化的计算资源利用情况进行了调研，结果显示容器化改造后资源利用率提升最高可达60%～70%，并提出容器化资源利用率成熟度模型。
kubernetes在容器编排大战中由于应用的可移植性以及支持混合云/多云部署方式上的灵活性。加上开放可扩展的理念，使得周边社区非常活跃。从既有调研结果看，kubernetes已成为容器编排领域的标准。但是它并不成熟，很多方面都大有可为，下面就是列举了一些方面：
本文主要分享腾讯智慧零售团队优码业务在MongoDB中的应用，采用腾讯云MongoDB作为主存储服务给业务带来了较大收益，主要包括：高性能、快捷的DDL操作、低存储成本、超大存储容量等收益，极大的降低了业务存储成本，并提高了业务迭代开发效率。 一、业务场景 腾讯优码从连接消费者到连接渠道终端，实现以货的数字化为基础的企业数字化升级，包含营销能力升级和动销能力升级。腾讯优码由正品通、门店通和会员通三个子产品组成。 更多信息可以访问腾讯优码官方网站获得： https://uma.qq.com/ 腾讯优码整体
Relay log 类似 binary log，是指一组包含数据库变更事件的文件，加上相关的 index 和 mata 文件，具体细节参考 官方文档 。在 DM 中针对某个上游开启 relay log 后，相比不开启，有如下优势：
知乎存储平台团队基于开源Redis 组件打造的知乎 Redis 平台，经过不断的研发迭代，目前已经形成了一整套完整自动化运维服务体系，提供很多强大的功能。本文作者陈鹏是该系统的负责人，本次文章深入介绍了该系统的方方面面，值得互联网后端程序员仔细研究。
零氪科技作为全球领先的人工智能与医疗大数据平台，拥有国内最大规模、体量的医疗大数据资源库和最具优势的技术支撑服务体系。多年来，零氪科技凭借在医疗大数据整合、处理和分析上的核心技术优势，依托先进的人工智能技术，致力于为社会及行业、政府部门、各级医疗机构、国内外医疗器械厂商、药企等提供高质量医疗大数据整体解决方案，以及人工智能辅助决策系统（辅助管理决策、助力临床科研、AI 智能诊疗）、患者全流程管理、医院舆情监控及品牌建设、药械研发、保险控费等一体化服务。
昨天我们分享了怎么不停机进行分库分表数据迁移（数据库分库分表后，我们生产环境怎么实现不停机数据迁移）后来有好多朋友问我，说他们的系统虽然也到了差不多分表的地步了，但是，不知道具体拆分多少张表，分多了又怕浪费公司资源，分少了又怕后面怎么去扩容，还有另一些朋友说，所在的公司规模还不大，尚在发展中，公司压根就没这么资源给他们这么去拆分。
首先数据库技术发展的基础还是在业务推动的背景下，能够实现相关的技术保障。业务需求的提升必然会在数据量，访问量等方面有更高的要求，而映射到数据库层面就不是简单的扩容和添加资源了，我们有时候更需要弹性，需要快速实现，需要更高的性能。这些都是摆在我们面前的问题，而不仅仅是DBA团队。 所以早期的很多数据库，从一主一从，一主多从的架构，逐步演变到了读写分离，分库分表，然后就是分布式。而同时从很多层面来说，行业内的方案真是百花齐放，记得前几天还和同事聊，说如果对比一下Oracle和MySQL,
前篇： 《假如让你来设计数据库中间件》 《数据库中间件TDDL调研笔记》 《数据库中间件cobar调研笔记》 《数据库中间件mysql-proxy调研笔记》 13年底负责数据库中间件设计时的调研笔记，拿出来和大家分享，轻拍。 一、Atlas是什么 奇虎360的一个mysql数据库中间层项目 在mysql官方推出的mysql-proxy0.8.2的基础上改的 基于服务端的中间件 画外音：数据库中间件有基于服务端的，也有基于客户端的，TDDL属于后者；而cobar和Atlas是一个中间层服务，属于前者。 二
携程是一家中国领先的在线票务服务公司，从 1999 年创立至今，数据库系统历经三次替换。在移动互联网时代，面对云计算卷积而来的海量数据，携程通过新的数据库方案实现存储成本降低 85% 左右，性能提升数倍。本文讲述携程在历史库场景下，如何解决水平扩容、存储成本、导入性能等痛点，以及对于解决方案的制定和思考过程。
前段时间不是在忙么，忙的内容之一就是花了点时间重构了一个服务的健康检查组件，目前已经慢慢在灰度线上，本文就来分享下这次重构之旅，也算作个总结吧。
常耀国，腾讯SRE专家，现就职于PCG-大数据平台部，负责千万级QPS业务的上云、监控和自动化工作。 背景 BeaconLogServer 是灯塔 SDK 上报数据的入口，接收众多业务的数据上报，包括微视、 QQ 、腾讯视频、 QQ 浏览器、应用宝等多个业务，呈现并发大、请求大、流量突增等问题，目前 BeaconLogServer 的 QPS 达到千万级别以上，为了应对这些问题，平时需要耗费大量的人力去维护服务的容量水位，如何利用上云实现 0 人力运维是本文着重分析的。 混合云弹性伸缩 弹性伸缩整体效果
光大银行也是很有魄力的，拿出了一个重要的业务系统进行一次试点，做了一次这种分布式架构转型的项目。我有过十余年DBA相关的经验，不过之前接触比较多的主要还是传统的商用型数据库，所以能作为这次项目的推进人，也是我个人在这种新的架构下的一次学习的过程。
前文我们介绍了通过 Longhorn UI 可以对卷进行快照、备份恢复等功能，此外我们还可以通过 Kubernetes 来实现对卷的管理，比如可以在集群上通过 CSI 来实现快照、备份恢复、克隆、扩容等功能支持。
小红书是一个社区属性为主的产品，它涵盖了各个领域的生活社区，并存储海量的社交网络关系。
7月中旬，腾讯云7*24h售后支持群收到来自X-Girl（化名）客户的消息，客户直呼咱家数据库帮大忙了，想要亲自感谢腾讯云MySQL团队。
定时任务是大家再开发中一个不可避免的业务，比如在一些电商系统中可能会定时给用户发送生日券，一些对账系统中可能会定时去对账。大概再很久以前每个服务可能就一台机器，再这台机器上直接搞个Timerschedule基本上就能满足我们的业务需求，但是随着时代的变迁，单台机器已经远远不能满足我们的需要，这个时候我们可能需要10台，20台甚至更多机器来运行我们的业务，接受我们的流量，这就是我们所说的横向扩展。但是这里就有个问题，这么多台机器如果还用我们的Timerschedule去做会发生什么呢？再上面的电商系统中有可能会给某个用户发很多张生日券，对公司造成很多损失，所以我们需要一些其他方法，让定时任务在多台机器上只执行一次。
有赞是一家商家服务公司，向商家提供强大的基于社交网络的，全渠道经营的 SaaS 系统和一体化新零售解决方案。随着近年来社交电商的火爆，有赞大数据集群一直处于快速增长的状态。在 2019 年下半年，原有云厂商的机房已经不能满足未来几年的持续扩容的需要，同时考虑到提升机器扩容的效率（减少等待机器到位的时间）以及支持弹性伸缩容的能力，我们决定将大数据离线 Hadoop 集群整体迁移到其他云厂商。
读写分离与分库分表，分布式事务 MySql存储引擎，建表规范，事务级别，sql优化，读写分离思想等。 了解过读写分离吗？ 你说读的时候读从库，现在假设有一张表User做了读写分离，然后有个线程在一个事务范围内对User表先做了写的处理，然后又做了读的处理，这时候数据还没同步到从库，怎么保证读的时候能读到最新的数据呢？ 你如何保证系统的稳定性？ 答：分布式的链路一般都很长，所以我们首先通过全链路压测，分析整个链路，到底是哪个节点出现瓶颈。如果是数据层出现瓶颈，那么可以考虑加缓存，读写分离等降低数据库压力，如
Shopee（https://shopee.com/）是东南亚和台湾地区领先的电子商务平台，覆盖新加坡、马来西亚、菲律宾、印度尼西亚、泰国、越南和台湾等七个市场。Shopee 母公司 Sea（https://seagroup.com/）为首家在纽约证券交易所上市的东南亚互联网企业。2015 年底上线以来，Shopee 业务规模迅速扩张，逐步成长为区域内发展最为迅猛的电商平台之一：
相比文字和图片，直播提供了人与人之间更丰富的沟通形式，其对平台稳定性的考验很大，那么倡导“以技术驱动娱乐”的虎牙直播（以下简称“虎牙”）是如何在技术上赋能娱乐，本文将为您介绍虎牙在DNS、服务注册、CMDB和服务配置中心等方面的实践。
nfs-client-provisioner 可动态为kubernetes提供pv卷，是Kubernetes的简易NFS的外部provisioner，本身不提供NFS，需要现有的NFS服务器提供存储。持久卷目录的命名规则为: {namespace}-{pvcName}-
用户通过 Deployment、ReplicationController 可以方便地在 kubernetes 中部署一套高可用、可扩展的分布式无状态服务。这类应用不在本地存储数据，通过简单的负载均衡策略可实现请求分发。随着 k8s 的普及和云原生架构的兴起，越来越多的人希望把数据库这类有状态服务也通过 k8s 进行编排。但因为有状态服务的复杂性，这一过程并不容易。本文将以最流行的开源数据库 MySQL 为例，介绍如何在 k8s 上部署运维有状态服务。本文所作的调研基于k8s 1.13。
面试官：如何来设计动态扩容的分库分表方案？ 面试官心理剖析： 这个问题主要是看看你们公司设计的分库分表设计方案怎么样的？你知不知道动态扩容的方案？
我们都知道，随着业务量的增长，数据量也会随之增加，这个时候就需要关注业务大表，因为大表会影响查询性能，DDL变更时间很长，影响业务的可用性，同时导致从库延迟很大，如果业务做了读写分离，导致用户重复操作产生脏数据，例如重复下单。
MYSQL数据库适用场景广泛，相较于Oracle、DB2性价比更高，Web网站、日志系统、数据仓库等场景都有MYSQL用武之地，但是也存在对于事务性支持不太好（MySQL 5.5版本开始默认引擎才是I
【导语】 微博拥有超过3.76亿月活用户，是当前社会热点事件传播的主要平台。而热点事件往往具有不可预测性和突发性，较短时间内可能带来流量的翻倍增长，甚至更大。如何快速应对突发流量的冲击，确保线上服务的稳定性，对于提供全微博数据托管的服务部门数据库团队来说既是机遇又是挑战。本文尝试从一线DBA的视角管窥微博热点事件背后的数据库运维应对之道。 背景&挑战 背景 正是图1这条微博动态，让一个平常的国庆假期变得不同寻常，微博刚一发出就引爆网络，它将明星CP动态推向了舆论的高潮，并霸占微博热搜榜好几天，也正是因为这
不同企业上云后，其成本节省程度是不一的。从 IT 资源成本节省量来看，低的企业不到 10%，高的企业可达 60%-70%。究竟为何会造成这么大的差异？又有什么组织管理手段和产品技术手段可以降低企业上云成本？
源码系列 手写spring mvc框架 基于Spring JDBC手写ORM框架 实现自己的MyBatis Spring AOP实战之源码分析 Spring IOC高级特性应用分析 ORM框架底层实现原理剖析 手写Spring MVC框架实现 手把手分析Mybatis源码实现 高手进阶之手写Mybatis框架 高可用/分布式/高性能 实践一个高并发转盘抽奖 构建无切入性业务系统监控平台 Netty+websocket实现及时同通信 写一个数据库动态扩容方案以及MyCat实践 SOA架构及微服务架构的原理
凤凰网（纽交所上市公司，代码：FENG) 是全球领先的跨平台网络新媒体公司，整合旗下综合门户凤凰网、手机凤凰网和凤凰视频三大平台，秉承"中华情怀，全球视野，兼容开放，进步力量"的媒体理念， 为主流华人提供互联网、无线通信、电视网的三网融合无缝衔接的新媒体优质内容与服务。
本项目包含一个可构建的Nacos Docker Image,旨在利用StatefulSets在Kubernetes上部署Nacos
中欧财富是中欧基金控股的销售子公司，旗下 APP 实现业内基金品种全覆盖，提供基金交易、大数据选基、智慧定投、理财师咨询等投资工具及服务。中欧财富致力为投资者及合作伙伴提供一站式互联网财富管理解决方案，自 2015 年成立以来业务持续保持稳健的增长。
前篇： 《数据库中间件cobar调研笔记》 13年底负责数据库中间件设计时的调研笔记，拿出来和大家分享，轻拍。 一，TDDL是什么 TDDL是Taobao Distribute Data Layer的简称 淘宝一个基于客户端的数据库中间件产品 基于JDBC规范，没有server，以client-jar的形式存在 画外音：数据库中间件有基于服务端的，也有基于客户端的，TDDL属于后者；而cobar是一个中间层服务，使用mysql协议，属于前者。 二，TDDL不支持什么SQL 不支持各类join 不支持多表查询
郭云龙，腾讯云高级工程师，目前就职于 CSIG 云产品三部-AI 应用产品中心，现负责中心后台业务框架开发。 导语 为了满足 AI 能力在公有云 SaaS 场景下，服务和模型需要快速迭代交付的需求，保障服务在不稳定高并发时的高成功率，以及进一步提升资源利用率，AI 应用产品中心进行了一系列的调研与实践，本篇将重点介绍团队在容器化方面的实践经验。 背景和问题 公有云 AI SaaS 产品（如人脸融合[1])的一般服务流程为：C 端或 B 端客户通过采集设备采集图像、音视频等，经由云 API 等接入方式传入
通过 TiDB 连接全球极限场景和创新场景，是 PingCAP 长期坚持的国际化战略。目前，在全球已有超过 3000 家企业选择 TiDB。无论在游戏、金融、物流、互联网还是智能制造等行业，基于规模化 OLTP 扩容、实时 HTAP 分析等应用场景，PingCAP 服务用户的脚步已经从中国延伸到全球，覆盖日本、亚太、北美和欧洲等各个区域。
在美团，基于 MySQL 构建的传统关系型数据库服务已经难于支撑公司业务的爆发式增长，促使我们去探索更合理的数据存储方案和实践新的运维方式。随着近一两年来分布式数据库大放异彩，美团 DBA 团队联合架构存储团队，于 2018 年初启动了分布式数据库项目。
在立项之初，我们进行了大量解决方案的对比，深入了解了业界的 scale-out（横向扩展）、scale-up（纵向扩展）等解决方案。但考虑到技术架构的前瞻性、发展潜力、社区活跃度以及服务本身与 MySQL 的兼容性，我们最终敲定了基于 TiDB 数据库进行二次开发的整体方案，并与 PingCAP 官方和开源社区进行深入合作的开发模式。
其实收到jd的面试邀请的时候，我真心有点小激动。因为在地理位置上，jd应该是最合适我也是最想去的。但是我在看到方向的时候其实心里有很多的问题，也做好了被拒的准备。
今天我就给大家讲一下我们这边做的数据库运维的自动化平台，他是怎么样子的。首先我会给大家简单介绍一下我们做平台的背景，以及平台的一些技术架构，以及针对我们DBA和开发的需求的全套解决方案。 首先是背景，我们为什么要做RDS，在做RDS之前其实我们也有一套自己的自动化系统，可是我们有了这套自动化系统我们发现有了之后我们DBA还是很忙，每天忙于工单处理，大表DDL，集群搭建，扩容，数据迁移等等。这些东西不能说没有价值，但是对于DBA来说，每一次的重复操作，都会让这个价值指数级下降，并且不能带来成长。所以我们对这些
互联网当下的数据库拆分过程基本遵循的顺序是：垂直拆分、读写分离、分库分表(水平拆分)。每个拆分过程都能解决业务上的一些问题，但同时也面临了一些挑战。
每年一次的双十一大促临近，因此上周末公司组织了一次技术交流闭门会，邀请了电商、物流、文娱内容、生活服务等知名一线互联网公司的技术大牛，一起探讨了一些大促稳定性保障相关的技术话题。
1、hashMap的2倍扩容机制为什么是2倍 2、在java8和java7中，hashMap的hash函数有什么不同 3、100个数字排序怎么做？100万个数字排序怎么做？ 4、设计模式你了解哪些？说一说 5、valitile关键字你知道吗？ 6、synchrolzie关键字和Lock的区别你知道吗？为什么Lock的性能好一些？ 7、线程池的几种实现你知道吗？ 8、ArrayList和LinkedList你知道吗？你知道它怎么动态扩容的吗？ 9、数据库的事务你知道吗？acid特性； 10、Mysql中事务的
疫情初期某地政府决定发放一批免费口罩面向该市市民，该市市民均可免费预约领取，预约时间为早上9点-12点，因此该场景为限时抢购类型场景，会面临非常大的定时超大流量超大并发问题，在该项目的落地过程中，涉及的架构演变，做了一些记录和思考。
Tech 导读 VOP作为京东企业业务对外的API对接采购供应链解决方案平台，一直致力于从企业采购数字化领域出发，发挥京东数智化供应链能力，通过产业链上下游耦合与链接，有效助力企业客户的成本优化与资产效能提升。本文将介绍VOP如何通过亿级消息仓库系统来保障上千家企业KA客户与京东的数据交互。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
