Mobikok（可可网络）成立于 2013 年，是一家快速成长的移动互联网营销公司，专注于移动 eCPM 营销。总部在中国深圳，聚焦于订阅 offer 的海外流量变现业务。Mobikok 提供的接口方式支持各类手机端流量（API、SDK、Smartlink），RTB（实时竞价系统）对接海外的 DSP（Demand-Side Platform，需求方平台）高效优化客户的广告效果。截止目前，系统已对 2 亿用户进行广告优化，已接入上百家广告主以及上百家渠道，Mobikok 致力于高效，便捷，专业的帮助广告主以及渠道互惠共赢。
在基于 Kubernetes 和 Docker 构建的私有 RDS 中，普遍采用了计算存储分离架构。该架构优势明显， 但对于数据库类 Latency Sensitive 应用而言，IO 性能问题无法回
摘要 在基于 Kubernetes 和 Docker 构建的私有 RDS 中，普遍采用了计算存储分离架构。该架构优势明显， 但对于数据库类 Latency Sensitive 应用而言，IO 性能问题
在基于 Kubernetes 和 Docker 构建的私有 RDS 中, 普遍采用了计算存储分离架构. 该架构优势明显, 但对于数据库类 Latency Sensitive 应用而言, IO 性能问题无法回避, 下面分享一下我们针对 MySQL 做的优化以及优化后的收益.
TiDB 是 PingCAP 公司自主设计、研发的开源分布式关系型数据库，是一款同时支持在线事务处理与在线分析处理 (Hybrid Transactional and Analytical Processing, HTAP）的融合型分布式数据库产品，具备水平扩容或者缩容、金融级高可用、实时 HTAP、云原生的分布式数据库、兼容 MySQL 5.7 协议和 MySQL 生态等重要特性。目标是为用户提供一站式 OLTP (Online Transactional Processing)、OLAP (Online Analytical Processing)、HTAP 解决方案。TiDB 适合高可用、强一致要求较高、数据规模较大等各种应用场景。
本文根据 PingCAP DevCon 2021 上来自微众银行资深数据库架构师黄蔚的分享整理而成，主要阐述 TiDB 在微众银行的应用实践，包括微众银行选择 TiDB 的背景和 TiDB 的部署架构，以及 TiDB 在贷款核心批量场景的应用，最后分享了基于 TiDB 优化方案的最佳实践和未来规划。
Windows版本安装及远程工具使用请参考随堂资料《Redis的Windows版安装及远程工具的使用.pdf》
本篇分享下个人在实时数仓方向的一些使用经验，主要包含了ClickHouse 和 StarRocks 这两款目前比较流行的实时数仓，文章仅代表个人拙见，有问题欢迎指出，Thanks♪(･ω･)ﾉ
默认情况下，MongoDB 更侧重高数据写入性能，而非事务安全，MongoDB 很适合业务系统中有大量 “低价值” 数据的场景。但是应当避免在高事务安全性的系统中使用 MongoDB，除非能从架构设计上保证事务安全。
爱奇艺，中国高品质视频娱乐服务提供者，2010 年 4 月 22 日正式上线，推崇品质、青春、时尚的品牌内涵如今已深入人心，网罗了全球广大的年轻用户群体，积极推动产品、技术、内容、营销等全方位创新。企业愿景为做一家以科技创新为驱动的伟大娱乐公司。我们在前沿技术领域也保持一定的关注度。
说白了，分库分表是两回事儿，大家可别搞混了，可能是光分库不分表，也可能是光分表不分库，都有可能。
为什么要分库分表（设计高并发系统的时候，数据库层面该如何设计）？用过哪些分库分表中间件？不同的分库分表中间件都有什么优点和缺点？你们具体是如何对数据库如何进行垂直拆分或水平拆分的？
参数优化 ===> 缓存、索引 ====> 读写分离====> 分库分表 （最终方案）
一、 除了日志数据，关系数据库中的数据也是数据分析的重要来源。在数据的采集方式上，用Spark实现类 Sqoop 的分布式抓取替代了早期定期用单机全量抓取 MySQL 数据表的方式，有效的提升了抓取速度，突破了单机瓶颈。
什么是NoSQL，什么是Redis，我们在了解这个系列之前，先来看一下Redis是从何而来？Why redis is needed? 1、单机MySQL年代 在最早的单机MySQL年代，存在着访问量小
说过很多次，不要拘泥于某一个技术的一点，技术是相通的。重要的是编程思想，思想是最重要的。当数据量大的时候，需要具有分的思想去细化粒度。当数据量太碎片的时候，需要具有合的思想来粗化粒度。
Zabbix 作为一个老牌的开源监控方案，长期被用于生产实践。但是原生方案一般会采用 MySQL 作为后端存储，无法应对更大规模的监控。TiDB 兼容 MySQL 协议，可以替换 MySQL 从而增强 Zabbix 的大规模监控能力，实现新的监控方案 TiZabbix。TiZabbix 通过优化监控实施逻辑，弥补因 TiDB 和 MySQL 差异造成的诸多问题，成功完成了 10000+ 监控对象和 16T 数据存储查询的实践。
在 web 初现峥嵘的那段时间 ，大部分网站都是使用的单机 MySQL 来存储用户数据，由于网站的用户与访问量不会太大，甚至大部分都使用额静态网页，与后端没有过多的交互，所以单机 MySQL 足矣
本来今天应该是MYSQL的文字，不过最近搞的MONGO比较多，测试MGR 的集群出了问题正在解决，所以今天和明天都是MONGODB 的文字
前篇： 《数据库中间件cobar调研笔记》 13年底负责数据库中间件设计时的调研笔记，拿出来和大家分享，轻拍。 一，TDDL是什么 TDDL是Taobao Distribute Data Layer的简称 淘宝一个基于客户端的数据库中间件产品 基于JDBC规范，没有server，以client-jar的形式存在 画外音：数据库中间件有基于服务端的，也有基于客户端的，TDDL属于后者；而cobar是一个中间层服务，使用mysql协议，属于前者。 二，TDDL不支持什么SQL 不支持各类join 不支持多表查询
在单机的 MYSQL 时代，数据都不会太大，而且网页也是静态网页，一般网站的访问量也小，因此单数据库就完全够用了
数据分区是一种物理数据库的设计技术，它的目的是为了在特定的SQL操作中减少数据读写的总量以缩减响应时间。
对于分库分表来说，具体有两种方式：垂直拆分和水平拆分。 垂直拆分主要是业务的细化和独立，和业务联系比较密切。所以本文只讨论更通用的水平拆分。
举例：一个用户表有很多的属性,关联了很多数据,如果放到同一个表里面的话查询是方便了,但是效率不行。
本文的内容可能和之前的金融企业将 TiDB 应用在业务上的实践不同，下面主要介绍我们如何把 TiDB 应用在金融行业的后台运维监控上。Zabbix 作为一个老牌的开源监控方案，长期被用于生产实践。但是原生方案一般会采用 MySQL 作为后端存储，无法应对更大规模的监控。TiDB 兼容 MySQL 协议，可以替换 MySQL 从而增强 Zabbix 的大规模监控能力，实现新的监控方案 TiZabbix。TiZabbix 通过优化监控实施逻辑，弥补因 TiDB 和 MySQL 差异造成的诸多问题，成功完成了 10000+ 监控对象和 16T 数据存储查询的实践。
ByteHouse云数仓版是字节跳动数据平台团队在复用开源 ClickHouse runtime 的基础上，基于云原生架构重构设计，并新增和优化了大量功能。在字节内部，ByteHouse被广泛用于各类实时分析领域，最大的一个集群规模大于2400节点，管理的总数据量超过700PB。本分享将介绍ByteHouse云原生版的整体架构，并重点介绍ByteHouse在查询上的优化（如优化器、MPP执行模式、调度优化等）和对MySQL生态的完善（基于社区MaterializedMySQL功能），最后结合实际应用案例总结优化的效果。
1、最早的数据分析可能就报表 目前很多数据分析后的结果，展示的形式很多，有各种图形以及报表，最早的应该是简单的几条数据，然后搞个web页面，展示一下数据。早期可能数据量也不大，随便搞个数据库，然后SQ
传统的将数据集中存储至单一数据节点的解决方案，在容量、性能、可用性和运维成本这三方面难于满足海量数据场景。在单库单表数据量超过一定容量水位的情况下，索引树层级增加，磁盘 IO 也很可能出现压力，会导致很多问题。
redis是Nosql数据库中使用较为广泛的非关系型内存数据库，redis内部是一个key-value存储系统。它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set –有序集合)和hash（哈希类型，类似于Java中的map）。Redis基于内存运行并支持持久化的NoSQL数据库，是当前最热门的NoSql数据库之一，也被人们称为数据结构服务器。
P腾讯云数据库国产数据库专题线上技术沙龙已圆满结束，本期带来李巍分享的《TBase主要应用场景与最佳实践》直播视频和文字回顾。 关注“腾讯云数据库”公众号，回复“0416李巍”，即可下载直播分享PPT。 1 前言 大家好，我是李巍，腾讯云TBase架构师。今天跟大家分享的主题是：TBase主要应用场景与最佳实践，整体内容分为四部分。 第一部分：关于TBase。前几期TBase直播分享中已有详细介绍，后面我会简单分享下。 第二部分：TBase的选型。今天将主要从应用的角度上来介绍TBase是如何选型的。
随着大数据的爆红，数据分析师这个职位也得到了越来越多的关注，千千万万懂些大数据技术的少年们都渴望成为高大上的“大数据科学家”，可是，你们真的准备好了吗？ 1、最早的数据分析可能就报表
最近几年，随着云计算相关技术的发展，各种不同类型的云层出不穷，服务越来越多不同类型的企业业务，传统企业也渐渐开始探索上云的道路。在云上，作为业务最核心的数据库，相比之前的传统方案会有哪些变化呢？
数据库优化有很多可以讲，按照支撑的数据量来分可以分为两个阶段：单机数据库和分库分表，前者一般可以支撑500W或者10G以内的数据，超过这个值则需要考虑分库分表。另外，一般大企业面试往往会从单机数据库问起，一步一步问到分库分表，中间会穿插很多数据库优化的问题。本文试图描述单机数据库优化的一些实践，数据库基于mysql，如有不合理的地方，欢迎指正。
传统的将数据集中存储至单一数据节点的解决方案，在容量、性能、可用性和运维成本这三方面难满足海量数据场景。在单库单表数据量超过一定容量水位的情况下，索引树层级增加，磁盘I/O也很可能出现压力，会导致很多问题。
计费组是为网易互娱产品提供统一登录和支付高效解决方案的公共支持部门，对内是互娱的各个游戏工作室，对外是国内外数百个渠道。由于业务场景的特殊性，我们为各个游戏产品部署了不同的应用服务，其中大产品环境独立，小产品集中部署。
分表 - 从表面意思上看呢，就是把一张表分成N多个小表，每一个小表都是完正的一张表。分表后数据都是存放在分表里，总表只是一个外壳，存取数据发生在一个一个的分表里面。分表后单表的并发能力提高了，磁盘I/O性能也提高了。并发能力为什么提高了呢，因为查寻一次所花的时间变短了，如果出现高并发的话，总表可以根据不同 的查询，将并发压力分到不同的小表里面。
ElasticSearch6.3.2下载地址（Linux、mac OS、Windows通用，下载zip包即可）：https://www.elastic.co/cn/downloads/past-releases/elasticsearch-6-3-2。ES历史版本下载页面：https://www.elastic.co/cn/downloads/past-releases#elasticsearch。
鱼皮最新原创项目教程，欢迎学习 大家好，我是鱼皮。 今天给大家分享一道场景设计题目：如何设计一个高并发系统。并给大家整理了高并发系统设计的 15 个锦囊，相信大家看完会有帮助的。 如何理解高并发系统 所谓设计高并发系统，就是设计一个系统，保证它整体可用的同时，能够处理很高的并发用户请求，能够承受很大的流量冲击。 我们要设计高并发的系统，那就需要处理好一些常见的系统瓶颈问题，如内存不足、磁盘空间不足，连接数不够，网络宽带不够等等，以应对突发的流量洪峰。 1. 分而治之，横向扩展 如果你只部署一个应用，只
1.程序自动完成，数据源方便管理。2.不需要维护，因为没用中间件。3.理论支持任何数据库 （sql标准）。
在Oracle中，使用分区表是一种很自然的事情，数据库容量基本都是500G起，大小在5T以上都是很常见的。
如果业务量剧增，数据库可能会出现性能瓶颈，这时候我们就需要考虑拆分数据库。从这几方面来看：
我们做数据库选型的时候首先要问：需求是谁提出的，也就是说谁选型？是负责采购的同学、 DBA 还是业务研发？
首先数据库是一个软件，最基础的功能就是数据存储和数据查询。对于数据的处理方式如果通泛来说是分为读和写，所以分布式方案的很多场景其实也是围绕着这两个维度来做的。
记得很久之前，去面试过字节跳动。被三面的面试官问了一道场景设计题目：如何设计一个高并发系统。当时我回答得比较粗糙，最近回想起来，所以整理了设计高并发系统的15个锦囊，相信大家看完会有帮助的。
上篇文章说了当数据量大，并且访问量大的时候，可以把业务和DB分开放在不同的服务器，这时候会出现session问题，可以通过负载均衡器来解决session问题，保证同一个会话每次都发在同一个服务器上，也可以通过单独的服务保存sesion。
DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
一般基于成本考虑，在业务平稳期，会预留30%～50%冗余机器应对运营活动或者推广可能带来的峰值流量，但当有突发事件时，流量可能瞬间提升几倍。莫过于明星公布恋情，大家都会到两人微博下互动，微博流量短时内迅速增长，微博信息流也短暂出现无法刷新消息，系统一时间不可用。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
