线上某IOT核心业务集群之前采用MySQL作为主存储数据库，随着业务规模的不断增加，MySQL已无法满足海量数据存储需求，业务面临着容量痛点、成本痛点问题、数据不均衡问题等。
来源 | https://juejin.im/post/6863283398727860238
2021-01-13：很多列的数据，任意一列组合查询，mysql能做到，但是上亿的数据量做不到了，查的时候非常慢。我们需要一个引擎来支持它。这个引擎你有了解过吗？
爱奇艺，中国高品质视频娱乐服务提供者，2010 年 4 月 22 日正式上线，推崇品质、青春、时尚的品牌内涵如今已深入人心，网罗了全球广大的年轻用户群体，积极推动产品、技术、内容、营销等全方位创新。企业愿景为做一家以科技创新为驱动的伟大娱乐公司。我们在前沿技术领域也保持一定的关注度。
MYSQL 目前被攻击最多的就是他的OLAP的性能, 在OLTP中MYSQL 本身的性能是OK的,尤其高并发中符合MYSQL数据库的表设计和提取的方式,则数据的获取的速度是非常快的.
参数优化 ===> 缓存、索引 ====> 读写分离====> 分库分表 （最终方案）
零氪科技作为全球领先的人工智能与医疗大数据平台，拥有国内最大规模、体量的医疗大数据资源库和最具优势的技术支撑服务体系。多年来，零氪科技凭借在医疗大数据整合、处理和分析上的核心技术优势，依托先进的人工智能技术，致力于为社会及行业、政府部门、各级医疗机构、国内外医疗器械厂商、药企等提供高质量医疗大数据整体解决方案，以及人工智能辅助决策系统（辅助管理决策、助力临床科研、AI 智能诊疗）、患者全流程管理、医院舆情监控及品牌建设、药械研发、保险控费等一体化服务。
线上的MySQL实例在使用时间长了之后，会保存很多的业务数据，通常情况下，磁盘使用量也会随着业务的接入时间上升。
杨亚洲，前滴滴出行专家工程师，现任OPPO文档数据库MongoDB负责人，负责数万亿级数据量文档数据库MongoDB内核研发、性能优化及运维工作，一直专注于分布式缓存、高性能服务端、数据库、中间件等相关研发。后续持续分享《MongoDB内核源码设计、性能优化、最佳运维实践》。
来源：https://juejin.im/post/6863283398727860238
卡思数据是国内领先的视频全网数据开放平台，依托领先的数据挖掘与分析能力，为视频内容创作者在节目创作和用户运营方面提供数据支持，为广告主的广告投放提供数据参考和效果监测，为内容投资提供全面客观的价值评估。
当MySQL单表的数据量过大时，数据库的访问速度会下降，“数据量大”问题的常见解决方案是“水平切分”。
为什么采取分区，而不是分表，以及MySQL分区不仅能够提升数据库性能和管理效率，还能有效支持处理大规模数据的需求。
我们做数据库选型的时候首先要问：需求是谁提出的，也就是说谁选型？是负责采购的同学、 DBA 还是业务研发？
首先是运维成本，包括监控告警是否完善、是否有备份恢复机制、升级和迁移的成本是否高、社区是否稳定、是否方便调优、排障是否简易等；
转转二手交易网 —— 把家里不用的东西卖了变成钱，一个帮你赚钱的网站。由腾讯与 58 集团共同投资。为海量用户提供一个有担保、便捷的二手交易平台。转转是 2015 年 11 月 12 日正式推出的 APP，遵循“用户第一”的核心价值观，以“让资源重新配置，让人与人更信任”为企业愿景，提倡真实个人交易。
本文详细介绍了转转业财系统亿级数据存储优化的实践。面对系统数据量大、慢查询多等挑战，转转业财采取了 TiDB 方案优化数据量问题，同时引入 Elasticsearch（ES）解决慢查询难题。实践表明，通过底层数据存储切换和 ES 接入，系统成功突破了存储瓶颈，显著提升了查询效率和响应速度，为大规模数据处理提供了有效的优化路径。
技术真的是日新月异，Web 网站已经脱离之前的静态网站的体系，转而使用动态语言搭建的动态网站。这也衍生出一个问题：该如何存储数据了？数据库就应运而生，它的作用是提供存储数据的容器。方便 web 网站进行存储、查询、更新等。
vivo 云服务提供给用户备份手机上的联系人、短信、便签、书签等数据的能力，底层存储采用 MySQL 数据库进行数据存储。
在MySQL的世界里，InnoDB存储引擎就像心脏一样，为数据库的稳定运行提供了强大的动力。今天，我们将深入探讨InnoDB存储引擎的默认性、使用原因、运行原理、应用场景以及源码分析。如果你对数据库的内部机制感兴趣，或者正在寻找提高数据库性能的秘诀，那么这篇文章绝对不容错过！
点击上方蓝色“程序猿DD”，选择“设为星标” 回复“资源”获取独家整理的学习资料！ 这里有个【1024】红包等你来领取 ClickHouse 是 Yandex（俄罗斯最大的搜索引擎）开源的一个用于实时数据分析的基于列存储的数据库，其处理数据的速度比传统方法快 100-1000 倍。 ClickHouse 的性能超过了目前市场上可比的面向列的 DBMS，每秒钟每台服务器每秒处理数亿至十亿多行和数十千兆字节的数据。 # ClickHouse 是什么？ ClickHouse 是一个用于联机分析（OLAP）的列
数据流程简单，数据处理流程简单，数据包括日志、DB log等，经Sqoop批量或Kafka实时接入大数据平台HDFS里，在大数据平台进行ETL后，通过大数据调度系统Ooize，每天定时写入到关系型数据库MySQL，再以MySQL中数据为基础产出各种报表。
MySQL是目前互联网公司使用最广的数据库，InnoDB是MySQL使用最广的存储引擎，MyISAM和InnoDB的五项最佳实践，和大家聊聊，尽量多讲“为什么”。
在当今数据驱动的时代，MySQL作为流行的开源关系型数据库管理系统，经常需要处理海量的数据。本文将实战讲解MySQL在大数据量下的解决方案，包括索引优化、查询优化、分表分库、读写分离和存储引擎选择等方面，并通过具体的SQL代码示例来展示这些策略的实际应用。写本文的目的主要是，目前业务系统中的数据量越来越多，需要进行优化处理。
一.什么是HTAP HTAP数据库（Hybrid Transaction and Analytical Process，混合事务和分析处理）。2014年Gartner的一份报告中使用混合事务分析处理(HTAP)一词描述新型的应用程序框架，以打破OLTP和OLAP之间的隔阂，既可以应用于事务型数据库场景，亦可以应用于分析型数据库场景。实现实时业务决策。这种架构具有显而易见的优势：不但避免了繁琐且昂贵的ETL操作，而且可以更快地对最新数据进行分析。这种快速分析数据的能力将成为未来企业的核心竞争力之一。 如
昨天，群里有一个网友问我关于 MySQL 大数据量分页的问题。有人回答说用缓存 Redis，这个就比较麻烦了。而且别人问的是 MySQL 分页，而不是架构如何设计！
好久没上OSC，上面安排测下Mycat，于是申请服务器，花了两个周做出这个东西，供以借鉴。
通过TPC-H基准测试，可获得数据库单位时间内的性能处理能力，为评估数据库系统的现有性能服务水平提供有效依据。
在基于 Kubernetes 和 Docker 构建的私有 RDS 中，普遍采用了计算存储分离架构。该架构优势明显， 但对于数据库类 Latency Sensitive 应用而言，IO 性能问题无法回
文字的起始是因为公司的第三方的开发要开发一套, 和各个银行对接的系统,(商业机密就不提了),具体的情况是我们将数据推送给各个银行,银行接受,然后就能看到滚滚的 原型包方块了.
缘起：有个朋友问我分区表在58的应用，我回答不出来，在我印象中，百度、58都没有听说有分区表相关的应用，业内进行一些技术交流的时候也更多的是自己分库分表，而不是使用分区表。于是去网上查了一下，并询问了58到家的DBA专家，将自己收到的信息沉淀下来，share给大伙。
在基于 Kubernetes 和 Docker 构建的私有 RDS 中, 普遍采用了计算存储分离架构. 该架构优势明显, 但对于数据库类 Latency Sensitive 应用而言, IO 性能问题无法回避, 下面分享一下我们针对 MySQL 做的优化以及优化后的收益.
InnoDB，5项最佳实践，知其所以然？
前言 我们试着想一想, 在生产环境中什么最重要？如果我们服务器的硬件坏了可以维修或者换新, 软件问题可以修复或重新安装, 但是如果数据没了呢？这可能是最恐怖的事情了吧, 我感觉在生产环境中应该没有什么比数据更为重要. 那么我们该如何保证数据不丢失、或者丢失后可以快速恢复呢？只要看完这篇, 大家应该就能对MySQL中实现数据备份和恢复能有一定的了解。 为什么需要备份数据？ 其实在前言中也大概说明了为什么要备份数据, 但是我们还是应该具体了解一下为什么要备份数据 在生产环境中我们数据库可能会遭遇各种各样的不测
原因/缺点: 全表扫描,速度会很慢 且 有的数据库结果集返回不稳定(如某次返回1,2,3,另外的一次返回2,1,3). limit限制的是从结果集的 m 位置处取出 n 条输出,其余抛弃.
上文讲到，查询分离的方案存在三大不足，其中一个就是：当主数据量越来越大时，写操作会越来越缓慢。这个问题该如何解决呢？可以考虑分表分库。
目前数据库中间件有很多，基本这些中间件在下都有了解和使用，各种中间件优缺点及使用场景也都有些心的。所以总结一个关于中间件比较的系列，希望可以对大家有帮助。
今天在处理一个业务的时候，谈及利用infobright作为存储引擎，来支持业务对大量数据的查询操作，就特意看了一下这个infobright的特点，这里对它进行一个总结。
基本上所有的产品都离不开模糊搜索，无论是C端的社交产品、或者B端的一些SaaS服务。解决模糊搜索，我们最典型的解决方案是大家都可以想到的，使用SQL的like功能来实现，如下：
默认情况下，MongoDB 更侧重高数据写入性能，而非事务安全，MongoDB 很适合业务系统中有大量 “低价值” 数据的场景。但是应当避免在高事务安全性的系统中使用 MongoDB，除非能从架构设计上保证事务安全。
至少前天接触了有致于做物联网平台的某鞋业集团，发现对MongoDB文档数据库理解还是不够深刻。今天再次在两台Linux CentOS主机安装了MongoDB数据库，对其高级特性进行了验证。有以下经验。
mysql分布式数据库中间件对比 目前数据库中间件有很多，基本这些中间件在下都有了解和使用，各种中间件优缺点及使用场景也都有些心的。所以总结一个关于中间件比较的系列，希望可以对大家有帮助。 什么是中间件 传统的架构模式就是 应用连接数据库直接对数据进行访问，这种架构特点就是简单方便。 但是随着目前数据量不断的增大我们就遇到了问题: 单个表数据量太大 单个库数据量太大 单台数据量服务器压力很大 读写速度遇到瓶颈 当面临以上问题时，我们会想到的第一种解决方式就是 向上扩展(scale up) 简单来说就
* 对大表做数据拆分，先做垂直拆分（按业务拆分，将不同业务的字段拆分到不同的表、或不同的数据库、甚至不同的实例中），然后做水平拆分（对于无法继续拆分字段的表，如果数据量仍然大到影响性能，则可能还需要以不超过1000W行数据量的标准继续对大表执行拆分，即就是我们常说的数据分片）
场景：mysql统计一个数据库里所有表的数据量，最近在做统计想查找一个数据库里基本所有的表数据量，数据量少的通过select count再加起来也是可以的，不过表的数据有点多，不可能一个一个地查
本文介绍了如何在 TiDB 中使用 TiSpark 进行 ETL 流程的简化和优化，并分享了在易果集团的具体实践。通过使用 TiSpark，可以大大简化 TiDB 的数据流程，提高数据处理的效率，并确保数据的一致性和可靠性。同时，TiDB 的官方支持也在持续增强，未来将能够更好地满足企业的需求。
大家好呀！这里是爱学习的 Guide！今天给大家科普一个速度快到飞起的数据库——ClickHouse。
数据库使用的mysql，起初是单库单表，时间久了单表的数据量越来越大，一个表中的数据量达到3个多亿，mysql单表数据量达到800万左右就达到瓶颈了，不得不分表了,使用mycat中间件
上次聊到关于一个密集型写入的MySQL业务，通过读写分离完成了写入和统计的负载均衡，初步解决了写入的问题，但是统计的问题就开始日趋严重。
摘要 在基于 Kubernetes 和 Docker 构建的私有 RDS 中，普遍采用了计算存储分离架构。该架构优势明显， 但对于数据库类 Latency Sensitive 应用而言，IO 性能问题
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
