EasyNVR是基于RTSP/Onvif协议接入的安防视频云服务平台，它可以将前端设备进行快速便捷地接入、采集、视频转码、处理及分发，分发的视频流包括：RTSP、RTMP、HTTP-FLV、WS-FLV、HLS、WebRTC等。
一个库的表太多，导致大量数据、系统性能下降。通常将表按功能模块、关系密切程度分割，配置在不同的库中。
数据首先都写到数据库，之后更新redis（先写redis再写mysql，如果写入失败事务回滚会造成redis中存在脏数据）
导读：Elasticsearch是一个分布式的搜索和分析引擎，可以用于全文检索、结构化检索和分析，并能将这三者结合起来。Elasticsearch基于Lucene开发，现在是使用最广的开源搜索引擎之一。Elasticsearch可以应用于在/离线日志流水、用户标签画像、数据库二级缓存、安全风控行为数据、图数据库索引、监控数据、Wiki文档检索等应用场景。58同城有自己的主搜，而一些内部创新搜索业务和大规模的数据实时OLAP ( On-Line Analytical Processing，联机分析处理 ) 则是使用Elasticsearch。
转载自http://www.cnblogs.com/luyucheng/p/6340076.html
服务器性能优化是一项非常艰巨的任务，当然也是很难处理的问题，在写这篇文章的时候，特意请教下运维大佬，硬件工程师，数据库管理，单从自己的实际开发经验来看，看待这个问题的角度起码是不全面的。
Multi-statement transaction required more than ‘max_binlog_cache_size’ bytes of storage错误： 二进制日志缓冲区（Binlog Buffer）： 二进制日志缓冲区主要用来缓存由于各种数据变更操做所产生的Binary Log 信息。为了提高系统的性能，MySQL 并不是每次都是将二进制日志直接写入Log File，而是先将信息写入Binlog Buffer 中，当满足某些特定的条件（如sync_binlog参数设置）之后再一
MySQL查询执行流程 查询流程： 客户端发送一条查询给服务器； 服务器先检查查询缓存，如果命中了缓存，则立即返回存储在缓存中的结果；否则，进入下一阶段； 服务器进行SQL解析、预处理，再由优化器生成对应的执行计划； MySQL根据优化器生成的执行计划，调用存储引擎的API来执行查询； 将结果返回给客户端； 查询缓存 用于保存MySQL查询语句返回的完整结果，被命中时，MySQL会立即返回结果，省去解析、优化和执行等阶段； MySQL保存结果于缓存中，把select语句本身做hash计算，计算的结果作
由Master负责写操作，而Slave作为备库，不开放写权限，但允许读权限，主从之前保持数据同步。
Doublewrite Buffer是MySQL数据库中InnoDB存储引擎的一种机制，用于解决部分写失效的问题，提高数据完整性和可靠性。Doublewrite Buffer是内存+磁盘的结构，包括内存结构和磁盘结构两个部分。
MySQL 5.6版本适合在1GB内存VPS上的my.cnf配置文件 [client] port = 3306 socket = /tmp/mysql.sock [mysqld] port = 3306 socket = /tmp/mysql.sock basedir = /usr/local/mysql datadir = /data/mysql pid-file = /data/mysql/mysql.pid user = mysql bind-add
Redo Log 是 MySQL InnoDB 存储引擎中的一种重要的日志工具。它主要用于记录数据库中所有的修改操作，包括但不限于插入、删除和更新等操作，以便在系统崩溃等异常情况下进行数据恢复。
文章目录 缓冲池 Buffer Pool 刷脏页的时机 MySQL定时刷 MySQL内存(buffer pool)不足的时候 MySQL正常关闭的时候 redo log满了的时候 刷脏导致的性能问题
数据库属于 IO 密集型的应用程序，其主要职责就是数据的管理及存储工作。而我们知道，从内存中读取一个数据库的时间是微秒级别，而从一块普通硬盘上读取一个IO是在毫秒级别，二者相差3个数量级。所以，要优化数据库，首先第一步需要优化的就是 IO，尽可能将磁盘IO转化为内存IO。本文先从 MySQL 数据库IO相关缓存参数的角度来介绍可以通过哪些参数进行IO优化：
innodb_io_capacity：脏页的刷新的数量，可以动态调整，默认是200，该参数的设置取决于硬盘的IOPS的大小，IOPS就是每秒的读写次数。
innodb 作为最主流使用的 mysql 存储引擎，尤其在新版本的 mysql 中 MyISAM 存储引擎被废除，更加提升了 innodb 如日中天的地位。 那么，作为 mysql 的使用者，如何优化 innodb 使之发挥更强大的性能，就成为了必修课。
MySQL参数优化这东西不好好研究还是比较难懂的，其实不光是MySQL，大部分程序的参数优化，是很复杂的。MySQL的参数优化也不例外，对于不同的需求，还有硬件的配置，优化不可能又最优选择，只能慢慢的进行优化，需要不断的调试，才能达到不同环境的最优选择。 首先介绍一下MySQL配置文件中不同模块 [client] MySQL客户端应用模块，只有MySQL附带的客户端应用程序保证可以读取此模块下的内容。 [mysqld] MySQL服务端应用模块 [client] port = 3306 socket
如果主从复制之间出现延时，就会影响主从数据的一致性。 此时发生容灾切换，且在新的主库写入了数据，那么从业务角度上，会产生意想不到的严重后果。 复制延时问题，在只读从库的场景下，若从库产生复制延时，也可能会对业务造成一定影响，比如在业务上表现为读写不一致——新增/修改数据查不到等现象。 由此可见，主从复制的延时问题在数据库运营中需要特别关注。一般来说，DBA在库上执行SHOW SLAVE STATUS，并且观察 Seconds_Behind_Master的值，就能够了解当前某个数据库和它的主库之间的数据复制延时。
数据库“断页”是个很有意思的话题，目前任何数据库应该都绕不过去。我们知道数据库的块大小一般是8k、16k、32k，而操作系统块大小是4k，那么在数据库刷内存中的数据页到磁盘上的时候，就有可能中途遭遇类似操作系统异常断电而导致数据页部分写的情况，进而造成数据块损坏，数据块损坏对于某些数据库是致命的，可能导致数据库无法启动。既然对于断页问题数据库都可能遇到，那么再来看看主流数据库是如何避免发生断页的。
在系统初期，整体的并发了相对较小，因此一般都是将所有的数据信息存储在单库中进行读/写操作。但是随着用户规模不断提升，单库逐渐力不从心，TPS/QPS越来越低。因此到了这个时候，dba会将数据库设置为读写分离状态（生产环境一般会采用一主一从或者一主多从），Master负责写操作，Slave作为备库，不开放写操作，但是允许读操作，主从之间保持数据同步即可。 读写分离之后，可以大大提升单库无法支撑的负载压力 需要注意的是：如果Master存在TPS存在较高的情况，Master之前最好将同一份数据落到缓存中，以避免高并发情况下，从Slave中获取不到指定数据的情况发生 [MySQL 主从同步延迟的原因及解决办法(https://blog.csdn.net/soar_away/article/details/72615012)
在 上篇关于 TiFlash 的文章 发布后，我们收到了很多伙伴们的反馈，大家有各种各样的疑问，包括 TiFlash 是不是 T + 1 列存数据库？为啥实时写入也很快？读压力大怎么办？节点挂了怎么办？业务怎么接入？……今天我们就来详细回复一下大家的问题，希望能对大家理解和实践 TiFlash 有所帮助。
我们通常将 Redis 作为缓存使用，提高读取响应性能，一旦 Redis 宕机，内存中的数据全部丢失，假如现在直接访问数据库大量流量打到 MySQL 可能会带来更加严重的问题。
主要配置参数转载自： http://www.linuxyw.com/a/shujuku/20130506/216.html
本文描述问题及解决方法适用于 腾讯云 Elasticsearch Service（ES）。
0：日志每秒刷新，但是在事务提交时不做任何处理，1，每次提交都刷新，这是最安全的也是默认的。2，每次事务提交都把日志缓存写到日志文件，再由innodb每秒做一次刷新。
对于web来说，是用户量和访问量支持项目技术的更迭和前进。随着服务用户提升。可能会出现一下的一些状况：
在高并发的业务场景下，数据库的性能瓶颈往往都是用户并发访问过大。所以，一般都使用redis做一个缓冲操作，让请求先访问到redis，而不是直接去访问MySQL等数据库。从而减少网络请求的延迟响应
http://www.searchdoc.cn/rdbms/mysql/dev.mysql.com/doc/refman/5.7/en/index.com.coder114.cn.html
即使是经验老道的人也会犯错，会引起很多麻烦。所以在盲目的运用这些推荐之前，请记住下面的内容：
以下List是我们常见的MySQL参数配置，这个参数对提高实例的性能大有裨益。 其中 建议设置值，仅供参考，需要根据自己的业务场景和硬件资源仔细推敲。 参数 设置说明 建议设置值 lower_case_table_names 大小写敏感：此参数不可以动态修改，必须重启数据库：0.表名存储为给定的大小和比较是区分大小写的1.表名存储在磁盘是小写的，但是比较的时候是不区分大小写 2.表名存储为给定的大小写但是比较的时候是小写的 0 max_connections 最大链接数据 2000 max_connect_
当前形势不佳，在这种情况下。小猫更是雪上加霜，他被裁了。投了个把月简历，终于约到一个面试。
对于Web来说，并发量和访问量增加一定程度上推动项目技术和架构的更迭和进步。可能会有以下的一些状况：
我们知道，mysql数据库，为了得到更高性能，一般会读写分离，主库用于写操作，比如用于执行insert，update操作，从库用于读，也就是最常见的select操作。像下面这个图这样。
前面文章讲述了 MySQL 系统中常见的几种日志，其实还有事务相关日志 redo log 和 undo log 没有介绍。相对于其他几种日志而言， redo log 和 undo log 是更加神秘，难以观测的。本篇文章将主要介绍这两类事务日志的作用及运维方法。
数据库优化一方面是找出系统的瓶颈,提高MySQL数据库的整体性能,而另一方面需要合理的结构设计和参数调整,以提高用户的相应速度,同时还要尽可能的节约系统资源,以便让系统提供更大的负荷.
Mysql性能优化 Mysql的性能参数可以分为以下几个大类，这里仅整理一些常用的参数配置
MySQL参数优化对于不同的网站，及其在线量，访问量，帖子数量，网络情况，以及机器硬件配置都有关系， 优化不可能一次性完成，需要不断的观察以及调试，才有可能得到最佳效果。 下面列出了对性能优化影响较大 的主要变量，主要分为连接请求的变量和缓冲区变量
MySQL发展至今，在高可用性方面不断前进，从最初的异步复制、半同步复制、群组复制，演进到现在的InnoDB Cluster和InnoDB Replica Set。在这一篇里将说明各种高可用架构以及其适用的场景。
我们知道，在MySQL中，redo log是一个文件组，一般是3个文件，循环写入，写满的时候会做redo log层面的checkpoint，然后覆盖之前的redo log；而binlog是有归档功能的，每个binlog写满之后，都会重新开启下一个binlog开始写入，这也是为什么可以使用binlog来进行数据恢复的一个原因，就是因为它的归档功能。
数据库优化一方面是找出系统的瓶颈，提高MySQL数据库的整体性能，而另一方面需要合理的结构设计和参数调整，以提高用户的相应速度，同时还要尽可能的节约系统资源，以便让系统提供更大的负荷。
互联网时代除了业务迭代速度快，还有就是数据增速也比较快。单应用、单实例、单数据库的时代早已不复返。现在，作为技术研发，如果参与的项目没有用到分库分表，都不好意说自己做过大项目。
本文为作者投稿，作者简介：诸葛子房，曾供职于京东，现就职于BAT，在大数据领域有多年实践经验
Linux,Docker,MySQLCommunity8.0.31,InnoDB。
物流人资数据预处理平台，负责接收一线几十万员工不同条线的工作量，每日数据量约2000w，系统负责加工转换并提供数据查询的同时，还需保证查询性能，以及修改单个业务量功能。本文通过HBase在物流人资数据预处理平台中实践，讲解HBase集群如何协同工作，并概述读取数据以及存储数据的原理，以及使用HBase注意事项。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
