有赞作为"新零售"的软件服务供应商，随着业务的不断发展，从第一批几十家商户到现在300万商家，涉及零售，美业，餐饮，自媒体等众多商家，业务规模以及访问量爆发式增长。一方面给后端数据库带来的影响是服务器数量和DB实例的数据量出现成倍增加。各种业务需求:快速交付实例，慢查询优化以及备份恢复管理等都给DBA的日常运维支持带来更高的要求。另一方面最开始以excel作为CMDB管理数据库实例的纯人肉运维又给高效的数据库运维带来阻碍。
在连接Oracel数据库时，每隔一段时间就会出现：ORA-12518：监听程序无法分发客户机连接，如图
程序员在工作中避免不了要操作 myql、redis、Linux 等。所以要安装很多工具，Navicat、Xshell、RedisDesktopManager等，今天给大家推荐一款工具，可以代替这些常规工具，统一管理监控这些资源信息。
尤其是大对象，80%以上的情况就是他。 那么大对象从哪里来的： 【1】数据库（包括 Mysql和 Mongodb等 NOSql数据库），结果集太大； 【2】第三方接口传输的大对象； 【3】消息队列，消息太大；
) ENGINE=MYISAM DEFAULT CHARSET=utf8 DELAY_KEY_WRITE = 1
但是看到网络输入和输入流量都不是很高，所以网站被别人攻击的概率不高，后来服务器负荷居高不下，只能保存dump文件进行分析，并一台一台服务器进行重新启动（还好大家周五下班了）
很多人在面试时，会被问到这样的问题：遇到过什么系统故障？怎么解决的？下面是笔者根据自己15年互联网研发经历总结的多个线上故障真实案例。相信可以帮你从容应对面试官的提问！
今天早上，收到一个报警，有个服务器的http往返时延飙升，同时曝出大量404，很是折腾了一番，特记录下思考和排查经过。 1.这是单纯的时延增大，还是有什么其他情况还未掌握？ 因为不知道是只有时延变大而已，还是同时有别的情况，第一反应是先看日志有没有异常。 看了一下，一片风平浪静，既是好消息也是坏消息。好消息是核心业务还在，不然一定会打日志，坏消息是日志提供不了任何信息。当然这也说明了我们的日志肯定有不到位的地方。 2.换个思路，日志风平浪静，是否只是服务器启动了什么任务，占用了大量cpu/IO等？GC呢？
如果我们所在公司的业务量比较大，在生产环境经常会出现JVM内存溢出的现象，那我们该如何快速响应，快速定位，快速恢复问题呢？
------------------------------------------- 系统模块
数据库演习 成绩构成：20+80， 20最多3次点名，80大作业 推荐实现：MySQL + Java 时间： 20：20 数据库 结构化的数据存储方式。 sscanf,fprintf 数据库类型：关系型，网状型。 文件型，内存型，服务型。 MySQL：开源关系型数据库，典型的C/S结构， 【客户端/服务器】 SQL基础 Struct Query Language 结构化查询语句 关系型数据库都支持SQL语句 SQL属于高级语言： select name,password f
QPS：Queries Per Second意思是“每秒查询率”，是一台服务器每秒能够相应的查询次数，是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。
这次新开了一个个人的mysql专栏，专门用于总结mysql的一些细节以及相关的案例总结，同时也包括了一些mysql的底层实现，在后续的篇章则是根据《mysql技术内幕innodb存储引擎》（第二版）来深入了解mysql中用的最多的存储引擎的内部细节。
我们知道MySQL在配置好环境变量后，直接mysql -p xx -u xx -h xx就登录了，不需要先启动服务端，再启动客户端这么繁琐，但凡涉及到服务端和客户端就会涉及到通信问题，客户端进程向服务器进程发送请求并得到回复的过程本质上是一个进程间通信的过程！那么MySQL的通信方式？？是什么？？？
2.流程管理 ：导入导出流程资源文件、查看流程图、根据流程实例反射出流程模型、激活挂起 、自由跳转
公司的业务量比较大，在生产环境如果经常出现OOM(Out Of Memory，JVM内存溢出)的现象，那该如何快速响应，快速定位，快速恢复问题呢？
其实早在去年我们就已经开始接触并研究clickhouse了，因为当时进行多表关联测试性能并不是特别优秀，所以并没有在线上大范围使用，当时研究的是分布式部署 （感觉分布式会比单机好一些）最后发现性能并不怎么样 而且分布式的sql也有很多限制，不支持单条删除和更新操作、不支持in和join（当时的版本，18.12.14之前），直到前几天看了携程一篇关于clickhouse的文章，将clickhouse的性能描述的神乎其神，再次勾起了我研究的欲望，附携程公众号文章 干货 | 每天十亿级数据更新，秒出查询结果，ClickHouse在携程酒店的应用
查询当前服务器执行超过60s的SQL，可以通过脚本周期性的来执行这条SQL，就能查出有问题的SQL。
在很久很久以前, 数据以文件的形式保存. 这时, 我们要向去读取数据, 可以一行一行的readline, 使用工具可以是grep, awk, java等.
数据库要将数据进行管理的前提就是将数据进行存储。但是存储数据使用文件就可以了，为什么还要弄个数据库呢？
究竟哪些东西可以影响到我们服务器的性能呢？ 无非就是：CPU、磁盘IO、内存等等一系列硬件 在研究性能时候,先带大家来了解三个术语 QPS: 每秒查询率QPS是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准,简言之就是数据库每秒能查多少数据 TPS: 服务器每秒处理的事务数。TPS包括一条消息入和一条消息出，加上一次用户数据库访问。（业务TPS = CAPS × 每个呼叫平均TPS） 并发量: 同一时间处理请求的数量，注意不要和同时连接数搞混,连接数要比并发量多的多的多 如果存
在数据通信中，一个物理网络节点可以是数据电路端接设备（DCE），如调制解调器、集线器、桥接器或交换机；也可以是一个数据终端设备（DTE），如数字手机，打印机或主机（例如路由器、工作站或服务器）。MySQL集群由 4 类节点组成：SQL节点、数据节点、管理节点以及客户机节点。下面我们一起来看看MySQL集群4类节点的概念。
我发在安全脉搏的一篇文章，废话有点多见谅：http://www.secpulse.com/archives/5357.html
（以下内容是我从网上查找整理得到的…红色标注为面试提及的，但不一定是我整理的内容）
数据库：database 存储数据的仓库。高效存储和处理数据的介质（介质主要是两种：磁盘和内存）
数据库是与应用程序实现信息交互的数据存储、管理软件，并且存储数据的也都可以称为数据库。在以前没有使用数据库的时候，只能够自己写数据的存储方案。
业务中断如何定义？对于现在的应用来说，都是高可用的，那么意味着挂了一个其实没什么关系，就像人员的主备，好像暂时还没出现人员的双活情况，双活可能导致的问题就是心跳不同步，信息不到位，从而导致脑裂。
Spark是一个通用的大规模数据快速处理引擎。可以简单理解为Spark就是一个大数据分布式处理框架。基于内存计算的Spark的计算速度要比Hadoop的MapReduce快上100倍以上，基于磁盘的计算速度也快于10倍以上。Spark运行在Hadoop第二代的yarn集群管理之上，可以轻松读取Hadoop的任何数据。能够读取HBase、HDFS等Hadoop的数据源。
连接者：不同语言的代码程序和mysql的交互（SQL交互） 1、连接池 管理、缓冲用户的连接，线程处理等需要缓存的需求 2、管理服务和工具组件 系统管理和控制工具，例如备份恢复、Mysql复制、集群等 3、sql接口 接受用户的SQL命令，并且返回用户需要查询的结果 4、查询解析器 SQL命令传递到解析器的时候会被解析器验证和解析(权限、语法结构) 5、查询优化器 SQL语句在查询之前会使用查询优化器对查询进行优化 select id,name from user where age = 40; a、这个select 查询先根据where 语句进行选取，而不是先将表全部查询出来以后再进行age过滤 b、这个select查询先根据id和name进行属性投影，而不是将属性全部取出以后再进行过滤 c、将这两个查询条件联接起来生成最终查询结果 6、缓存 如果查询缓存有命中的查询结果，查询语句就可以直接去查询缓存中取数据 7、插入式存储引擎 存储引擎说白了就是如何管理操作数据（存储数据、如何更新、查询数据等）的一种方法。因为在关系数据库 中数据的存储是以表的形式存储的，所以存储引擎也可以称为表类型（即存储和操作此表的类型）
高性能网站架构方案（一）——MySQL提升 原创内容，转载请注明来源，谢谢） 一、Mysql响应速度提升——HandlerSocket 1、概述 HandlerSocket作为Mysql的插件运行，在Mysql体系架构中绕开了SQL解析，让程序直接和InnoDB引擎进行交互。并且其可以通过合并写入、简单协议等手段，提高数据访问性能，在CPU密集型应用中优势明显。 HandlerSocket可以理解为MySql的NoSql插件，其所谓的CPU密集型优势指的是，对于处理复
熟悉MySQL的都知道MySQL服务端实现主要分为Server层和存储引擎层。Server层负责接收和管理客户端连接、管理缓存、解析SQL、优化SQL、调用存储引擎执行SQL；存储引擎层主要负责存储、查询数据。
连接管理：连接管理的职责是负责认证、管理连接、获取权限信息，创建TCP连接池，为了解决TCP，无限创建与TCP频繁创建销毁带来的资源耗尽、性能下降问题，服务器里有专门的TCP连接池限制接数，采用长连接模式复用TCP连接，来解决上述问题。 SQL接口：负责处理接收到的SQL语句，MySQL内部首先提供了一个组件，就是SQL接口（SQL Interface），他是一套执行SQL语句的接口，专门用于执行我们发送给MySQL的那些增删改查的SQL语句，因此MySQL的工作线程接收到SQL语句之后，就会转交给
“ 在软件系统中,IO速度比内存速度慢,IO读写在很多情况下会是系统的瓶颈，我们也知道Redis的查询速度比直接查数据库要快，因为Redis将数据存在内存中，而Mysql的查询是执行IO操作。那么他们之间到底有多大的差距呢？”
为什么用数据库？ 数据库比记事本强在哪？ 答案很明显，你的文件很多时候都只能被一个人打开，不能被重复打开。当有几百万数据的时候，你如何去查询操作数据，速度上要快，看起来要清晰直接 数据库比我之前学的XML好在哪？ XML表写索引的时候，很容易被中间断电就打断了，两个表对不上号了咋办？ 安全和备份处理上数据库都有自己的考虑。
第七章 MySQL的高级特性 分区操作时，可以只针对某个区进行操作，而且在底层文件系统中的表现，分区是多个表文件，可以高效地利用多个硬件设备。 如果分区字段中有主键或者唯一索引的列，那么所有的主键和唯一索引列都必须包含进来。 当操作分区表的时候，优化器会判断能否过滤部分分区。 Mysql的分区支持范围，键值，哈希和列表分区。 当数据量超大的时候，B-Tree索引就无法起作用了，除非是索引覆盖查询，否则在回表查数据的时候，会产生大量的随机IO，导致超长的响应时间，而且维护索引的代价非常高。 分离热点能有效利用
SQL注入，就是通过把SQL命令插入到Web表单提交或输入域名或页面请求的查询字符串，最终达到欺骗服务器执行恶意的SQL命令。
编写过程就是我们平常写sql语句的过程，也可以理解为编写顺序，以下就是我们编写顺序：
N个机台将业务数据发送至服务器，服务器程序将数据入库至MySQL数据库。服务器中的javaweb程序将数据展示到网页上供用户查看。
某天突然发现服务探测接口疯狂告警、同时数据库CPU消耗也告警，最后系统都无法访问；
搜索型NoSql（代表----ElasticSearch）：支持快速的全文搜索，同时可以各种方式的分词查询等。但是不能随意扩展结构。
Mysql的链接方式和微信一样，也是吧不同的客户端发来的消息，经过处理之后，再返回给客户端。
MySQL基础使用 连接mysql服务器 MySQL与文件的关系 服务器管理 服务器、数据库和表关系
1.通过工具DTS的设计器进行导入或导出 DTS的设计器功能强大，支持多任务，也是可视化界面，容易操作，但知道的人一般不多，如果只是进行SQL Server数据库中部分表的移动，用这种方法最好，当然，也可以进行全部表的移动。在SQL Server Enterprise Manager中，展开服务器左边的+，选择数据库，右击，选择All tasks/Import Data...(或All tasks/Export Data...)，进入向导模式，按提示一步一步走就行了，里面分得很细，可以灵活的在不同数据源之间复制数据，很方便的。而且可以另存成DTS包，如果以后还有相同的复制任务，直接运行DTS包就行，省时省力。也可以直接打开DTS设计器，方法是展开服务器名称下面的Data Transformation Services，选Local Packages，在右边的窗口中右击，选New Package，就打开了DTS设计器。值得注意的是：如果源数据库要拷贝的表有外键，注意移动的顺序，有时要分批移动，否则外键主键，索引可能丢失，移动的时候选项旁边的提示说的很明白，或者一次性的复制到目标数据库中，再重新建立外键，主键，索引。 其实建立数据库时，建立外键，主键，索引的文件应该和建表文件分开，而且用的数据文件也分开，并分别放在不同的驱动器上，有利于数据库的优化。 2. 利用Bcp工具 这种工具虽然在SQL Server7的版本中不推荐使用，但许多数据库管理员仍很喜欢用它，尤其是用过SQL Server早期版本的人。Bcp有局限性，首先它的界面不是图形化的，其次它只是在SQL Server的表（视图）与文本文件之间进行复制，但它的优点是性能好，开销小，占用内存少，速度快。有兴趣的朋友可以查参考手册。 3. 利用备份和恢复 先对源数据库进行完全备份，备份到一个设备（device）上，然后把备份文件复制到目的服务器上（恢复的速度快），进行数据库的恢复操作，在恢复的数据库名中填上源数据库的名字（名字必须相同），选择强制型恢复（可以覆盖以前数据库的选项），在选择从设备中进行恢复，浏览时选中备份的文件就行了。这种方法可以完全恢复数据库，包括外键，主键，索引。 4. 直接拷贝数据文件 把数据库的数据文件（*.mdf）和日志文件（*.ldf）都拷贝到目的服务器，在SQL Server Query Analyzer中用语句进行恢复： EXEC sp_attach_db @dbname = ’test’, @filename1 = ’d:mssql7data est_data.mdf’, @filename2 = ’d:mssql7data est_log.ldf’ 这样就把test数据库附加到SQL Server中，可以照常使用。如果不想用原来的日志文件，可以用如下的命令： EXEC sp_detach_db @dbname = ’test’ EXEC sp_attach_single_file_db @dbname = ’test’, @physname = ’d:mssql7data est_data.mdf’ 这个语句的作用是仅仅加载数据文件，日志文件可以由SQL Server数据库自动添加，但是原来的日志文件中记录的数据就丢失了。 5. 在应用程序中定制 可以在应用程序（PB、VB）中执行自己编写的程序，也可以在Query Analyzer中执行，这种方法比较灵活，其实是利用一个平台连接到数据库，在平台中用的主要时SQL语句，这种方法对数据库的影响小，但是如果用到远程链接服务器，要求网络之间的传输性能好，一般有两种语句： 1＞select ... into new_tablename where ... 2＞insert (into) old_tablename select ... from ... where ... 区别是前者把数据插入一个新表（先建立表，再插入数据），后者是把数据插入已经存在的一个表中，我个人喜欢后者，因为在编程的结构上，应用的范围上，第二条语句强于前者。 6.
默认情况下，MongoDB 更侧重高数据写入性能，而非事务安全，MongoDB 很适合业务系统中有大量 “低价值” 数据的场景。但是应当避免在高事务安全性的系统中使用 MongoDB，除非能从架构设计上保证事务安全。
MySQL数据库自己用了也有两三年了，基本上只是掌握增删改查的sql语句，从没有思考过MySQL的内部到底是怎么根据sql查询数据的，包括索引的原理，只知道加了索引查的就快，不知道为什么加上索引效率就会提升，包括索引的限制和优化也知之甚少，所以决定开一专题来学习与记录MySQL。
MySQL中有个handlersocket，直接跳过数据库处理中的sql分析过程，直接调用存储引擎的接口，可以大幅度提升数据库的性能。我的测试中，使用handlersocket与sql，可以提升约3-5倍，在我的环境中单条“增删改查”可以达到2.5TPS左右，没有作者说得可以达到10万TPS。
服务器性能优化是一项非常艰巨的任务，当然也是很难处理的问题，在写这篇文章的时候，特意请教下运维大佬，硬件工程师，数据库管理，单从自己的实际开发经验来看，看待这个问题的角度起码是不全面的。
Team IDE Team IDE 工具 集成 MySQL、Oracle、金仓、达梦、神通等数据库、SSH、FTP、Redis、Zookeeper、Kafka、Elasticsearch 等管理工具。 使用 Apache-2.0 开源协议 连接 Redis，支持单机、集群，增删改查等操作，批量删除等 连接 Zookeeper，支持单机、集群，增删改查等操作，批量删除等 连接 Kafka，增删改查主题，推送主题消息，自定义消费主题消息等 配置 Linux 服务器 SSH 连
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
