提交事务的时候，redo日志必须是刷入磁盘文件里的。这样可以严格的保证提交事务之后，数据是绝对不会丢失的，因为有redo日志在磁盘文件里可以恢复你做的所有修改。如果要是选择0的话，可能你提交事务之后，mysql宕机，那么此时redo日志没有刷盘，导致内存里的redo日志丢失，你提交的事务更新的数据就丢失了；如果要是选择2的话，如果机器宕机，虽然之前提交事务的时候，redo日志进入os cache了，但是还没进入磁盘文件，此时机器宕机还是会导致os cache里的redo日志丢失；所以对于数据库这样严格的系统而言，一般建议redo日志刷盘策略设置为1，保证事务提交之后，数据绝对不能丢失。
有个水友提问： 沈老师，我们有一次MySQL崩溃，重启后发现有些已经提交的事务对数据的修改丢失了，不是说事务能保证ACID特性么，想问下什么情况下可能导致“事务已经提交，数据却丢失”呢？ 这个问题有点复杂，得先从redo log说起。 为什么要有redo log？ 事务提交后，必须将事务对数据页的修改刷(fsync)到磁盘上，才能保证事务的ACID特性。 这个刷盘，是一个随机写，随机写性能较低，如果每次事务提交都刷盘，会极大影响数据库的性能。 随机写性能差，有什么优化方法呢？ 架构设计中有两个常见的优化方法
针对问题（1），我们可以通过生产者的确认消息机制来解决，主要分为两种：第一是事务机制、第二是发送方确认机制
RDD通过persist方法或cache方法可以将前面的计算结果缓存，默认情况下 persist() 会把数据以序列化的形式缓存在 JVM 的堆空间中。 但是并不是这两个方法被调用时立即缓存，而是触发后面的action时，该RDD将会被缓存在计算节点的内存中，并供后面重用。
binglog的写入逻辑比较简单，事物执行过程中，先把日志写入到binglog cache,在事物提交的时候，再把binglog cache写到binlog文件中.
“这篇文章来聊一下Kafka的一些架构设计原理，这也是互联网公司面试时非常高频的技术考点。
之前我们一起了解了使用RocketMQ事务消息解决生产者发送消息时消息丢失的问题，但使用了事务消息后消息就一定不会丢失了吗，肯定是不能保证的。
问题描述： 最近遇到了一个syn丢包的情况，当系统磁盘、网络、cpu都无压力的时候，系统莫名其妙出现“sync to listen sockets drop”问题；无论带宽是10M还是8G，都会出现这种这种情况。现象为：输入系统命令：netstat -s | grep LISTEN，会出现 syns to listen sockets dropped; 但是并没有times the listen queue of a socket overflowed；连接队列包括两种，一个是半连接队列（syn queu
1）客户端任意选择一个node发送请求过去，这个node就是coordinating node（协调节点） 2）coordinating node，对该数据经过hash后，判断该数据属于哪个shard进程，找到有该shard的primary shard的node，然后对document进行路由，将请求转发给对应的node（有primary shard的结点） 3）具体接收的primary shard处理请求，然后将数据同步到replica node 4）coordinating node，如果发现primary node和所有replica node都搞定之后，就返回响应结果给客户端
本篇博客是Spark之【RDD编程】系列第六篇，为大家介绍的是RDD缓存与CheckPoint。
其实，binlog 的写入逻辑比较简单：事务执行过程中，先把日志写到 binlog cache，事务提交的时候，再把 binlog cache 写到 binlog 文件中。
在MySQL的 InnoDB日志管理机制中，有一个很重要的概念就是MTR。MTR是InnoDB存储擎中一个很重要的用来保证物理写的完整性和持久性的机制。
查询GET某条数据，写入某个document，该document会自动给你分配一个全局唯一id-doc id，同时也是根据doc id进行hash路由到对应的primary shard。也可手动指定doc id，比如用订单id、用户id。
当然不是了，如果监控点很多，那估计请求都快发爆炸了，请求发得多，不仅会加重服务器压力，数据丢失的概率也大，毕竟10条请求的成功率肯定比 一条请求 的成功率小嘛
innodb_flush_log_at_trx_commit 和 sync_binlog 是 MySQL 的两个配置参数。它们的配置对于 MySQL 的性能有很大影响（一般为了保证数据的不丢失，会设置为双1，该情形下数据库的性能也是最低的）。
上面的 Cache Aside 下，业务应用需要同时维护 Cache 和 DB 两个数据存储方，过于繁琐，于是就有了 Read/Write Through 模式。在这种模式下，业务应用只关注一个存储服务即可，业务方的读写 Cache 和 DB 的操作，都由存储服务代理。
elasticsearch中有两个比较重要的操作：refresh 和 flush，两个操作都涉及到数据操作和磁盘性能。
今天我们首先来总结下cache，一步步消化，消化完了cache，然后在总结redis，冰冻三尺非一日之寒，技术亦如此。 1理解cache 在Java中，不同的类都有自己单独的Cache机制，实现的方法也可能有所不同，常见的各类Cache机制有：OSCache、JSC(Java Caching System)、EHCache、JCache、ShiftOne、SwarmCache、JBossCache等等。 所谓缓存，就是将程序或系统经常要调用的对象存在内存中，一遍其使用时可以快速调用，
那么对于 MySQL 来说，只要 binlog 和 redolog 都能正确持久化到磁盘上，就可以保证数据不丢失了。
上篇文章提到过，在elasticsearch和磁盘之间还有一层cache也就是filesystem cache，大部分新增或者修改，删除的数据都在这层cache中，如果没有flush操作，那么就不能100%保证系统的数据不会丢失，比如突然断电或者机器宕机了，但实际情况是es中默认是30分钟才flush一次磁盘，这么长的时间内，如果发生不可控的故障，那么是不是必定会丢失数据呢？ 很显然es的设计者早就考虑了这个问题，在两次full commit操作（flush）之间，如果发生故障也不能丢失数据，那么es是如何
ES无非就是写/查数据,你如果不明白你发起写入/搜索请求后,ES做了什么,那你该劝退了.
今天看了篇文章，谈到SNS站点应用中的分库分表问题，这里我也谈谈我对SNS站点和应用数据存储的看法。
业务系统通过一个数据库连接发给MySQL，经过SQL接口、解析器、优化器、执行器，解析SQL语句，生成执行计划，接着由执行器负责执行该计划，调用InnoDB的接口去实际执行。
Spark非常重要的一个功能特性就是可以将RDD持久化在内存中。当对RDD执行持久化操作时，每个节点都会将自己操作的RDD的partition持久化到内存中，并且在之后对该RDD的反复使用中，直接使用内存缓存的partition。这样的话，对于针对一个RDD反复执行多个操作的场景，就只要对RDD读取一次即可，后面直接使用该RDD，而不需要反复计算多次该RDD。
这是一条很简单的更新SQL，从MySQL服务端接收到SQL到落盘，先后经过了MySQL Server层和InnoDB存储引擎。
Kafka的整体架构非常简单，是显式分布式架构，主要由producer、broker（kafka）和consumer组成。
每碰到一个 Action 就会产生一个 job, 每个 job 开始计算的时候总是从这个 job 最开始的 RDD 开始计算.
参考：http://www.cnblogs.com/sunyubo/archive/2010/05/05/2282170.html 几乎是照抄参考过来的，只不过后面自己调试一下代码。 这里主要介绍Valgrind的一些简单用法。更多详细的使用方法可以访问valgrind的主页：http://www.valgrind.org Valgrind是Julian Seward的作品。Valgrind是运行在Linux上一套基于仿真技术的程序调试和分析工具，它包含一个内核，一个软件合成的CPU，和一系列的小工具。 每
上面有说到，持久化的核心作用是为了故障恢复，既然redis可能故障，机器同样也会故障；就算是数据落到磁盘了，同样也可能因为磁盘故障，导致数据丢失；如上图！为了做好一个企业级的持久化方案，我们需要将持久化文件定期同步到云端或者远端的服务器，做好分布式存储，来防止因为机器故障带来的灾难性数据丢失。
http://docs.ceph.com/docs/master/rbd/rbd-config-ref/
可以通过 doc id 来查询，会根据 doc id 进行 hash，判断出来当时把 doc id 分配到了哪个 shard 上面去，从那个 shard 去查询。
RDD（Resilient Distributed Datasets）弹性的分布式数据集，又称Spark core，它代表一个只读的、不可变、可分区，里面的元素可分布式并行计算的数据集。
大概就是，进程写文件（使用缓冲 IO）过程中，写一半的时候，进程发生了崩溃，会丢失数据吗？
内存是计算机中重要的部件之一，它是与CPU进行沟通的桥梁。计算机中所有程序的运行都是在内存中进行的，因此内存的性能对计算机的影响非常大。内存(Memory)也被称为内存储器，其作用是用于暂时存放CPU中的运算数据，以及与硬盘等外部存储器交换的数据。只要计算机在运行中，CPU就会把需要运算的数据调到内存中进行运算，当运算完成后CPU再将结果传送出来，内存的运行也决定了计算机的稳定运行。 内存是由内存芯片、电路板、金手指等部分组成的。 内存一般采用半导体存储单元，包括随机存储器（RAM），只读存储器（ROM），
每台broker机器需要向所有的NameServer机器上注册自己的信息，防止单台NameServer挂掉导致Broker信息不全，保证NameServer的集群高可用。
既然在项目中使用了MQ，那么就不可避免的需要考虑消息丢失问题。在一些涉及到了金钱交易的场景下，消息丢失还是很致命的。那么在RocketMQ中存在哪几种消息丢失的场景呢？
es 写入数据的工作原理是什么啊？es 查询数据的工作原理是什么啊？底层的 lucene 介绍一下呗？倒排索引了解吗？
Redo日志是Oracle为确保已经提交的事务不会丢失而建立的一种机制。实际上，Redo日志的存在是为两种场景准备的，一种称之为实例恢复（Instance Recovery），一种称之为介质恢复（Media Recovery）。
Bbuffer 与 Cache 非常类似，因为它们都用于存储数据数据，被应用层读取字节数据。在很多场合它们有着相同的概念:
缓存，是利用局部性原理，将高频操作的数据存放到访问速度更快的介质中，后续读取相同数据时无需再访问慢速设备，从而可以显著降低操作延时，提高读写速度。局部性原理有两种：
原文链接：https://www.toutiao.com/i6803224493616529927/
–num-executors: 执行器个数,执行器数可以为节点个数，也可以为总核数(单节点核数*节点数),也可以是介于俩者之间(用于调优) –executor-cores: 执行器核数, 核数可以1，也可以为单节点的内核书，也可以是介于俩者之间(用于调优) –executor-memory: 执行器内存, 可以为最小内存数(单节点内存总数/单节点核数),也可以为最大内存数(单节点内存总数),也可以是介于俩者之间(用于调优)
1.RDD持久化原理 Spark非常重要的一个功能特性就是可以将RDD持久化在内存中。当对RDD执行持久化操作时，每个节点都会将自己操作的RDD的partition持久化到内存中，并且在之后对该RDD的反复使用中，直接使用内存缓存的partition。这样的话，对于针对一个RDD反复执行多个操作的场景，就只要对RDD计算一次即可，后面直接使用该RDD，而不需要反复计算多次该RDD。 2.巧妙使用RDD持久化，甚至在某些场景下，可以将spark应用程序的性能提升10倍。对于迭代式算法和快速交互式应用来说，RD
摘要： 本文会从理论和实战两方面描述http缓存。理论层面会介绍：缓存命中、缓存丢失、Revalidations（重新验证）、命中率（Hit Rate）、字节命中率（Byte Hit Rate）、如何区分命中和丢失、缓存拓扑、代理缓存分层、网状缓存、缓存处理过程。实战方面会介绍如何使用ETags验证缓存响应 、Cache-Control、优化Cache-Control用到的策略决策树以及如何使缓存失效并及时更新缓存的response，最后会列出实现http缓存的一些最佳实践。 开始吧。全文分为两个部分：理
但缓存真的那么好吗？架构师在构建高性能系统时，是不是必须增加缓存组件？缓存是不是多多益善？
今天的文章内容围绕一位网友的评论去展开，在看完小许文章【结合MySQL更新流程看 undolog、redolog、binlog】，他提出了这么一个问题，如下：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
