在前一阵子，大哥问过我：”你知道MySQL的原子性是怎么保证的吗“。我懵逼了，MySQL怎么保证原子性？我不会啊。
尽管这些直接消息传递系统在设计它们的环境中运行良好，但是它们通常要求应用代码意识到消息丢失的可能性。容错程度有限：即使协议检测到并重传在网络中丢失的数据包，它们通常也只是假设生产者和消费者始终在线。
第一次涉及到软路由，一脸懵逼，可以说是一点基础都没有。 系统是有些毛病的win7系统，连外接显示器很卡，导致进度非常缓慢 当时刚刚装了一个Ubuntu双系统，对Linux不是非常熟悉，只知道些基础操作 第一次接触，上官网，官网全英文，看的我一脸懵 网上说可以自定义固件，自己编译，需要从GitHub上自己下载编译，光是这个编译就弄了四五天，因为是连外网，在没有情况下极慢，经常网络开小差 编译的时候需要下载国外的库，自己没有，就很耗时，有时还下载不下来 到了真正编译的时候，一编译编一天，前面都是成功的，到后面就找不到文件，失败，试了两三次后，就放弃了 需要，又开始网上找资料，学着搭 最终，搭好了，我上了Youtube，看了看教程，发现了一个更加好用的固件，koolshare，这是国内的比较出名的论坛，所以，顿时一片云开见月明，打算从安装koolshare入手。
“Redis 一般用在什么业务场景下？” -- “常见的是把它当作**缓存**使用，因为它把后端数据库中的数据存储在内存中，然后直接从内存中读取数据，响应速度会非常快。”
谈到大数据，我们很常会想到hdfs、mapreduce、hbase、spark、hive等高大上的大数据工具或底层组件，但我们不能忘了饮水思源，我们的大数据的数据从哪里来呢？ 有来自于mysql、oracle等关系型的结构化数据库，也有来自html、log等半结构数据，但问题来了！log类的文本如何采集、如何上传到hdfs或kafka中？ 大家可能会想到采用ftp等手工传输方式，但实际是根据不可行，ftp如何保证数据保存至hdfs、kafka中。好，今天，我来们讲一种工具，flume，帮助您自动采集前端数据，并自动帮您保存至您想保存至的数据目的地。
采坑备注: . Mac版本的幸好是 MacOS Mojave 10.14.6, 这个版本下, 安装了3款虚拟机, 均不成功. 别人的虚拟机一按就好, 就我的哪款都不行. 后来感觉可能是mac版本的事.
作者：reneeyang(杨韧) 腾讯光子技术服务工程师 导语|秦时明月世界手游已经上线一段时间了，运营稳定，整个上线过程达到了预期的效果。现复盘整理如下，如果能通过些许经验，让其他业务躺平且少走弯路，就是我本文的初衷。 为什么普遍现网环境限制coredump？ Coredump也叫核心转储，是应用程序在运行过程中由于各种异常或者bug导致退出，在满足一定条件下产生了一个core文件，这个core文件包含了程序运行时内存、寄存器状态、堆栈指针等信息。Core文件就像一个案发现场，提供了第一手的现
此文是我发的一篇的准备工作，因为ESXi 6.7刚发布的原因，很多同学等着升级，故而先写了出来。原文如下：
Kafka 依赖于文件系统（更底层地来说就是磁盘）来存储和缓存消息。在我们的印象中，对于各个存储介质的速度认知大体同下图所示的相同，层级越高代表速度越快。很显然，磁盘处于一个比较尴尬的位置，这不禁让我们怀疑 Kafka 采用这种持久化形式能否提供有竞争力的性能。在传统的消息中间件 RabbitMQ 中，就使用内存作为默认的存储介质，而磁盘作为备选介质，以此实现高吞吐和低延迟的特性。然而，事实上磁盘可以比我们预想的要快，也可能比我们预想的要慢，这完全取决于我们如何使用它。
生产者发送消息有负载均衡。生产者发送消息时，会自动轮询当前所有可发送的broker，一条消息发送成功，下次换另外一个broker发送，以达到消息平均落到所有的broker上。
QUANTAXIS量化金融策略框架,是一个面向中小型策略团队的量化分析解决方案，是一个从数据爬取、清洗存储、分析回测、可视化、交易复盘的本地一站式解决方案。 我们通过高度解耦的模块化以及标准化协议,可以快速的实现面向场景的定制化解决方案.QUANTAXIS是一个渐进式的开放式框架,你可以根据自己的需要,引入自己的数据,分析方案,可视化过程等,也可以通过RESTful接口,快速实现多人局域网/广域网内的协作。
在DML语句执行的过程中，主要会涉及到两个日志——redo log和bin log，而这两个日志是数据库 WAL (Write Ahead Logging，先写日志再写磁盘提高效率) 技术的两大主角。下面我来介绍一下这两个日志。
redis的AOF日志，是redis持久化的一种方式，它是一种write after log，即先执行命令后记录日志。这样的好处是日志不会记录执行失败的命令，同时记录日志不会阻塞当前命令执行。
办公室里立即充满了欢快的笑声，并且建议小H化悲痛为力量，学习好科学文化知识，避免以后别再把老鼠药理解为给鼠治病的药。
一条SQL语句，正常执行的时候特别快，但是有时变得特别慢，并且这样的场景很难复现，它不只随机，而且支持时间还很短。
线上某集群峰值TPS超过100万/秒左右(主要为写流量，读流量很低)，峰值tps几乎已经到达集群上限，同时平均时延也超过100ms，随着读写流量的进一步增加，时延抖动严重影响业务可用性。该集群采用mongodb天然的分片模式架构，数据均衡的分布于各个分片中，添加片键启用分片功能后实现完美的负载均衡。集群每个节点流量监控如下图所示:
2003 至今有很多优秀的消息队列诞生，其中就有被大家所熟知的就是 kafka、阿里自研的 rocketmq、以及后起之秀 pulsar。首先我们先来了解一下每一时期消息队列诞生的背景以及要解决的核心问题是什么？
作者是腾讯 TDMQ 初创团队的成员，在多年的业务中台的实践中，也频繁地使用到了 MQ，比如最常见的消息推送，异常信息的重试等等，对消息队列有深刻的了解。此篇文章，作者会站在时间维度讲解这二十年每款 MQ 诞生的背景以及解决了何种问题，让你能够更加清晰地了解到 MQ 的底层逻辑，帮助你学习今后可能会出现的新架构。欢迎阅读~
MySQL事务的实现涉及到redo和undo以及purge，redo是保证事务的原子性和持久性；undo是保证事务的一致性（一致性读和多版本并发控制）；purge清理undo表空间
PaxosStore是微信设计的一套分布式存储系统，并已对核心业务存储做了架构改造。内存云是微信PaxosStore存储体系的组成部分，本文将分享内存云的Paxos改造过程。
TXSQL是腾讯基础架构部数据库团队自研的MySQL分支，对腾讯云以及众多的内部业务提供了强大的数据库内核支撑。相比原生的MySQL，TXSQL在BINLOG复制和InnoDB存储引擎方面做了很多的优化，另外在Server层面也做了大量的工作。因此TXSQL拥有更好的性能，更好的稳定性和可维护性，以及更多的企业级特性。本文将对加密和审计这两个企业级特性进行详细的解读。
binglog的写入逻辑比较简单，事物执行过程中，先把日志写入到binglog cache,在事物提交的时候，再把binglog cache写到binlog文件中.
首先就是通过top命令查看，因为top命令最直接，且信息量够大，覆盖面够全，可以看到CPU的wa有点高
Redis 的持久化功能是区别于 Memcached 显著特性，数据持久化可以保证系统在发生宕机和重启后数据不会丢失，对于 redis 这种存储在内存中的数据库显得尤为重要。 在 Redis 4.0 以前数据持久化的方式主要有两种
虽然使用缓存思想似乎是一个很简单的事情，但是缓存机制却有一个核心的难点，就是——缓存清理。我们所说的缓存，都是保存一些数据，但是这些数据往往是会变化的，我们要针对这些变化，清理掉保存的“脏”数据，却可能不是那么容易。
这篇文章最开始投给我的时候，没有引起太多的重视，但是看了内容之后，真是被里面的细节吸引了。
原文链接：https://url.cn/57Tclci
非底层操作系统软件，非业务应用软件，不是直接给最终用户使用的，不能直接给客户带来价值的软件统称为中间件。
混合云架构融合了私有云和公有云，如何部署混合云已经成为IT圈里面最热门的话题之一。大部分数据中心团队都发现这种架构在技术上具有极大的挑战，这些挑战主要源于各种工具的不成熟和云产品的快速发展。 出于各种原因，IT团队需要将云资源同时分配在私有云和公有云上，从而产生了混合云。其中首要原因是云爆发。云爆发指应用运行在私有云或数据中心中，当私有云计算能力达到顶峰时按需加入公有云资源。除此之外还有经济原因，公有云能降低资源开销，同时也能降低维护成本。 解决峰值业务的访问 对企业来说，在公有云服务提供商(如亚马逊云服务
Go生态圈有好几个K/V数据库，我们经常用它来做我们的存储引擎，但是这些数据库引擎的性能如何呢？本文试图用性能而不是功能的数据考察这些数据库，我测试了几种场景： 并发写、并发读、单一写并发读、并发删除，得出了一些有趣的数据。
SQL 语句执行慢的原因是面试中经常会被问到的，对于服务端开发来说也是必须要关注的问题。
. 经典的服务器结构概述（中） 今天将和大家详细探讨分服模型，本文结构如下： 1模型描述 分服模型是游戏服务器中最典型，也是历久最悠久的模型。其特征是游戏服务器是一个个单独的世界。每个服务器的帐号是独
MultiDesk 是一个选项卡（TAB标签）方式的远程桌面连接 (Terminal Services Client)。
我们小伙伴应该都听说够消息中间件MQ，如：RabbitMQ，RocketMQ，Kafka等。引入中间件的好处可以起到抗高并发，削峰，业务解耦的作用。
微信重磅开源生产级paxos类库PhxPaxos，本文用科普的口吻向大家介绍PhxPaxos背后的实现原理以及一些有意思的细节。 开源地址：https://github.com/tencent-wechat/phxpaxos 前言 本文是一篇无需任何分布式以及paxos算法基础的人可以看懂的。 标题主要有三个关键字，生产级，paxos，实现，涵盖了本文的重点。什么叫生产级，直译就是能用于生产线的，而非实验产品。生产级别拥有超高的稳定性，不错的性能，能真正服务于用户的。paxos就不用说了，而实现，是本
国内应用比较多的开源流媒体服务器nginx-rtmp-module一直存在功能少、集群化难度大等问题。在LiveVideoStack线上分享中，PingOS 开源项目组开发工程师、UCloud RTC研发工程师朱建平详细介绍了基于nginx-rtmp-module的PingOS流媒体服务器在http-flv、http-ts、hls+、多进程、转推、回源以及集群化部署方面的技术实现细节。 文 / 朱建平 整理 / LiveVideoStack 直播回放 https://www2.tutormeetplus.c
企业数据上云后，面临数据定期备份的需要，传统的一体机受制于网络带宽的限制不再适用于云上数据的灾备。为此，云服务商开发了很多备份的工具，最简单、易用的工具也就是快照。用过vmware等虚机环境的同学，一定非常喜欢“快照”服务，通过设置云快照服务（支持自动、手工），可以在故障环境快速恢复。今天我们来看一下该服务。
存储引擎位于文件系统（各种数据，二进制形式）之上，各种管理工具（连接池、语义分析器、优化器、缓存区、SQL接口）之下。
引子 又是好久没写博客，记得有一次看Ng大神的访谈录，如果每周读三篇论文，那么经年以后，必然成为对某个领域非常熟悉的人。 可惜，在忙忙碌碌中，我竟然做不到这一点。但是，我目前的打算是尽心尽力的去做，哪怕一周只读一篇呢。胡适先生曾说过：“怕什么真理无穷，进一步有进一步的欢喜”。然而，这其中的区别在于，我还没有达到追求真理的高度，我就是想看看这个技术是咋子回事塞。 我想，对于很多像我这样非科班出身自己学ML的人来说，肯定有很多时候感觉自己对ML的理论推导之类的事情捉襟见肘，虽然很多时候想下狠心自己去恶补一下数学
本文主要是《Linux内核设计与实现》这本书的读书笔记，这本书我读了不下十遍，但依然感觉囫囵吞枣。我结合自己的理解，从这本书中整理出了一些运维应该了解的内核知识，希望对大家能够有所帮助。另外，推荐大家读下这边书，这本书主要讲内核设计、实现原理和方法，有利于理解内核的一些机理。
一周以前遇到一个的故障，我靠着过去的经验去分析问题，这次栽的挺深的，查错了方向，陷进了错误的方向苦思不得其解。本来是一个很简单的问题，明眼人一下就能看出来的，结果硬是分析了好几天。
通过日常生活的吃饭场景,形象地解释了消息队列的工作原理,包括消息主题、生产者、消费者、消息存储和消费等核心概念。这些概念抽象起来可能较难理解,但结合具象的例子就很容易理解了
之前讨论零拷贝的时候，我们知道，两台机器之间传输文件，最快的方式就是 send file，众所周知，在 Java 中，该技术对应的则是 FileChannel 类的 transferTo 和 transferFrom 方法。
本文主要介绍如何在斐讯N1盒子原系统刷入Armbian底包，并安装CasaOS轻NAS系统结合cpolar内网穿透工具轻松实现远程访问管理本地N1盒子中存储的文件。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
