Linux操作系统概述 Q1.什么是GNU？Linux与GNU有什么关系？ A： 1)GNU是GNU is Not Unix的递归缩写，是自由软件基金会(Free Software Foundation，FSF)的一个项目，该项目已经开发了许多高质量的编程工具，包括emacs编辑器、著名的GNU C和C++编译器(gcc和g++)； 2)Linux的开发使用了许多GNU工具，Linux系统上用于实现POSIX.2标准的工具几乎都是由GNU项目开发的；Linux内核、GNU工具以及其它一些自由软件组成
Linux 的同步机制不断发展完善。从最初的原子操作,到后来的信号量,从大内核锁到今天的自旋锁。这些同步机制的发展伴随Linux从单处理器到对称多处理器的过渡;
因为项目需要，接触和使用了Netty，Netty是高性能NIO通信框架，在业界拥有很好的口碑，但知其然不知其所以然。
同步阻塞IO在等待数据就绪上花去太多时间，而传统的同步非阻塞IO虽然不会阻塞进程，但是结合轮询来判断运维
I/O基础 1、java1.4之前，java对I/O支持不完善，存在以下问题： 没有数据缓冲区，I/O性能存在问题。 没有C或者C++的channel概念，只有输入输出流。 同步式阻塞式I/O通信，通常会导致通信线程被长时间阻塞。 支持的字符集有限，硬件可移植性不好。 2、Linux网络I/O模型 Linux内核将所有外部设备都看作一个文件来操作，对文件的操作都会调用内核提供的系统命令，返回一个fd(文件描述符)。 描述符就是一个数字，它指向内核中的一个结构体(文件路径，数据区等属性)。 fd演示:
我们知道Tornado 优秀的大并发处理能力得益于它的 web server 从底层开始就自己实现了一整套基于 epoll 的单线程异步架构，其他 web 框架比如Django或者Flask的自带 server 基本是基于 wsgi 写的简单服务器，并没有自己实现底层结构。而tornado.ioloop 就是 tornado web server 最底层的实现。
RCU是Linux 2.6内核系统新的锁机制 RCU(Read-Copy Update)。参考：http://www.ibm.com/developerworks/cn/linux/l-rcu/
Kafka 依赖于文件系统（更底层地来说就是磁盘）来存储和缓存消息。在我们的印象中，对于各个存储介质的速度认知大体同下图所示的相同，层级越高代表速度越快。很显然，磁盘处于一个比较尴尬的位置，这不禁让我们怀疑 Kafka 采用这种持久化形式能否提供有竞争力的性能。在传统的消息中间件 RabbitMQ 中，就使用内存作为默认的存储介质，而磁盘作为备选介质，以此实现高吞吐和低延迟的特性。然而，事实上磁盘可以比我们预想的要快，也可能比我们预想的要慢，这完全取决于我们如何使用它。
作者：huangguisu 原文出处：http://blog.csdn.net/hguisu/article/details/7453390
正如任何事物一样，软件也有其孕育、诞生、成长、成熟和衰亡的生存过程，一般称其为“软件生命周期”。软件生命周期一般分为6个阶段，即制定计划、需求分析、设计、编码、测试、运行和维护。软件开发的各个阶段之间的关系不可能是顺序且线性的，而应该是带有反馈的迭代过程。在软件工程中，这个复杂的过程用软件开发模型来描述和表示。
free命令用于显示系统内存使用情况，包括物理内存（Physical Memory）、虚拟内存（Swap Memory）、共享内存（Shared Memory）以及内核使用的缓冲（Buffers）与缓存（Cached）大小。在Linux系统监控的工具中，free命令是最经常使用的命令之一。
看了一些文章，发现有很多不同的理解，可能是因为大家入切的角度、环境不一样。所以，我们先说明基本的IO操作及环境。
I/O 是 Input/Ouput 的缩写，即输入输出端口，是信息处理系统（例如计算机）与外部世界（可能是人类或另一信息处理系统）之间的通信。输入是系统接收的信号或数据，输出则是从其发送的信号或数据。
select的本质是采用32个整数的32位，即32*32= 1024来标识，fd值为1-1024。当fd的值超过1024限制时，就必须修改FD_SETSIZE的大小。这个时候就可以标识32*max值范围的fd。
长选项： --word --long, --direcotry 长选项一般不合并使用
通过前面的文章我们已经了解了「数据包从HTTP层->TCP层->IP层->网卡->互联网->目的地服务器」以及「数据包怎么从网线到进程，在被应用程序使用」涉及的知识。 本文将继续介绍网络编程中的各种细节和IO多路复用的原理。
近日，Facebook发布了PyTorch 1.8新版本，加入了对AMD ROCm的支持，可以不用去配置Docker在原生环境下运行。
大家好，又见面了，我是你们的朋友全栈君。 大数据学习路线 java(Java se,javaweb) Linux(shell,高并发架构,lucene,solr) Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeeper,flume) 机器学习(R,mahout) Storm(Storm,kafka,redis) Spark(scala,spark,spark core,spark sql,spark streaming,spark
nginx简介 Nginx (“engine x”) 是一个高性能的HTTP和 反向代理 服务器，也是一个 IMAP/POP3/SMTP 服务器。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的，第一个公开版本0.1.0发布于2004年10月4日。其将源代码以类BSD许可证的形式发布，因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名。2011年6月1日，nginx 1.0.4发布。 Nginx是一款轻量级的Web 服务器/反向代理服务器及
2015年，在腾讯暑期实习期间，leader给我布置的一个任务是整理分析网络模型。虽然也有正常工作要做，但这个任务贯穿了整个实习期。后来实习结束的总结PPT上，这部分内容占到了一半篇幅，我从C10K问题引入，讲了很多：从fork-exec的多进程到进程池；从多线程再到IO多路复用；从accept的惊群到pthread_cond_wait的惊群。
1.缓冲 I/O，是指利用标准库缓存来加速文件的访问，而标准库内部再通过系统调度访问文件。
fd：file descriptor，文件描述符。linux内核将所有外部设备都看作一个文件来操作，对文件的读写会调用内核提供的命令，返回一个文件描述符。对一个socket的读写也会有相应的socket fd。描述符就是一个指向内核中结构体的数字。
什么是负载均衡呢？用户输入的流量通过负载均衡器按照某种负载均衡算法把流量均匀地分散到后端的多个服务器上，接收到请求的服务器可以独立的响应请求，达到负载分担的目的。从应用场景上来说，常见的负载均衡模型有全局负载均衡和集群内负载均衡，从产品形态角度来说，又可以分为硬件负载均衡和软件负载均衡。
在进行网络编程时，我们常常见到同步(Sync)/异步(Async)，阻塞(Block)/非阻塞(Unblock)四种调用方式：
Go语言的出现，让我见到了一门语言把网络编程这件事情给做“正确”了，当然，除了Go语言以外，还有很多语言也把这件事情做”正确”了。我一直坚持着这样的理念——要做”正确”的事情，而不是”高性能”的事情；很多时候，我们在做系统设计、技术选型的时候，都被“高性能”这三个字给绑架了，当然不是说性能不重要，你懂的。 目前很多高性能的基础网络服务器都是采用的C语言开发的，比如：Nginx、Redis、memcached等，它们都是基于”事件驱动 + 事件回调函数”的方式实现，也就是采用epoll等作为网络收发数据包的核
针对第一个问题，就是ETL技术-数据的抽取，清洗，加载。传统数据抽取、清洗、加载是无法做到的。例如一个1TB的数据，需要抽取一些客户的基本信息。上万的文件，多种数据库，每个数据库有很多节点等，这些问题如何解决。第二是时间问题，如果这个ETL过长需要半个月时间，那么就没有意义的。
在linux里设置NTP服务并不难，但是NTP本身确是一个很复杂的协议. 你都了解细节么？
PCL(Point cloud library) Ubuntu Linux 16 系统之所以会用Linux,很大的原因是应为SLAM在嵌入式平台上面的安置，所以尽量编写在inux下编写，同步arm编程环境的读者有兴趣可以去参考下搭建交叉编译环境 。 #OpenCV的安装 参考本菜的博客中，C++安装opencv的部分 Eigen C++线性代数计算库的安装 在slam的运行当中，会大量的使用到线性代数，为了省去手动写遍历去遍历代码，需要借助eigen去对opencv进行计算 关于Eigen的安
Git是一种分布式版本控制系统，由Linus Torvalds创造，主要用于帮助多人协作进行软件开发。它用于管理项目的历史记录，包括文件的更改历史和各种版本。
用Git进行多人协作开发时，必然会合并代码，解决冲突。然而合并代码也是需要点技巧的，如果对一些关键命令没有理解去使用的话，git的版本演进路线就会变得很乱，从而造成了日后维护的一些麻烦。
在分享这次面试经典题目汇总之前，预告一下，下期分享面试题目汇总，会把之前网友在群里分享的一份面试题目答案完善出来：
Redis的处理速度之快相比大家都是见惯不怪的了，主要的原因时什么呢，主要时以下的三个原因：
在之前我写过一篇关于linux的虚拟文件系统的博客，不过那篇主要是介绍打开的文件是如何在linux系统中被管理和存储的，那么这篇进阶版文件系统就要介绍一下，当文件没有被打开的时候，它在linux系统中是如何被管理和存储的。
程序员：假如我们执行A,B两个IO操作的时候，如果必须等待A完成后才能执行B那么这个就是
第二种情况，接收端只收到一个数据包，由于TCP是不会出现丢包的，所以这一个数据包中包含了发送端发送的两个数据包的信息，这种现象即为粘包。这种情况由于接收端不知道这两个数据包的界限，所以对于接收端来说很难处理。
2016.3.15，参加了CVTE的技术面，很不幸，我和我的两位小伙伴均跪在了一面。先将当日的面试内容汇总如下，供后来者参考。我们三人各自也都总结了失败的原因，大致如下：
（1）复制的内容不同。strcpy只能复制字符串，而memcpy可以复制任意内容，例如字符数组、整型、结构体、类等。
说到IO模型，都会牵扯到同步、异步、阻塞、非阻塞这几个词。从词的表面上看，很多人都觉得很容易理解。但是细细一想，却总会发现有点摸不着头脑。自己也曾被这几个词弄的迷迷糊糊的，每次看相关资料弄明白了，然后很快又给搞混了。
select、poll 和 epoll 都是 Linux API 提供的 IO 复用方式。
Git（读音为/gɪt/）是一个开源的分布式版本控制系统，可以有效、高速地处理从很小到非常大的项目版本管理
InnoDB 存储引擎是以数据页为单位来管理存储空间的。InnoDB 存储引擎在处理客户端的请求时，当需要访问某个数据页的数据时，就会把完整的数据页的数据全部加载到内存中，也就是说即使我们只需要访问一个数据页的一条记录，那也需要先把整个数据页的数据加载到内存中。将整个数据页加载到内存中后就可以进行读写访问了，在进行完读写访问之后并不着急把该数据页对应的内存空间释放掉，而是将其缓存起来，这样将来有请求再次访问该页面时，就可以省去磁盘 IO 的开销了。这个缓存就称之为Buffer Pool。
当一个程序开始执行后，在开始执行到执行完毕退出这段时间内，它在内存中的部分就叫称作一个进程。
无论你是刚接触Ubuntu，还是最近从微软Windows改用Ubuntu，都会在下文中找到适合你的一款软件。并非所有的应用程序对每个人都有用，欢迎分享你认为最出色的Linux应用程序。
本文涉及的硬件平台是X86，如果是其他平台的话，如ARM，是会使用到MMU，但是没有使用到分段机制； 最近在学习Linux内核，读到《深入理解Linux内核》的内存寻址一章。原本以为自己对分段分页机制已经理解了，结果发现其实是一知半解。于是，查找了很多资料，最终理顺了内存寻址的知识。现在把我的理解记录下来，希望对内核学习者有一定帮助，也希望大家指出错误之处。
我们之前在生产环境上遇到过很多起由操作系统的某些特征引起的性能抖动案例，其中 THP 作案次数较多，因此本文将和大家分享 THP 引起性能抖动的原因、典型的现象，分析方法等，在文章的最后给出使用THP 时的配置建议及关闭方法。
3. 在两台 DTLE 服务器上添加网络带宽限制以及增加延迟（经测试网络延迟配置只对发送有效，故需要在源端和目标端同时添加 TC 规则，每端延迟配置为预期延迟的一半）。
参与方式：https://github.com/apachecn/interpretable-ml-book-zh/blob/master/CONTRIBUTING.md
如何提升存储系统的性能是一个对存储工程师们来说是永恒的大命题，解决这个问题并没有一击即中的银弹，IO性能的优化都在细节里。今天我们来讲一讲性能和IO模型之间的关系。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
