笔者一直觉得如果能知道从应用到框架再到操作系统的每一处代码，是一件Exciting的事情。 今天笔者就来从Linux源码的角度看下Server端的Socket在进行listen的时候到底做了哪些事情(基于Linux 3.10内核)，当然由于listen的backlog参数和半连接hash表以及全连接队列都相关，在这一篇博客里也一块讲了。
nfconntrack是netfilter中的重要模块，很多netfilter的功能都依赖于这个模块，如NAT等。而利用linux来构建的网络设备，可以说，其80%的功能都依赖于nfconntrack实现的会话管理。所以，会话管理的性能优劣会对网络设备的性能产生直接的影响。
memcache曾经是互联网分层架构中，使用最多的的KV缓存，如今却几乎被 redis 替代。 画外音：你还在用mc吗，还是redis？ 但memcache的内核设计，却值得每一个技术人学习和借鉴。 第一部分：知其然 关于memcache一些基础特性，使用过的小伙伴必须知道： （1）mc的核心职能是KV内存管理，value存储最大为1M，它不支持复杂数据结构（哈希、列表、集合、有序集合等）； （2）mc不支持持久化； （3）mc支持key过期； （4）mc持续运行很少会出现内存碎片，速度不会随着服务运行时
Linux内核调试技术——kprobe使用与实现（四）--kprobe内核注册过程
哈希的关键在于算法，呵呵，我这算法，不说了，见笑了。哈希在内核中用得非常之广，准确来说是链表，下面是一个相对简单的例子，希望能对大家理解hash有些帮助。
基于单线程(IO读取&数据读写是单线程)并支持多种数据结构的高性能内存数据库，支持高效数据读写操作。
LVS（Linux Virtual Server）即Linux虚拟服务器，是由章文嵩博士主导的开源负载均衡项目，目前LVS已经被集成到Linux内核模块中。该项目在Linux内核中实现了基于IP的数据请求负载均衡调度方案，终端互联网用户从外部访问公司的外部负载均衡服务器，终端用户的Web请求会发送给LVS调度器，调度器根据自己预设的算法决定将该请求发送给后端的某台Web服务器，比如，轮询算法可以将外部的请求平均分发给后端的所有服务器，终端用户访问LVS调度器虽然会被转发到后端真实的服务器，但如果真实服务器连接的是相同的存储，提供的服务也是相同的服务，最终用户不管是访问哪台真实服务器，得到的服务内容都是一样的，整个集群对用户而言都是透明的。最后根据LVS工作模式的不同，真实服务器会选择不同的方式将用户需要的数据发送到终端用户，LVS工作模式分为NAT模式、TUN模式、以及DR模式。
向量化引擎是OLAP数据库提升性能的有效技术。翻到PostgreSQL邮件列表有对向量化引擎的讨论。这里进行整理，以作分析。
数据库的SQL执行引擎负责处理和执行SQL请求。通常情况下，查询优化器会输出物理执行计划，一般由一系列的算子组成。当前，有两种算子流水线构建方式：1）需求驱动的流水线，由算子不断从下级算子拉取数据；2）数据驱动的流水线，由算子将每个数据推送给父算子。
这篇文章我打算从一个初学者的角度开始聊起，让大家了解下我眼里的socket是什么以及socket的原理和内核实现。
响应时间 并发数目 吞吐量。常用的吞吐量指标： ①TPS(每秒事务数)、
连接跟踪（也叫会话管理）是状态防火墙关键核心，也是很多网元设备必不可少的一部分。各厂商的实现原理基本雷同，只是根据各自的业务进行修改和优化。其中，还有不少厂商干脆是基于Linux内核实现的。下面，我们就来看看Linux内核中连接跟踪的几个要点。
国产数据库 - 内核特性 - CloudberryDB中的Runtime Filter
#全局错误日志定义类型，[ debug | info | notice | warn | error | crit ]
继上篇中科大软件学院硕士：实习秋招百多轮面试总结（上）收获了大家一致好评后，今天继续分享其它公司的面试经验和心得体会，希望可以帮助打算找工作或跳槽的朋友们~
GreenPlum有两种资源管理方法：资源队列和资源组。前期我们分析过资源队列内存相关我问题gp_vmem_protect_limit如何实现，本文介绍资源组关于内存的管理机制。
在Linux内核中，对于数据的管理，提供了2种类型的双向链表：一种是使用list_head结构体构成的环形双向链表；另一种是使用hlist_head和hlist_node2个结构体构成的具有表头的链型双向链表。
Linux 的 网桥 是一种虚拟设备（使用软件实现），可以将 Linux 内部多个网络接口连接起来，如下图所示：
我们的程序，在实际的网络部署时，一般比较复杂，会经过很多的网络设备，防火墙就是其中的一种。做开发的同事，一般对这块了解不多，也很可能被防火墙坑到。比如，应用一般需要访问数据库，为了避免频繁建立连接，一般是会提前建立一个连接池，每次来一个请求，就从连接池取一个连接来用，用完再归还到池子里。
我们已经或多或少知道，进程具有父子关系，不仅如此，还有兄弟关系。所以，进程描述符中必须有几个成员是记录这种关系的（P是创建的进程），具体可以参考下表。进程0和1是由内核创建的，后面我们会看到，进程1（init）是所有其它进程的祖先。
头文件的引用顺序对于程序的编译还是有一定影响的。如果要在文件a.h中声明一个在文件b.h中定义的变量，而不引用b.h。那么要在a.c文件中引用b.h文件，并且要先引用b.h，后引用a.h,否则汇报变量类型未声明错误，也就是常见的某行少个“；”符号。
一、HashCode简介 1.1、什么是Hash和Hash表 要想清楚hashCode就要先清楚知道什么是Hash 1）Hash hash是一个函数，该函数中的实现就是一种算法，就是通过一
注：老内核使用的是vfsmount来描述文件系统的一次挂载，现在内核都使用mount来描述，而vfsmount被内嵌到mount中，主要来描述文件系统的超级块和跟dentry。
通过前面学习到， Hash表的查询效率并不是 O(1)，它与 Hash函数、散列冲突等因素有关。如果 Hash函数确定得不好，可能导致散列冲突概率升高，查询效率下降。那么，该如何设计 Hash函数呢？
我们知道，Android基于linux，linux的第一个进程为init,它启动别的进程，在Android中，它启动了zygote：
给定一个整型数组，找到主元素，它在数组中的出现次数严格大于数组元素个数的1/k。 注意事项 数组中只有唯一的主元素
hash表是一种提供key-value访问的数据结构，通过指定的key值可以快速的访问到与它相关联的value值。hash表的一种典型用法就是字典，通过单词的首字母能够快速的找到单词。关于hash表的详细介绍请查阅数据结构的相关书籍，我这里只介绍glib库中hash表的基本用法。
导语 | 某些业务场景安全性要求很高，核心空间的数据不能随意修改，本文介绍腾讯云数据库PostgreSQL在大量drop业务场景下主从复制产生的性能问题，为大家完整剖析此次内核优化的原理和方案，最终让主从同步性能增强了3W多倍，并解决了社区一直悬而未决的问题。文章作者：唐阳，腾讯云数据库产品经理。 一、背景介绍 腾讯云数据库PostgreSQL作为支撑着腾讯内部大量的业务，这些业务不仅仅包含有正式线上运行的，也包括内部测试开发所使用的数据库。不同业务有着不同的述求，不同的使用方法会带来不同的数据库问题
Hash Join是利用hash函数来实现和加速数据库中JOIN操作的一类算法。主要优势是hash函数可以只通过一次运算就将键值映射到固定大小的hash值，仅用作等值join中。由于HASH JOIN的算法复杂度在平均情况下是O(n)，所以通常在大规模数据时做HASH JOIN是不错的选择。
package main import ( "fmt" ) // 主函数 func main() { fmt.Println("欢迎 来到 Go 语言社区，www.golangweb.com") testhash := create_hash_table() bret := insert_data_into_hash(testhash, 5) insert_data_into_hash(testhash,
redis的快主要体现在我们可以根据键值对能以微妙级别的速度找到数据，并快速完成操作。
我们以ababcbb为例说明, 这里hash表的值-1是初始值, 这样在方便做+1操作. index 作为开始索引值, 起初index为0， 这是理所当然的。当遍历到第二个a index就成了2了, 同时把ab重置为初始值. maxlen为一个刷新最高值的变量. 通过当前索引 - index + 1计算(当再次迭代到c的时候, 此时i为4, index为2, 则: 4-2+1=3 ). 每次比上一次maxlen大的时候更新此值. 保证max_len是最大的.
金三银四求职季，我特地为大家汇总了涵盖Java基础、线程、并发编程及JVM等核心领域的面试题集，希望能为正在准备或即将参与面试的小伙伴们提供些许帮助。
redis能具有很好的性能表现，一个重要的原因就是redis底层的数据结构的使用非常巧妙，今天，我们来聊一聊这些数据结构。
这几天对服务器兴趣贼为浓厚，在虚拟机上装了一个CentOS7玩了玩，遇到过很多问题，比如网卡驱动设置，不能ping 等等问题，然后掏钱买个ECS搭服务器玩玩，下面就开始谢谢我的心路历程吧。
下图是工业级散列表设计需要考虑的到问题：我们也围绕下面几项来讲解讲解一下 vpp hash表的处理逻辑。可以帮助我们在业务开发中选择合适的存储结构。
输入一个错误的英文单词，它就会提示“拼写错误”。这个单词拼写检查功能，虽然很小但却非常实用。是如何实现的呢？
hash表，有时候也被称为散列表。个人觉得，hash表是介于链表和二叉树之间的一种中间结构。链表使用十分方便，可是数据查找十分麻烦；二叉树中的数据严格有序，可是这是以多一个指针作为代价的结果。hash表既满足了数据的查找方便，同一时候不占用太多的内容空间，使用也十分方便。
带有过滤条件的hash join，首先针对左表构建hash表，然后对右表进行过滤，针对hash表中每个元组都对右表过滤后的结果进行探测，满足条件的作为join结果。当左表比较大时，构建hash表就需要较大代价。字节跳动的火山引擎Bytehouse中对hash join进行了优化。当右表过滤后结果集比较小时，将右表结果集作为过滤条件过滤左表，然后再构建hash表进行探测。如下图所示：
Hash表是Memcached里面最重要的结构之一，其采用链接法来处理Hash冲突，当Hash表中的项太多时，也就是Hash冲突比较高的时候，Hash表的遍历就脱变成单链表，此时为了提供Hash的性能，Hash表需要扩容，Memcached的扩容条件是当表中元素个数超过Hash容量的1.5倍时就进行扩容，扩容过程由独立的线程来完成，扩容过程中会采用2个Hash表，将老表中的数据通过Hash算法映射到新表中，每次移动的桶的数目可以配置，默认是每次移动老表中的1个桶。 //hash表中增加元素 int as
关于dnspod-sr dnspod-sr是中国最大域名解析服务商DNSPod官方于2012年6月1日开源的一款递归DNS服务器软件。最新的一次更新是在2014年5月16日，修复了已发现的bug、重写了部分功能模块和优化了部分解析性能。当然现在我们对dnspod-sr的修改尚未完成，之后还会有较大的改动，持续维护下去。 开源协议： BSD协议 Github地址： https://github.com/DNSPod/dnspod-sr dnspod-sr作为一个运行在Linux平台上的高性能递归DNS服务
本文主要介绍了Linux服务器集群系统–LVS（linux Virtual Server）,并简单描述下LVS集群的基本应用的体系结构以及LVS的三种IP负载均衡模型（VS/NAT、VS/DR和VS/TUN）的工作原理，以及它们的优缺点和LVS集群的IP负载均衡软件IPVS在内核中实现的各种连接调度算法。 参考文献 http://www.linuxvirtualserver.org/zh/index.html
memcache是互联网分层架构中，使用最多的的KV缓存。面试的过程中，memcache相关的问题几乎是必问的，关于memcache的面试提问，你能回答到哪一个层次呢？
有趣的算法（三）——Hash算法 （原创内容，转载请注明来源，谢谢） 一、Hash算法 近期看到用hash实现基于hash的简单的小型数据库（传统大型数据库用的都是B+tree），感觉挺感兴趣，故先研究hash算法，近期会用hash实现一个小的数据库。 Hash表（Hash Table）又称为散列表，通过把关键字key映射到数组的一个位置，来访问记录。这个映射函数称为hash函数，存放记录的数组称为hash表。 1、hash函数 作用是把任意长度的输入，通过hash算法得到固定函
Hash Join作为表连接的基础连接类型，各大关系型数据库（譬如Oracle、sqlserver、Postgres等）很早都支持了Hash Join这种连接类型。作为关系型数据库领域的领袖，Oracle数据库支持三种主流的连接类型：Nested Loop Join、Hash Join 和 Sort Merge Join。而作为最流行的关系型数据库的MySQL 却一直没有支持Hash Join，这点一直为人诟病。千呼万唤始出来，MySQL 8.0.18开始终于支持了Hash Join的连接算法。MySQL 8.0 的所有新特性中，Hash Join 曾经最让我期待的一个新特性。
数据系统的核心就是两件事，读和写，当数据量还少的时候，读写的性能不会有明显区别，随着数据量的增大，读写变成了一个trade-off，当你拥有优秀的写性能时，读数据性能就会下降，反之亦然。下面的四个系统会用尽可能小的语言去概括核心，从读和写两个方面去评价它们。
HashMap和Hashtable都是用hash算法来决定其元素的存储，因此HashMap和Hashtable的hash表包含如下属性：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
