前面介绍了企业常用服务 NFS 、 FTP 、 DHCP 、DNS 、Samba 、lsyncd 、Postfix 、Squid 相关的知识点,今天我将详细的为大家介绍开源HTTP加速器 Varnish相关知识,希望大家能够从中收获多多!如有帮助,请点在看、转发朋友圈支持一波!!!
CDN (content distribute network(内容分发网络))或者content delivery network(内容交付网络)。CDN的任务是将内容从源站传递给用户。
常说的互联网由两层组成:
Varnish是一款高性能且开源的反向代理服务器和HTTP加速器,其采用全新的软件体系机构,和现在的硬件体系紧密配合。与传统的squid相比,Varnish具有高性能、速度快、管理更加方便等优点,目前很多大型的网站都开始尝试使用Varnish来代替squid,这便是Varnish迅速发展的最根本的原因。
当Varnish服务器收到客户端的请求时,首选检查缓存中是否有数据,如果有,则直接响应客户端;如果没有则向后端服务器请求相应的资源,缓存到Varnish服务器本地,再响应客户端;
根据规则和请求页面的类型选择数据是否需要进行缓存,可以根据请求头中Cache-Contorl判断是否缓存,以及cookis是否有标记,这些功能都可以通过编写配置文件的方式来实现。
Varnish分为management进程和child进程。
child进程生成的常见线程有:
除了一台varnish服务器,可以再开俩台web服务器,提供web页面就可以。
下载依赖环境
yum -y install autoconf automake libedit-devel libtool ncurses-devel pcre-devel pkgconfig python-docutils python-sphin
解压软件包,编译安装,复制配置文件
tar zxf varnish-4.0.3.tar.gz
[root@localhost ~]# cd varnish-4.0.3/
[root@localhost varnish-4.0.3]# ./configure && make && make install
[root@localhost varnish-4.0.3]# cp etc/example.vcl /usr/local/var/varnish
修改配置文件
vim /usr/local/var/varnish/example.vcl
vcl 4.0;
import directors;
import std;
backend default {
.host = "127.0.0.1";
.port = "80";
}
probe backend_healthcheck {
.url="/";
.interval = 5s;
.timeout = 1s;
.window = 5;
.threshold = 3;
}
backend web1 {
.host = "192.168.148.132";
.port = "80";
.probe = backend_healthcheck;
}
backend web2 {
.host = "192.168.148.133";
.port = "80";
.probe = backend_healthcheck;
}
acl purgers {
"127.0.0.1";
"localhost";
"192.168.148.0/24";
!"192.168.148.133";
}
sub vcl_init {
new web_cluster=directors.round_robin();
web_cluster.add_backend(web1);
web_cluster.add_backend(web2);
}
//把原来的全部删除添加如下
sub vcl_recv {
set req.backend_hint = web_cluster.backend();
if (req.method == "PURGE") {
if (!client.ip ~ purgers) {
return (synth(405, "Not Allowed."));
}
return (purge);
}
if (req.method != "GET" &&
req.method != "HEAD" &&
req.method != "PUT" &&
req.method != "POST" &&
req.method != "TRACE" &&
req.method != "OPTIONS" &&
req.method != "PATCH" &&
req.method != "DELETE") {
return (pipe);
}
if (req.method != "GET" && req.method != "HEAD") {
return (pass);
}
if (req.url ~ "\.(php|asp|aspx|jsp|do|ashx|shtml)($|\?)") {
return (pass);
}
if (req.http.Accept-Encoding) {
if (req.url ~ "\.(bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)$") {
unset req.http.Accept-Encoding;
} elseif (req.http.Accept-Encoding ~ "gzip") {
set req.http.Accept-Encoding = "gzip";
} elseif (req.http.Accept-Encoding ~ "deflate") {
set req.http.Accept-Encoding = "deflate";
} else {
unset req.http.Accept-Encoding;
}
}
if (req.url ~ "\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") {
unset req.http.cookie;
return (hash);
}
if (req.restarts == 0) {
if (req.http.X-Forwarded-For) {
set req.http.X-Forwarded-For = req.http.X-Forwarded-For + ", " + client.ip;
} else {
set req.http.X-Forwarded-For = client.ip;
}
}
return (hash);
}
sub vcl_hash {
hash_data(req.url);
if (req.http.host) {
hash_data(req.http.host);
} else {
hash_data(server.ip);
}
return (lookup);
}
sub vcl_hit {
if (req.method == "PURGE") {
return (synth(200, "Purged."));
}
return (deliver);
}
sub vcl_miss {
if (req.method == "PURGE") {
return (synth(404, "Purged."));
}
return (fetch);
}
sub vcl_deliver {
if (obj.hits > 0) {
set resp.http.CXK = "HIT-from-varnish";
set resp.http.X-Cache-Hits = obj.hits;
} else {
set resp.http.X-Cache = "MISS";
}
unset resp.http.X-Powered-By;
unset resp.http.Server;
unset resp.http.X-Drupal-Cache;
unset resp.http.Via;
unset resp.http.Link;
unset resp.http.X-Varnish;
set resp.http.xx_restarts_count = req.restarts;
set resp.http.xx_Age = resp.http.Age;
set resp.http.hit_count = obj.hits;
unset resp.http.Age;
return (deliver);
}
sub vcl_purge {
return (synth(200,"success"));
}
sub vcl_backend_error {
if (beresp.status == 500 ||
beresp.status == 501 ||
beresp.status == 502 ||
beresp.status == 503 ||
beresp.status == 504) {
return (retry);
}
}
sub vcl_fini {
return (ok);
}
启动服务
varnishd -f /usr/local/var/varnish/example.vcl -s malloc,200M -a 0.0.0.0:80
第一台web提供页面
[root@localhost ~]# yum -y install httpd
[root@localhost ~]# echo aaa > /var/www/html/index.html
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl start httpd
第二台
[root@localhost ~]# yum -y install httpd
[root@localhost ~]# echo bbb > /var/www/html/index.html
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl start httpd
验证:客户端访问
配置主要分为:后端配置、ACL配置、probes配置、directors配置、核心子程序配置几大块。其中后端配置是必要的,在多台服务器中还会用到directors配置,核心子程序配置。
backend后端配置 #给varnish添加反代服务器节点,最少配置一个;
ACL配置 #给varnish添加访问控制列表,可以指定这些列表访问或禁止访问;
probes配置 #给varnish添加探测后端服务器是否正常的规则,方便切换或禁止对应后端服务器;
directors配置 #给varnish添加负载均衡模式管理多个后端服务器;
核心子程序配置 #给varnish添加后端服务器切换、请求缓存、访问控制、错误处理等规则;
以下是完整的配置详解
vcl 4.0;
import directors;
import std;
# Default backend definition. Set this to point to your content server.
probe backend_healthcheck {
.url="/"; #访问后端服务器根路径
.interval = 5s; #请求时间间隔
.timeout = 1s; #请求超时时间
.window = 5; #指定轮询次数5次
.threshold = 3; #如果出现3次失败则表示后端服务器异常
}
backend web1 { #定义后端服务器
.host = "192.168.1.7"; #要转向主机(即后端主机)的 IP 或域名
.port = "80"; #指定后端服务器的端口号
.probe = backend_healthcheck; #健康检查调用backend_healthcheck定义的内容
}
backend web2 {
.host = "192.168.1.8";
.port = "80";
.probe = backend_healthcheck;
}
acl purgers { #定义访问控制列表
"127.0.0.1";
"localhost";
"192.168.1.0/24";
!"192.168.1.8";
}
sub vcl_init { #调用 vcl_init 初始化子程序创建后端主机组,即 directors
new web_cluster=directors.round_robin(); #使用 new 关键字创建 drector 对象,使用 round_robin(轮询) 算法
web_cluster.add_backend(web1); #添加后端服务器节点
web_cluster.add_backend(web2);
}
sub vcl_recv {
set req.backend_hint = web_cluster.backend(); #指定请求的后端节点web_cluster定义的后端节点
if (req.method == "PURGE") { #判断客户端的请求头部是否是PURGE
if (!client.ip ~ purgers) { #如果是,再判断客户端的IP地址是不是在ACL访问控制列表中.
return (synth(405, "Not Allowed.")); #如果不是,返回给客户端405状态码并且返回定义的页面.
}
return (purge); #如果是ACL定义的,则交给purge处理.
}
if (req.method != "GET" &&
req.method != "HEAD" &&
req.method != "PUT" &&
req.method != "POST" &&
req.method != "TRACE" &&
req.method != "OPTIONS" &&
req.method != "PATCH" &&
req.method != "DELETE") { #判断客户端的请求类型
return (pipe);
}
if (req.method != "GET" && req.method != "HEAD") {
return (pass); #如果不是GET及HEAD则交给pass.
}
if (req.url ~ "\.(php|asp|aspx|jsp|do|ashx|shtml)($|\?)") {
return (pass); #当客户端访问的是.php等结尾的交给pass处理.
}
if (req.http.Accept-Encoding) {
if (req.url ~ "\.(bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)$") {
unset req.http.Accept-Encoding; #取消客户端接收的压缩类型
} elseif (req.http.Accept-Encoding ~ "gzip") {
set req.http.Accept-Encoding = "gzip"; #如果有gzip类型,标记gzip类型.
} elseif (req.http.Accept-Encoding ~ "deflate") {
set req.http.Accept-Encoding = "deflate";
} else {
unset req.http.Accept-Encoding; #其他未定义的页面也取消客户但接收的压缩类型.
}
}
if (req.url ~ "\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") {
unset req.http.cookie; #取消客户端的cookie值.
return (hash); #将请求转发给hash子程序,也就是查看本地缓存.
}
if (req.restarts == 0) { #判断客户端是不是第一次请求
if (req.http.X-Forwarded-For) { #如果是第一次请求,设置获取客户端的IP地址.
set req.http.X-Forwarded-For = req.http.X-Forwarded-For + ", " + client.ip;
} else {
set req.http.X-Forwarded-For = client.ip;
}
}
return (hash);
}
sub vcl_hash {
hash_data(req.url); #查看客户端请求的页面,并且进行hash
if (req.http.host) {
hash_data(req.http.host); #设置客户端的主机
} else {
hash_data(server.ip); #设置服务器的IP
}
return (lookup);
}
sub vcl_hit {
if (req.method == "PURGE") { #如果是HIT并且当客户端请求的类型是PURGE返回的200的状态码,并返回相应页面.
return (synth(200, "Purged."));
}
return (deliver);
}
sub vcl_miss {
if (req.method == "PURGE") {
return (synth(404, "Purged.")); #如果是miss返回404
}
return (fetch);
}
sub vcl_deliver {
if (obj.hits > 0) {
set resp.http.CXK = "HIT-from-varnish"; #设置http头部X-Cache =hit
set resp.http.X-Cache-Hits = obj.hits; #返回命令的次数
} else {
set resp.http.X-Cache = "MISS";
}
unset resp.http.X-Powered-By; #取消显示web版本
unset resp.http.Server; #取消显示varnish服务
unset resp.http.X-Drupal-Cache; #取消显示缓存的框架
unset resp.http.Via; #取消显示文件内容来源
unset resp.http.Link; #取消显示HTML的超链接地址
unset resp.http.X-Varnish; #取消显示varnish的id
set resp.http.xx_restarts_count = req.restarts; #设置客户端请求的次数
set resp.http.xx_Age = resp.http.Age; #显示缓存文件的时长
#set resp.http.hit_count = obj.hits; #显示缓存命中的次数
#unset resp.http.Age;
return (deliver);
}
sub vcl_pass {
return (fetch); #将后端服务器返回的数据缓存到本地
}
sub vcl_backend_response {
set beresp.grace = 5m; #缓存额外宽限时间
if (beresp.status == 499 || beresp.status == 404 || beresp.status == 502) {
set beresp.uncacheable = true; #当后端服务器相应状态码是449等,不缓存
}
if (bereq.url ~ "\.(php|jsp)(\?|$)") {
set beresp.uncacheable = true; #当是PHP的页面不缓存
} else {
if (bereq.url ~ "\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico)($|\?)") {
set beresp.ttl = 15m; #当是上面结尾的,缓存15分钟
unset beresp.http.Set-Cookie;
} elseif (bereq.url ~ "\.(gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") {
set beresp.ttl = 30m; #缓存30分钟
unset beresp.http.Set-Cookie;
} else {
set beresp.ttl = 10m; #生存时间10分钟
unset beresp.http.Set-Cookie;
}
}
return (deliver);
}
sub vcl_purge {
return (synth(200,"success"));
}
sub vcl_backend_error {
if (beresp.status == 500 ||
beresp.status == 501 ||
beresp.status == 502 ||
beresp.status == 503 ||
beresp.status == 504) {
return (retry); #如果状态码是上述其中之一,则重新请求
}
}
sub vcl_fini {
return (ok);
}
[root@varnish varnish]# /usr/local/sbin/varnishd -f /usr/local/var/varnish/default.vcl -s malloc,200M -T 127.0.0.1:2000 -a 0.0.0.0:80
#此处的80端口是varnish工作的监听端口;
-f /usr/local/varnish-3.0.2/etc/default.vcl
#这个–f选项指定varnishd使用哪个配置文件;
-s malloc,200M
#这个–s选项用来确定varnish使用的存储类型和存储容量,使用的是malloc类型(malloc是一个C函数,用于分配内存空间)200M定义多少内存;
-T 127.0.0.1:2000
#Varnish有一个基于文本的管理接口,启动它可以在不停止varnish的情况下来管理varnish。可以指定管理软件监听哪个接口。当然不能让所有人都能访问varnish管理接口,因为他们可以很轻松的通过访问varnish管理接口来获得root访问权限。推荐只让它监听本机端口;
-a 0.0.0.0:80
#varnish监听所有IP发给80端口的http请求,正常网站对外http访问端口为80;
管理平台,在这里可以通过help查看所有管理控制台上可执行的命令,比如清除指定url的缓存使用ban命令。
[root@varnish varnish]# yum -y install telnet
[root@varnish varnish]# telnet 127.0.0.1 2000
ban.url test.php #清除该url缓存
ban.url .* #清除所有的
[root@varnish varnish]# varnishadm -T 127.0.0.1:2000 ban "req.http.host ~ www.abc.com$ && req.url ~ /image/test.jpg"
#www.abc.com为被清除的域名;
#/image/test.jpg为被清除的url地址列表;
清除所有缓存
[root@varnish varnish]# varnishadm -T 127.0.0.1:2000 ban.url *$
清除image目录下所有缓存
[root@varnish varnish]# varnishadm -T 127.0.0.1:2000 ban.url test.php.url /images
这个工具用于读取共享内存的日志,适当使用一些过滤选项如-I,-i,-X和-x,可以连续不断地显示大部分普通日志。
varnishtop可以按照使用要求显示请求的内容、客户端、浏览器等一些其他日志里的信息。比如:
#查看客户端请求的url次数;
[root@varnish varnish]# varnishtop -i rxurl
#查看请求后端服务器的url次数;
[root@varnish varnish]# varnishtop -i txurl
#查看接收到的头信息中有多少次包含Accept-Encoding;
[root@varnish varnish]# varnishtop -i Rxheader -I Accept-Encoding
用于读取varnishd共享内存段的日志,并生成一个连续的柱状图。varnishhist用于显示最后N个请求的处理情况。
如果缓存命中则标记"|",如果缓存没有命中则标记"#"符号。
[root@varnish varnish]# varnishhist
varnishsizes和varnishhist相似,可以查看服务对象的大致大小。
[root@varnish varnish]# varnishsizes
用于查看varnish计数丢失率、命中率、存储信息、创建线程、删除对象等。
[root@varnish varnish]# varnishstat
当您需要鉴定哪个URL被频繁的发送到后端服务器,您可以通过varnishlog对请求做一个全面的分析。
[root@varnish varnish]# varnishlog
varnishncsa工具读取共享内存的日志,然后以apache/NCSA的格式显示出来。下面的选项可以用-w file file把日志写到一个文件里代替显示他们,如果不是用-a参数就会发生覆盖,如果varnishlog在写日志时,接收到一个SIGHUP信号,他会创建一个新的文件信号,老的文件可以移走。
[root@varnish varnish]# varnishncsa -w /var/lib/varnish/varnish.log
#将varnishlog保存在一个文本文件里;
参考链接:https://blog.csdn.net/zhangchang3/article /details/130769044 https://blog.csdn.net/weixin_47019016 /article/details/107707871
读者专属技术群
构建高质量的技术交流社群,欢迎从事后端开发、运维技术进群(备注岗位,已在技术交流群的请勿重复添加)。主要以技术交流、内推、行业探讨为主,请文明发言。广告人士勿入,切勿轻信私聊,防止被骗。
推荐阅读 点击标题可跳转
PS:因为公众号平台更改了推送规则,如果不想错过内容,记得读完点一下“在看”,加个“星标”,这样每次新文章推送才会第一时间出现在你的订阅列表里。点“在看”支持我们吧!