当前位置: 移动技术网 > 科技>操作系统>Linux > WEB缓存系统之varnish缓存项修剪

WEB缓存系统之varnish缓存项修剪

2020年04月10日  | 移动技术网科技  | 我要评论

心理年龄测试小游戏,汕头曙光,沅陵政府网

关于varnish的缓存项修剪;

什么是缓存项修剪?所谓修剪我个人的理解是把多余的部分或者不需要的部分删除掉;对于varninsh来讲,缓存项修剪也叫缓存项删除;我们在varnish服务器上可以通过vcl语言来编写缓存策略,对于某些缓存该如何缓存,缓存多久等等;假如我们在定义好缓存策略后,在定义缓存过期时间内,后端服务器内容发生了变化,或者后端服务器发生了内容更新,我们如果不把varnish上的缓存修剪掉,对于用户来讲,用户的访问就不是最新的数据;为了解决这样的问题,我们需要人工手动的去修剪缓存项;而修剪缓存项一般都是针对某一类资源或特定资源来做修剪(通过用户指定或正在匹配),一般不会也不应该是全部;在varnish中,修剪缓存的方式有两种,一种是vcl_purge状态引擎修剪(通过判断用户的某些请求首部特征,来对用户指定的资源进行修剪),一种是内部函数ban()来修剪缓存(通常在命令行执行ban命令修剪缓存);

首先我们来看看varnish的默认配置中如何定义vcl_purge这个状态引擎的;

[root@test_node1-centos7 ~]# varnishadm -s /etc/varnish/secret -t 127.0.0.1:6082 "vcl.show -v boot"|grep -a3 purge
sub vcl_purge {
    return (synth(200, "purged"));
}

[root@test_node1-centos7 ~]# 

提示:从上面默认配置中可以看到对于vcl_purge的配置很简单;以上配置表示如果上一个状态引擎把报文送给purge这个状态引擎后,purge状态引擎的操作就是把对应报文送给synth(),并合成一个200的响应码,消息状态是purged的合成页面响应给客户端;以上就是告诉客户端缓存项修剪成功;

了解了purge的处理机制后,我们在来看看缓存项的修剪应该在那个状态引擎中定义;通常在接收到用户请求后,就需要修剪缓存;这样用户才可以拿到最新页面;所以我们在定义缓存的修剪操作应该在vcl_recv中定义;比如判断用户的请求方法,如果用户请求的方法是我们自定义的请求方法,我们就把这类请求直接交给purge处理;

   提示:红框中的内容就是来判断用户的请求方法,如果请求方法是“purge” 那么就把对应的请求交给purge去处理;

测试:用curl命令指定特定的请求方法去访问varnish对外提供的页面;通过判断响应报文中,之前我们定义的x-cache首部的值来判断是否命中缓存;如果我们使用了purge方法后,第二次正常方式访问应该是miss的,第三次访问时hit就表示修剪缓存项成功;

[root@test_node1-centos7 ~]# varnishadm -s /etc/varnish/secret -t 127.0.0.1:6082
200        
-----------------------------
varnish cache cli 1.0
-----------------------------
linux,3.10.0-693.el7.x86_64,x86_64,-sfile,-smalloc,-hcritbit
varnish-4.0.5 revision 07eff4c29

type 'help' for command list.
type 'quit' to close cli session.


varnish> vcl.load test default.vcl
200        
vcl compiled.

varnish> vcl.use test
200        
vcl 'test' now active

varnish> quit
500        
closing cli connection
[root@test_node1-centos7 ~]# curl  -i http://192.168.0.99:8000
http/1.1 200 ok
date: thu, 09 apr 2020 04:57:49 gmt
server: apache/2.4.6 (centos) openssl/1.0.2k-fips
strict-transport-security: max-age=31536000
last-modified: tue, 31 mar 2020 14:56:54 gmt
etag: "2f-5a227c743121d"
content-length: 47
content-type: text/html; charset=utf-8
x-varnish: 65541
age: 0
via: 1.1 varnish-v4
x-cache: miss via 192.168.0.99
connection: keep-alive

[root@test_node1-centos7 ~]# curl  -i http://192.168.0.99:8000
http/1.1 200 ok
date: thu, 09 apr 2020 04:57:49 gmt
server: apache/2.4.6 (centos) openssl/1.0.2k-fips
strict-transport-security: max-age=31536000
last-modified: tue, 31 mar 2020 14:56:54 gmt
etag: "2f-5a227c743121d"
content-length: 47
content-type: text/html; charset=utf-8
x-varnish: 32772 65542
age: 3
via: 1.1 varnish-v4
x-cache: hit via 192.168.0.99
connection: keep-alive

[root@test_node1-centos7 ~]# curl -x "purge" http://192.168.0.99:8000
<!doctype html>
<html>
  <head>
    <title>200 purged</title>
  </head>
  <body>
    <h1>error 200 purged</h1>
    <p>purged</p>
    <h3>guru meditation:</h3>
    <p>xid: 65544</p>
    <hr>
    <p>varnish cache server</p>
  </body>
</html>
[root@test_node1-centos7 ~]# curl  -i http://192.168.0.99:8000       
http/1.1 200 ok
date: thu, 09 apr 2020 04:58:11 gmt
server: apache/2.4.6 (centos) openssl/1.0.2k-fips
strict-transport-security: max-age=31536000
last-modified: tue, 31 mar 2020 14:56:54 gmt
etag: "2f-5a227c743121d"
content-length: 47
content-type: text/html; charset=utf-8
x-varnish: 32774
age: 0
via: 1.1 varnish-v4
x-cache: miss via 192.168.0.99
connection: keep-alive

[root@test_node1-centos7 ~]# curl  -i http://192.168.0.99:8000
http/1.1 200 ok
date: thu, 09 apr 2020 04:58:11 gmt
server: apache/2.4.6 (centos) openssl/1.0.2k-fips
strict-transport-security: max-age=31536000
last-modified: tue, 31 mar 2020 14:56:54 gmt
etag: "2f-5a227c743121d"
content-length: 47
content-type: text/html; charset=utf-8
x-varnish: 32777 32775
age: 3
via: 1.1 varnish-v4
x-cache: hit via 192.168.0.99
connection: keep-alive

[root@test_node1-centos7 ~]#

提示:我们用purge方法去请求对应资源后,再用正常的get方法去获取资源,对应响应报文首部x-cache的值就变成miss的,说明没用从缓存中命中;再次访问x-cache的值变成hit,说明从缓存中命中,这是因为第一次缓存修剪后,第二次访问就把该资源缓存到varnish上,再次访问varnish就直接从缓存中给我们响应;

其实通过请求方法来判缓存项是否该修剪,其实很危险的;就以上面的配置,任何人都可以通过purge方法去修剪缓存,这很显然是不能也不应该的;所以我们还需要限定那些用户可以执行purge方法去修剪缓存;在varnish中添加访问控制法则需要用acl关键指定,然后起一名称,把对应的ip地址或网段地址写进去;如下

   提示:以上就表示定义了一个访问控制法则,其名称叫做allow_purge_method_clients;其中这里面写ip地址需要用双引号引起来,并用分号结束;对于网段地址掩码位数需要写在双引号外;

定义好访问控制规则后,我们在原有的判断用户请求方法中加入限定ip地址的操作;

   提示:以上红框中的内容表示如果用户请求的方法是purge,ip地址不匹配我们指定的ip地址法则,那么就返回合成403响应码给客户;如果匹配就执行purge操作;

测试:用192.168.0.99这台主机用"purge"方法请求修剪和用192.168.0.22这台主机用"purge"方法修剪缓存,如果我们定义的缓存策略正确的话,第一台主机应该是可以修剪缓存的,第二台主机会提示不运行修剪缓存,响应403;

   提示:从上面的示例可以看到通过不同ip的主机对varnish发起“purge”方法修剪缓存,在自定义访问控制法则中存在的ip就可以通过“purge”方法来修剪缓存,相反不再acl控制发展中的ip地址主机,就不被允许修剪缓存;

   以上是通过编写vcl来判断用户的请求方法实现缓存修剪,除此之外varnish还支持内建命令ban来修剪缓存;接下来我们来看看用内建命名ban怎么修剪缓存;

首先我们可以来查看下ban命令的用法;

   提示:以上就是ban命令的用法,其中field表示用户请求的某些首部,比如req.http.host、req.url等;operaror表示操作符 ,arg表示参数;

示例:修剪用户请求资源是内容

   提示:以上红框中的内容就相当于判断用户请求的url,如果匹配/,就return(synth(200));意思就是说对用户请求的/的缓存项进行修剪(删除);所以用户再次访问该url就不会从缓存响应;

测试:

提示:把/的缓存项修剪以后,用户再次访问到/资源时,从响应首部就可以知道它没有被缓存命中;说明缓存项修剪时成功的;

当然在命令行中可以直接使用ban命令修剪缓存,在配置文件中,我们也可以来使用ban函数来对缓存项进行修剪;如下

   提示:以上红框中的内容表示用户的请求方法是ban  就执行ban("req.http.host == " + req.http.host + "&& req.url ==" + req.url),然后通过synth()合成一响应码为200的页面响应给用户;这里的ban函数参数部分就是一字符串合成;如果用户请求的host是192.168.0.99 ,url是/;那么ban函数参数部分就是req.http.host == 192.168.0.99:8000 && req.url == / ,就相当在命令行执行ban req.http.host == 192.168.0.99:8000 && req.url == / ;这里特别提示“&&”和 “==”号两边必须要有空格,否则会把&&识别成req.http.host的值的一部分;

测试

   提示:我们在配置文件利用判断用户请求的方法来修剪缓存项,这种方式同purge的方式类似,都需要用acl去控制可以执行修剪操作的客户端;通常情况下我们如果是临时修剪缓存项,用ban命令在命令行修剪,很少写在配置文件中,通过特定的请求方法去修剪特定的资源缓存;而purge和ban相反,purge常用于在配置文件中用特定的请求方法修剪指定的url资源缓存项;

如对本文有疑问,请在下面进行留言讨论,广大热心网友会与你互动!! 点击进行留言回复

相关文章:

验证码:
移动技术网