varnish緩存是web應用加速器,同時也作為http反向緩存代理??梢园惭bvarnish在任何http的前端,同時配置它緩存內容。與傳統(tǒng)的squid相比,varnish具有性能更高、速度更快、管理更加方便等諸多優(yōu)點。
Varnish與Squid 的對比
相同點: 同是反向代理服務器、開源
Varnish的優(yōu)勢:
1、Varnish的穩(wěn)定性很高,Squid 服務器發(fā)生故障的幾率要高于Varnish,因為使用 Squid 要經常重啟
2、Varnish訪問速度更快,緩存數據都直接從內存讀取,而Squid是從硬盤讀取,所以Varnish要快于Squid
3、Varnish可以支持更多的并發(fā)連接,因為Varnish的 TCP連接釋放要比Squid快,因而在高并發(fā)連接情況下可以支持更多TCP連接
4、Varnish可以通過管理端口,使用正則表達式批量的清除部分緩存,而Squid是做不到的;Squid屬于是單進程使用單核CPU,但Varnish是通過fork形式打開多進程來做處理,所以可以合理的使用所有核來處理相應的請求
Varnish 的缺點:
1、varnish進程一旦Crash或者重啟,所有緩存數據都會丟失,在高并發(fā)下,給后端服務器造成很大壓力
2、在 varnish 使用中如果單個url的請求通過 HA/F5 等負載均衡,則每次請求落在不同的varnish服務器中,造成請求都會被穿透到后端;而且同樣的請求在多臺服務器上緩存,也會造成varnish的緩存的資源浪費,造成性能下降
Varnish 劣勢的解決方案:
缺點1:在訪問量很大的情況下推薦使用 varnish 的內存緩存方式啟動,而且后面需要 跟多臺 squid/nginx 服務器。主要為了防止前面的varnish服 務、服務器被重啟的情況下, 大量請求穿透varnish,這樣squid/nginx可以就擔當第二層CACHE,而且也彌補了varnish緩存在內存中重啟都會釋放的問題
缺點2:可以在負載均衡上做url哈希,讓單個url請求固定請求到一臺varnish服務器上
Varnish 中內置子程序
vcl_recv子程序:
開始處理請求,通過return(動作);選擇varnish處理模式,默認進入hash緩存模式(即return(hash);),緩存時間為配置項default_ttl(默認為120秒)過期保持時間default_grace(默認為10秒)。該子程序一般用于模式選擇,請求對象緩存及信息修改,后端節(jié)點修改,終止請求等操作。
vcl_pipe子程序:
pipe模式處理,該模式主要用于直接取后端響應內容返回客戶端,可定義響應內容返回客戶端。該子程序一般用于需要及時且不作處理的后端信息,取出后端響應內容后直接交付到客戶端不進入vcl_deliver子程序處理。
vcl_pass子程序:
pass模式處理,該模式類似hash緩存模式,僅不做緩存處理。
vcl_hit子程序:
hash緩存模式時,存在hash緩存時調用,用于緩存處理,可放棄或修改緩存。
vcl_miss子程序:
hash緩存模式時,不存在hash緩存時調用,用于判斷性的選擇進入后端取響應內容,可以修改為pass模式。
vcl_hash子程序:
hash緩存模式,生成hash值作為緩存查找鍵名提取緩存內容,主要用于緩存hash鍵值處理,可使用hash_data(string) 指定鍵值組成結構,可在同一個頁面通過IP或cookie生成不同的緩存鍵值。
vcl_purge子程序:
清理模式,當查找到對應的緩存時清除并調用,用于請求方法清除緩存,并報告。
vcl_deliver子程序:
客戶端交付子程序,在vcl_backend_response子程序后調用(非pipe模式),或vcl_hit子程序后調用,可用于追加響應頭信息、cookie等內容。
vcl_backend_fetch子程序:
發(fā)送后端請求之前調用,可用于改變請求地址或其它信息,或放棄請求。
vcl_backend_response子程序:
后端響應后調用,可用于修改緩存時間及緩存相關信息。
vcl_backend_error子程序:
后端處理失敗調用,異常頁面展示效果處理,可自定義錯誤響應內容,或修改beresp.status與beresp.http.Location重定向等。
vcl_synth 子程序:
自定義響應內容??梢酝ㄟ^ synthetic()和返回值synth調用,這里可以自定義異常顯示內容,也可以修改resp.status與resp.http.Location重定向。
vcl_init 子程序:
加載vcl時最先調用,用于初始化VMODs,該子程序不參與請求處理,僅在vcl加載時調用一次。
vcl_fini 子程序:
卸載當前vcl配置時調用,用于清理VMODs,該子程序不參與請求處理,僅在vcl正常丟棄后調用。
附上一張原理圖(摘自網絡)
varnish應用案例:
環(huán)境
web01(httpd):192.168.154.137
web02(httpd):192.168.154.138
varnish:192.168.154.139
步驟
web01&web02
yum -y install httpd
firewall-cmd –add-port=80/tcp –permanent
firewall-cmd –reload
setenforce 0
安裝varnish
下載地址:http://varnish-cache.org/releases/index.html
我使用的是varnish-4.0.3.tar.gz這個包
tar zxf varnish-4.0.3.tar.gz
cd varnish-4.0.3/
./configure && make && make install
/usr/local/var/varnish/default.vcl文件的配置如下
#加載后端負載均衡模塊
import directors;
#加載 std 模塊
import std;
#創(chuàng)建名為 backend_healthcheck 的健康檢查策略
probe backend_healthcheck {
.url=”/”;
.interval = 5s;
.timeout = 1s;
.window = 5;
.threshold = 3;
}
#定義后端服務器
backend web_app_01 {
.host = “192.168.154.137”; #這里改成你的web服務器地址
.port = “80”;
.first_byte_timeout = 9s;
.connect_timeout = 3s;
.between_bytes_timeout = 1s;
.probe = backend_healthcheck;
}
backend web_app_02 {
.host = “192.168.154.138”; #這里改成你的web服務器地址
.port = “80”;
.first_byte_timeout = 9s;
.connect_timeout = 3s;
.between_bytes_timeout = 1s;
.probe = backend_healthcheck;
}
#定義允許清理緩存的 IP
acl purgers {
“127.0.0.1”;
“localhost”;
“192.168.154.0/24”;
}
#vcl_init 初始化子程序創(chuàng)建后端主機組
sub vcl_init {
new web = directors.round_robin();
web.add_backend(web_app_01);
web.add_backend(web_app_02);
}
#請求入口, 用于接收和處理請求。 這里一般用作路由處理, 判斷是否讀取緩存和指定該請求使用哪個后端
sub vcl_recv {
#將請求指定使用 web 后端集群 .在集群名后加上 .backend()
set req.backend_hint = web.backend();
# 匹配清理緩存的請求
if (req.method == “PURGE”) {
if (!client.ip ~ purgers) {
return (synth(405, “Not Allowed.”));
}
# 是的話就執(zhí)行清理
return (purge);
}
# 如果不是正常請求 就直接穿透沒商量
if (req.method != “GET” &&req.method != “HEAD” &&
req.method != “PUT” &&
req.method != “POST” &&
req.method != “TRACE” &&
req.method != “OPTIONS” &&
req.method != “PATCH” &&
req.method != “DELETE”) {
return (pipe);
}
# 如果不是 GET 和 HEAD 就跳到 pass
if (req.method != “GET” && req.method != “HEAD”) {
return (pass);
}
#如果匹配動態(tài)內容訪問請求就跳到 pass
if (req.url ~ “.(php|asp|aspx|jsp|do|ashx|shtml)($|?)”) {
return (pass);
}
#具有身份驗證的請求跳到 pass
if (req.http.Authorization) {
return (pass);
}
if (req.http.Accept-Encoding) {
if (req.url ~
“.(bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)$”) {
unset req.http.Accept-Encoding;
} elseif (req.http.Accept-Encoding ~ “gzip”) {
set req.http.Accept-Encoding = “gzip”;
} elseif (req.http.Accept-Encoding ~ “deflate”) {
set req.http.Accept-Encoding = “deflate”;
} else {
unset req.http.Accept-Encoding;
}
}
if (req.url ~
“.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|?)”) {
unset req.http.cookie;
return (hash);
}
# 把真實客戶端 IP 傳遞給后端服務器 后端服務器日志使用 X-Forwarded-For 來接收
if (req.restarts == 0) {
if (req.http.X-Forwarded-For) {set req.http.X-Forwarded-For = req.http.X-Forwarded-For + “, ” + client.ip;
} else {
set req.http.X-Forwarded-For = client.ip;
}
}
return (hash);
}
# hash 事件(緩存事件)
sub vcl_hash {
hash_data(req.url);
if (req.http.host) {
hash_data(req.http.host);
} else {
hash_data(server.ip);
}
return (lookup);
}
# 緩存命中事件
sub vcl_hit {
if (req.method == “PURGE”) {
return (synth(200, “Purged.”));
}
return (deliver);
}
# 緩存不命中事件
sub vcl_miss {
if (req.method == “PURGE”) {
return (synth(404, “Purged.”));
}
return (fetch);
}
# 返回給用戶的前一個事件 通常用于添加或刪除 header 頭
sub vcl_deliver {
if (obj.hits > 0) {
set resp.http.X-Cache = “HIT”;
set resp.http.X-Cache-Hits = obj.hits;
} else {
set resp.http.X-Cache = “MISS”;
}
#取消顯示 php 框架版本的 header 頭
unset resp.http.X-Powered-By;
#取消顯示 web 軟件版本、 Via(來自 varnish)等 header 頭 為了安全
unset resp.http.Server;
unset resp.http.X-Drupal-Cache;unset resp.http.Via;
unset resp.http.Link;
unset resp.http.X-Varnish;
#顯示請求經歷 restarts 事件的次數
set resp.http.xx_restarts_count = req.restarts;
#顯示該資源緩存的時間單位秒
set resp.http.xx_Age = resp.http.Age;
#顯示該資源命中的次數
set resp.http.hit_count = obj.hits;
#取消顯示 Age 為了不和 CDN 沖突
unset resp.http.Age;
#返回給用戶
return (deliver);
}
# pass 事件
sub vcl_pass {
return (fetch);
}
#處理對后端返回結果的事件(設置緩存、移除 cookie 信息、設置 header 頭等) 在 fetch 事件后自動調用
sub vcl_backend_response {
#開啟 grace 模式 表示當后端全掛掉后 即使緩存資源已過期(超過緩存時間) 也會把該資源返回給用戶 資源最大有效時間為 5 分鐘
set beresp.grace = 5m;
#后端返回如下錯誤狀態(tài)碼 則不緩存
if (beresp.status == 499 || beresp.status == 404 || beresp.status == 502) {
set beresp.uncacheable = true;
}
#如請求 php 或 jsp 則不緩存
if (bereq.url ~ “.(php|jsp)(?|$)”) {
set beresp.uncacheable = true;
} else { //自定義緩存文件的緩存時長,即 TTL 值
if (bereq.url ~ “.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico)($|?)”) {
set beresp.ttl = 15m;
unset beresp.http.Set-Cookie;
} elseif (bereq.url ~ “.(gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|?)”) {
set beresp.ttl = 30m;
unset beresp.http.Set-Cookie;
} else {
set beresp.ttl = 10m;
unset beresp.http.Set-Cookie;
}
}
#返回給用戶return (deliver);
}
sub vcl_purge {
return (synth(200,”success”));
}
sub vcl_backend_error {
if (beresp.status == 500 ||
beresp.status == 501 ||
beresp.status == 502 ||
beresp.status == 503 ||
beresp.status == 504) {
return (retry);
}
}
sub vcl_fini {
return (ok);
}
啟動varnish
/usr/local/sbin/varnishd -f /usr/local/var/varnish/default.vcl -s malloc,100M -a 0.0.0.0:80
firewall-cmd –add-port=80/tcp –permanent
firewall-cmd –reload
setenforce 0
使用/usr/local/sbin/varnishd -h可以查看啟動命令的幫助
然后通過ss或者netstat查看是否正常啟動
##varnish官網:http://varnish-cache.org/
##varnish官方文檔:http://varnish-cache.org/docs/index.html