站長資訊網(wǎng)keepalived介紹
Keepalived 軟件起初是專為LVS負(fù)載均衡軟件設(shè)計(jì)的，用來管理并監(jiān)控LVS集群系統(tǒng)中各個(gè)服務(wù)節(jié)點(diǎn)的狀態(tài)，后來又加入了可以實(shí)現(xiàn)高可用的VRRP功能。因此，Keepalived除了能夠管理LVS軟件外，還可以作為其他服務(wù)（例如：Nginx、Haproxy、MySQL等）的高可用解決方案軟件。
Keepalived軟件主要是通過VRRP協(xié)議實(shí)現(xiàn)高可用功能的。VRRP是Virtual Router RedundancyProtocol(虛擬路由器冗余協(xié)議）的縮寫，VRRP出現(xiàn)的目的就是為了解決靜態(tài)路由單點(diǎn)故障問題的，它能夠保證當(dāng)個(gè)別節(jié)點(diǎn)宕機(jī)時(shí)，整個(gè)網(wǎng)絡(luò)可以不間斷地運(yùn)行。
所以，Keepalived 一方面具有配置管理LVS的功能，同時(shí)還具有對(duì)LVS下面節(jié)點(diǎn)進(jìn)行健康檢查的功能，另一方面也可實(shí)現(xiàn)系統(tǒng)網(wǎng)絡(luò)服務(wù)的高可用功能。
keepalived的重要功能
keepalived 有三個(gè)重要的功能，分別是：
- 管理LVS負(fù)載均衡軟件
- 實(shí)現(xiàn)LVS集群節(jié)點(diǎn)的健康檢查
- 作為系統(tǒng)網(wǎng)絡(luò)服務(wù)的高可用性（failover）
keepalived高可用故障轉(zhuǎn)移的原理
Keepalived 高可用服務(wù)之間的故障切換轉(zhuǎn)移，是通過 VRRP (Virtual Router Redundancy Protocol ,虛擬路由器冗余協(xié)議）來實(shí)現(xiàn)的。
在 Keepalived 服務(wù)正常工作時(shí)，主 Master 節(jié)點(diǎn)會(huì)不斷地向備節(jié)點(diǎn)發(fā)送（多播的方式）心跳消息，用以告訴備 Backup 節(jié)點(diǎn)自己還活看，當(dāng)主 Master 節(jié)點(diǎn)發(fā)生故障時(shí)，就無法發(fā)送心跳消息，備節(jié)點(diǎn)也就因此無法繼續(xù)檢測到來自主 Master 節(jié)點(diǎn)的心跳了，于是調(diào)用自身的接管程序，接管主 Master 節(jié)點(diǎn)的 IP 資源及服務(wù)。而當(dāng)主 Master 節(jié)點(diǎn)恢復(fù)時(shí)，備 Backup 節(jié)點(diǎn)又會(huì)釋放主節(jié)點(diǎn)故障時(shí)自身接管的IP資源及服務(wù)，恢復(fù)到原來的備用角色。
VRRP ,全 稱 Virtual Router Redundancy Protocol ,中文名為虛擬路由冗余協(xié)議 ，VRRP的出現(xiàn)就是為了解決靜態(tài)踣甶的單點(diǎn)故障問題，VRRP是通過一種競選機(jī)制來將路由的任務(wù)交給某臺(tái)VRRP路由器的。
keepalived工作原理描述
Keepalived高可用對(duì)之間是通過VRRP通信的，因此，我們從 VRRP開始了解起：
- VRRP,全稱 Virtual Router Redundancy Protocol,中文名為虛擬路由冗余協(xié)議，VRRP的出現(xiàn)是為了解決靜態(tài)路由的單點(diǎn)故障。
- VRRP是通過一種竟選協(xié)議機(jī)制來將路由任務(wù)交給某臺(tái) VRRP路由器的。
- VRRP用 IP多播的方式（默認(rèn)多播地址（224.0_0.18))實(shí)現(xiàn)高可用對(duì)之間通信。
- 工作時(shí)主節(jié)點(diǎn)發(fā)包，備節(jié)點(diǎn)接包，當(dāng)備節(jié)點(diǎn)接收不到主節(jié)點(diǎn)發(fā)的數(shù)據(jù)包的時(shí)候，就啟動(dòng)接管程序接管主節(jié)點(diǎn)的開源。備節(jié)點(diǎn)可以有多個(gè)，通過優(yōu)先級(jí)競選，但一般 Keepalived系統(tǒng)運(yùn)維工作中都是一對(duì)。
- VRRP使用了加密協(xié)議加密數(shù)據(jù)，但Keepalived官方目前還是推薦用明文的方式配置認(rèn)證類型和密碼。
介紹完 VRRP,接下來我再介紹一下 Keepalived服務(wù)的工作原理：
Keepalived高可用是通過 VRRP 進(jìn)行通信的， VRRP是通過競選機(jī)制來確定主備的，主的優(yōu)先級(jí)高于備，因此，工作時(shí)主會(huì)優(yōu)先獲得所有的資源，備節(jié)點(diǎn)處于等待狀態(tài)，當(dāng)主掛了的時(shí)候，備節(jié)點(diǎn)就會(huì)接管主節(jié)點(diǎn)的資源，然后頂替主節(jié)點(diǎn)對(duì)外提供服務(wù)。
在 Keepalived 服務(wù)之間，只有作為主的服務(wù)器會(huì)一直發(fā)送 VRRP 廣播包,告訴備它還活著，此時(shí)備不會(huì)槍占主，當(dāng)主不可用時(shí)，即備監(jiān)聽不到主發(fā)送的廣播包時(shí)，就會(huì)啟動(dòng)相關(guān)服務(wù)接管資源，保證業(yè)務(wù)的連續(xù)性.接管速度最快可以小于1秒。
keepalived配置文件詳解
keepalived 的主配置文件為/etc/keepalived/keepalived.conf
! Configuration File for keepalived global_defs { #全局配置 notification_email { #定義報(bào)警收件人郵件地址 acassen@firewall.loc failover@firewall.loc sysadmin@firewall.loc } notification_email_from Alexandre.Cassen@firewall.loc #定義報(bào)警發(fā)件人郵箱 smtp_server 192.168.200.1 #郵箱服務(wù)器地址 smtp_connect_timeout 30 #定義郵箱超時(shí)時(shí)間 router_id LVS_DEVEL #定義路由標(biāo)識(shí)信息，同局域網(wǎng)內(nèi)唯一 vrrp_skip_check_adv_addr vrrp_strict vrrp_garp_interval 0 vrrp_gna_interval 0 } vrrp_instance VI_1 { #定義實(shí)例 state MASTER #指定keepalived節(jié)點(diǎn)的初始狀態(tài)，可選值為MASTER|BACKUP interface eth0 #VRRP實(shí)例綁定的網(wǎng)卡接口，用戶發(fā)送VRRP包 virtual_router_id 51 #虛擬路由的ID，同一集群要一致 priority 100 #定義優(yōu)先級(jí)，按優(yōu)先級(jí)來決定主備角色，優(yōu)先級(jí)越大越優(yōu)先 nopreempt #設(shè)置不搶占 advert_int 1 #主備通訊時(shí)間間隔 authentication { #配置認(rèn)證 auth_type PASS #認(rèn)證方式，此處為密碼 auth_pass 1111 #同一集群中的keepalived配置里的此處必須一致，推薦使用8位隨機(jī)數(shù) } virtual_ipaddress { #配置要使用的VIP地址 192.168.200.16 } } virtual_server 10.10.10.2 1358 { #配置虛擬服務(wù)器 delay_loop 6 #健康檢查的時(shí)間間隔 lb_algo rr #lvs調(diào)度算法 lb_kind NAT #lvs模式 persistence_timeout 50 #持久化超時(shí)時(shí)間，單位是秒 protocol TCP #4層協(xié)議 sorry_server 192.168.200.200 1358 #定義備用服務(wù)器，當(dāng)所有RS都故障時(shí)用sorry_server來響應(yīng)客戶端 real_server 192.168.200.2 1358 { #定義真實(shí)處理請(qǐng)求的服務(wù)器 weight 1 #給服務(wù)器指定權(quán)重，默認(rèn)為1 HTTP_GET { url { path /testurl/test.jsp #指定要檢查的URL路徑 digest 640205b7b0fc66c1ea91c463fac6334d #摘要信息 } url { path /testurl2/test.jsp digest 640205b7b0fc66c1ea91c463fac6334d } url { path /testurl3/test.jsp digest 640205b7b0fc66c1ea91c463fac6334d } connect_timeout 3 #連接超時(shí)時(shí)間 nb_get_retry 3 #get嘗試次數(shù) delay_before_retry 3 #在嘗試之前延遲多長時(shí)間 } } 定制主配置文件
vrrp_instance段配置
nopreempt #設(shè)置為不搶占。默認(rèn)是搶占的，當(dāng)高優(yōu)先級(jí)的機(jī)器恢復(fù)后，會(huì)搶占低優(yōu)先 級(jí)的機(jī)器成為MASTER，而不搶占，則允許低優(yōu)先級(jí)的機(jī)器繼續(xù)成為MASTER，即使高優(yōu)先級(jí) 的機(jī)器已經(jīng)上線。如果要使用這個(gè)功能，則初始化狀態(tài)必須為BACKUP。 preempt_delay #設(shè)置搶占延遲。單位是秒，范圍是0---1000，默認(rèn)是0.發(fā)現(xiàn)低優(yōu)先 級(jí)的MASTER后多少秒開始搶占。vrrp_script段配置
#作用：添加一個(gè)周期性執(zhí)行的腳本。腳本的退出狀態(tài)碼會(huì)被調(diào)用它的所有的VRRP Instance記錄。 #注意：至少有一個(gè)VRRP實(shí)例調(diào)用它并且優(yōu)先級(jí)不能為0.優(yōu)先級(jí)范圍是1-254. vrrp_script <SCRIPT_NAME> { ... } #選項(xiàng)說明： script "/path/to/somewhere" #指定要執(zhí)行的腳本的路徑。 interval <INTEGER> #指定腳本執(zhí)行的間隔。單位是秒。默認(rèn)為1s。 timeout <INTEGER> #指定在多少秒后，腳本被認(rèn)為執(zhí)行失敗。 weight <-254 --- 254> #調(diào)整優(yōu)先級(jí)。默認(rèn)為2. rise <INTEGER> #執(zhí)行成功多少次才認(rèn)為是成功。 fall <INTEGER> #執(zhí)行失敗多少次才認(rèn)為失敗。 user <USERNAME> [GROUPNAME] #運(yùn)行腳本的用戶和組。 init_fail #假設(shè)腳本初始狀態(tài)是失敗狀態(tài)。 #weight說明： 1. 如果腳本執(zhí)行成功(退出狀態(tài)碼為0)，weight大于0，則priority增加。 2. 如果腳本執(zhí)行失敗(退出狀態(tài)碼為非0)，weight小于0，則priority減少。 3. 其他情況下，priority不變。real_server段配置
weight <INT> #給服務(wù)器指定權(quán)重。默認(rèn)是1 inhibit_on_failure #當(dāng)服務(wù)器健康檢查失敗時(shí)，將其weight設(shè)置為0， 而不是從Virtual Server中移除 notify_up <STRING> #當(dāng)服務(wù)器健康檢查成功時(shí)，執(zhí)行的腳本 notify_down <STRING> #當(dāng)服務(wù)器健康檢查失敗時(shí)，執(zhí)行的腳本 uthreshold <INT> #到這臺(tái)服務(wù)器的最大連接數(shù) lthreshold <INT> #到這臺(tái)服務(wù)器的最小連接數(shù)tcp_check段配置
connect_ip <IP ADDRESS> #連接的IP地址。默認(rèn)是real server的ip地址 connect_port <PORT> #連接的端口。默認(rèn)是real server的端口 bindto <IP ADDRESS> #發(fā)起連接的接口的地址。 bind_port <PORT> #發(fā)起連接的源端口。 connect_timeout <INT> #連接超時(shí)時(shí)間。默認(rèn)是5s。 fwmark <INTEGER> #使用fwmark對(duì)所有出去的檢查數(shù)據(jù)包進(jìn)行標(biāo)記。 warmup <INT> //指定一個(gè)隨機(jī)延遲，最大為N秒。可防止網(wǎng)絡(luò)阻塞。如果為0，則關(guān)閉該功能。 retry <INIT> #重試次數(shù)。默認(rèn)是1次。 delay_before_retry <INT> #默認(rèn)是1秒。在重試之前延遲多少秒。keepalived實(shí)現(xiàn)nginx負(fù)載均衡的高可用
環(huán)境：
- CentOS7-linuxmi-192.168.26.128
- centos7-linuxmi-192.168.83.132
- 虛擬IP（VIP）地址為 192.168.83.250
#在兩個(gè)機(jī)器上配置yum源及環(huán)境（這里只寫出主機(jī)的，從機(jī)一樣） [root@linuxmi ~]# systemctl stop firewalld [root@linuxmi ~]# systemctl disable firewalld [root@linuxmi ~]# setenforce 0 [root@linuxmi ~]# sed -ri 's/^(SELINUX=).*/1disabled/g' /etc/selinux/config [root@linuxmi ~]# curl -o /etc/yum.repos.d/CentOS7-Base-163.repo http://mirrors.163.com/.help/CentOS7-Base-163.repo [root@linuxmi ~]# sed -i 's/$releasever/7/g' /etc/yum.repos.d/CentOS7-Base-163.repo [root@linuxmi ~]# sed -i 's/^enabled=.*/enabled=1/g' /etc/yum.repos.d/CentOS7-Base-163.repo [root@linuxmi ~]# yum -y install epel-release vim wget gcc gcc-c++ #安裝keepalived [root@linuxmi ~]# yum -y install keepalived #安裝nginx [root@linuxmi ~]# yum -y install nginx [root@linuxmi ~]# cd /usr/share/nginx/html/ [root@linuxmi ~]# mv index.html{,.bak} [root@linuxmi ~]# echo 'slave' > index.html [root@linuxmi ~]# systemctl start nginx [root@linuxmi ~]# systemctl enable nginx修改配置文件
#主機(jī)配置文件 [root@linuxmi ~]# cat > /etc/keepalived/keepalived.conf <<EOF ! Configuration File for keepalived global_defs { router_id lb01 } vrrp_instance VI_1 { state BACKUP interface ens32 virtual_router_id 51 priority 100 advert_int 1 authentication { auth_type PASS auth_pass linuxmi123 } virtual_ipaddress { 192.168.83.250 } } virtual_server 192.168.83.250 80 { delay_loop 6 lb_algo rr lb_kind DR persistence_timeout 50 protocol TCP real_server 192.168.83.128 80 { weight 1 TCP_CHECK { connect_port 80 connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } real_server 192.168.83.132 80 { weight 1 TCP_CHECK { connect_port 80 connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } } EOF#從機(jī)配置文件 [root@linuxmi ~]# cat > /etc/keepalived/keepalived.conf <<EOF ! Configuration File for keepalived global_defs { router_id lb02 } vrrp_instance VI_1 { state BACKUP interface ens32 virtual_router_id 51 priority 90 advert_int 1 authentication { auth_type PASS auth_pass linuxmi123 } virtual_ipaddress { 192.168.83.250 } } virtual_server 192.168.83.250 80 { delay_loop 6 lb_algo rr lb_kind DR persistence_timeout 50 protocol TCP real_server 192.168.83.128 80 { weight 1 TCP_CHECK { connect_port 80 connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } real_server 192.168.83.132 80 { weight 1 TCP_CHECK { connect_port 80 connect_timeout 3 nb_get_retry 3 delay_before_retry 3 } } } EOFkeepalived監(jiān)控nginx負(fù)載均衡
主機(jī)
#編寫監(jiān)控腳本 [root@linuxmi ~]# mkdir /scripts [root@linuxmi ~]# cd /scripts/ [root@linuxmi scripts]# cat > check_n.sh <<EOF #!/bin/bash nginx_status=$(ps -ef|grep -Ev "grep|$0"|grep 'bnginxb'|wc -l) if [ $nginx_status -lt 1 ];then systemctl stop keepalived fi EOF [root@linuxmi scripts]# chmod +x check_n.sh [root@linuxmi scripts]# cat > notify.sh <<EOF #!/bin/bash VIP=$2 sendmail (){ subject="${VIP}'s server keepalived state is translate" content="`date +'%F %T'`: `hostname`'s state change to master" echo $content | mail -s "$subject" 1470044516@qq.com } case "$1" in master) nginx_status=$(ps -ef|grep -Ev "grep|$0"|grep 'bnginxb'|wc -l) if [ $nginx_status -lt 1 ];then systemctl start nginx fi sendmail ;; backup) nginx_status=$(ps -ef|grep -Ev "grep|$0"|grep 'bnginxb'|wc -l) if [ $nginx_status -gt 0 ];then systemctl stop nginx fi ;; *) echo "Usage:$0 master|backup VIP" ;; esac EOF [root@linuxmi scripts]# chmod +x notify.sh #修改主機(jī)配置 [root@linuxmi ~]# vim /etc/keepalived/ #按如下內(nèi)容添加 global_defs { router_id lb01 } vrrp_script nginx_check { script "/scripts/check_n.sh" interval 1 weight -20 } vrrp_instance VI_1 { state BACKUP interface ens32 virtual_router_id 51 priority 100 advert_int 1 authentication { auth_type PASS auth_pass linuxmi123 } virtual_ipaddress { 192.168.83.250 } notify_master "/scripts/notify.sh master 192.168.83.250" notify_backup "/scripts/notify.sh backup 192.168.83.250" }從機(jī)
[root@linuxmi ~]# mkdir /scripts [root@linuxmi ~]# cd /scripts/ [root@linuxmi scripts]# cat > notify.sh <<EOF #!/bin/bash VIP=$2 sendmail (){ subject="${VIP}'s server keepalived state is translate" content="`date +'%F %T'`: `hostname`'s state change to master" echo $content | mail -s "$subject" 1470044516@qq.com } case "$1" in master) nginx_status=$(ps -ef|grep -Ev "grep|$0"|grep 'bnginxb'|wc -l) if [ $nginx_status -lt 1 ];then systemctl start nginx fi sendmail ;; backup) nginx_status=$(ps -ef|grep -Ev "grep|$0"|grep 'bnginxb'|wc -l) if [ $nginx_status -gt 0 ];then systemctl stop nginx fi ;; *) echo "Usage:$0 master|backup VIP" ;; esac EOF [root@linuxmi scripts]# chmod +x notify.sh #修改配置文件 [root@linuxmi ~]# vim /etc/keepalived/ #按如下內(nèi)容添加 vrrp_instance VI_1 { state BACKUP interface ens32 virtual_router_id 51 priority 100 advert_int 1 authentication { auth_type PASS auth_pass linuxmi123 } virtual_ipaddress { 192.168.83.250 } notify_master "/scripts/notify.sh master 192.168.83.250" notify_backup "/scripts/notify.sh backup 192.168.83.250" }