限流算法

令牌桶算法

算法思想是：

• 令牌以固定速率產(chǎn)生，并緩存到令牌桶中；
• 令牌桶放滿(mǎn)時(shí)，多余的令牌被丟棄；
• 請(qǐng)求要消耗等比例的令牌才能被處理；
• 令牌不夠時(shí)，請(qǐng)求被緩存。

漏桶算法

算法思想是：

• 水（請(qǐng)求）從上方倒入水桶，從水桶下方流出（被處理）；
• 來(lái)不及流出的水存在水桶中（緩沖），以固定速率流出；
• 水桶滿(mǎn)后水溢出（丟棄）。
• 這個(gè)算法的核心是：緩存請(qǐng)求、勻速處理、多余的請(qǐng)求直接丟棄。
  相比漏桶算法，令牌桶算法不同之處在于它不但有一只“桶”，還有個(gè)隊(duì)列，這個(gè)桶是用來(lái)存放令牌的，隊(duì)列才是用來(lái)存放請(qǐng)求的。

從作用上來(lái)說(shuō)，漏桶和令牌桶算法最明顯的區(qū)別就是是否允許突發(fā)流量(burst)的處理，漏桶算法能夠強(qiáng)行限制數(shù)據(jù)的實(shí)時(shí)傳輸（處理）速率，對(duì)突發(fā)流量不做額外處理；而令牌桶算法能夠在限制數(shù)據(jù)的平均傳輸速率的同時(shí)允許某種程度的突發(fā)傳輸。

Nginx按請(qǐng)求速率限速模塊使用的是漏桶算法，即能夠強(qiáng)行保證請(qǐng)求的實(shí)時(shí)處理速度不會(huì)超過(guò)設(shè)置的閾值。

Nginx官方版本限制IP的連接和并發(fā)分別有兩個(gè)模塊：

• limit_req_zone 用來(lái)限制單位時(shí)間內(nèi)的請(qǐng)求數(shù)，即速率限制,采用的漏桶算法 “leaky bucket”。
• limit_req_conn 用來(lái)限制同一時(shí)間連接數(shù)，即并發(fā)限制。

limit_req_zone 參數(shù)配置

Syntax: limit_req zone=name [burst=number] [nodelay];  Default:    —  Context:    http, server, location

limit_req_zone $binary_remote_addr zone=one:10m rate=1r/s;

• 第一個(gè)參數(shù)：$binary_remote_addr 表示通過(guò)remote_addr這個(gè)標(biāo)識(shí)來(lái)做限制，“binary_”的目的是縮寫(xiě)內(nèi)存占用量，是限制同一客戶(hù)端ip地址。
• 第二個(gè)參數(shù)：zone=one:10m表示生成一個(gè)大小為10M，名字為one的內(nèi)存區(qū)域，用來(lái)存儲(chǔ)訪(fǎng)問(wèn)的頻次信息。
• 第三個(gè)參數(shù)：rate=1r/s表示允許相同標(biāo)識(shí)的客戶(hù)端的訪(fǎng)問(wèn)頻次，這里限制的是每秒1次，還可以有比如30r/m的。

limit_req zone=one burst=5 nodelay;

• 第一個(gè)參數(shù)：zone=one 設(shè)置使用哪個(gè)配置區(qū)域來(lái)做限制，與上面limit_req_zone 里的name對(duì)應(yīng)。
• 第二個(gè)參數(shù)：burst=5，重點(diǎn)說(shuō)明一下這個(gè)配置，burst爆發(fā)的意思，這個(gè)配置的意思是設(shè)置一個(gè)大小為5的緩沖區(qū)當(dāng)有大量請(qǐng)求（爆發(fā)）過(guò)來(lái)時(shí)，超過(guò)了訪(fǎng)問(wèn)頻次限制的請(qǐng)求可以先放到這個(gè)緩沖區(qū)內(nèi)。
• 第三個(gè)參數(shù)：nodelay，如果設(shè)置，超過(guò)訪(fǎng)問(wèn)頻次而且緩沖區(qū)也滿(mǎn)了的時(shí)候就會(huì)直接返回503，如果沒(méi)有設(shè)置，則所有請(qǐng)求會(huì)等待排隊(duì)。

例子：

http {      limit_req_zone $binary_remote_addr zone=one:10m rate=1r/s;      server {          location /search/ {              limit_req zone=one burst=5 nodelay;          }  }        

下面配置可以限制特定UA（比如搜索引擎）的訪(fǎng)問(wèn)：

limit_req_zone  $anti_spider  zone=one:10m   rate=10r/s;  limit_req zone=one burst=100 nodelay;  if ($http_user_agent ~* "googlebot|bingbot|Feedfetcher-Google") {      set $anti_spider $http_user_agent;  }

其他參數(shù)

Syntax: limit_req_log_level info | notice | warn | error;  Default:      limit_req_log_level error;  Context:    http, server, location

當(dāng)服務(wù)器由于limit被限速或緩存時(shí)，配置寫(xiě)入日志。延遲的記錄比拒絕的記錄低一個(gè)級(jí)別。例子：limit_req_log_level notice延遲的的基本是info。

Syntax: limit_req_status code;  Default:      limit_req_status 503;  Context:    http, server, location

設(shè)置拒絕請(qǐng)求的返回值。值只能設(shè)置 400 到 599 之間。

ngx_http_limit_conn_module 參數(shù)配置

這個(gè)模塊用來(lái)限制單個(gè)IP的請(qǐng)求數(shù)。并非所有的連接都被計(jì)數(shù)。只有在服務(wù)器處理了請(qǐng)求并且已經(jīng)讀取了整個(gè)請(qǐng)求頭時(shí)，連接才被計(jì)數(shù)。

Syntax: limit_conn zone number;  Default:    —  Context:    http, server, location

limit_conn_zone $binary_remote_addr zone=addr:10m;    server {      location /download/ {          limit_conn addr 1;      }

一次只允許每個(gè)IP地址一個(gè)連接。

limit_conn_zone $binary_remote_addr zone=perip:10m;  limit_conn_zone $server_name zone=perserver:10m;    server {      ...      limit_conn perip 10;      limit_conn perserver 100;  }

可以配置多個(gè)limit_conn指令。例如，以上配置將限制每個(gè)客戶(hù)端IP連接到服務(wù)器的數(shù)量，同時(shí)限制連接到虛擬服務(wù)器的總數(shù)。

Syntax: limit_conn_zone key zone=name:size;  Default:    —  Context:    http

limit_conn_zone $binary_remote_addr zone=addr:10m;

在這里，客戶(hù)端IP地址作為關(guān)鍵。請(qǐng)注意，不是$ remote_addr，而是使用$ binary_remote_addr變量。 $ remote_addr變量的大小可以從7到15個(gè)字節(jié)不等。存儲(chǔ)的狀態(tài)在32位平臺(tái)上占用32或64字節(jié)的內(nèi)存，在64位平臺(tái)上總是占用64字節(jié)。對(duì)于IPv4地址，$ binary_remote_addr變量的大小始終為4個(gè)字節(jié)，對(duì)于IPv6地址則為16個(gè)字節(jié)。存儲(chǔ)狀態(tài)在32位平臺(tái)上始終占用32或64個(gè)字節(jié)，在64位平臺(tái)上占用64個(gè)字節(jié)。一個(gè)兆字節(jié)的區(qū)域可以保持大約32000個(gè)32字節(jié)的狀態(tài)或大約16000個(gè)64字節(jié)的狀態(tài)。如果區(qū)域存儲(chǔ)耗盡，服務(wù)器會(huì)將錯(cuò)誤返回給所有其他請(qǐng)求。

Syntax: limit_conn_log_level info | notice | warn | error;  Default:      limit_conn_log_level error;  Context:    http, server, location

當(dāng)服務(wù)器限制連接數(shù)時(shí)，設(shè)置所需的日志記錄級(jí)別。

Syntax: limit_conn_status code;  Default:      limit_conn_status 503;  Context:    http, server, location

設(shè)置拒絕請(qǐng)求的返回值。

實(shí)戰(zhàn)

實(shí)例一 限制訪(fǎng)問(wèn)速率

limit_req_zone $binary_remote_addr zone=mylimit:10m rate=2r/s;  server {       location / {           limit_req zone=mylimit;      }  }

上述規(guī)則限制了每個(gè)IP訪(fǎng)問(wèn)的速度為2r/s，并將該規(guī)則作用于根目錄。如果單個(gè)IP在非常短的時(shí)間內(nèi)并發(fā)發(fā)送多個(gè)請(qǐng)求，結(jié)果會(huì)怎樣呢？

我們使用單個(gè)IP在10ms內(nèi)發(fā)并發(fā)送了6個(gè)請(qǐng)求，只有1個(gè)成功，剩下的5個(gè)都被拒絕。我們?cè)O(shè)置的速度是2r/s，為什么只有1個(gè)成功呢，是不是Nginx限制錯(cuò)了？當(dāng)然不是，是因?yàn)镹ginx的限流統(tǒng)計(jì)是基于毫秒的，我們?cè)O(shè)置的速度是2r/s，轉(zhuǎn)換一下就是500ms內(nèi)單個(gè)IP只允許通過(guò)1個(gè)請(qǐng)求，從501ms開(kāi)始才允許通過(guò)第二個(gè)請(qǐng)求。

實(shí)例二 burst緩存處理

我們看到，我們短時(shí)間內(nèi)發(fā)送了大量請(qǐng)求，Nginx按照毫秒級(jí)精度統(tǒng)計(jì)，超出限制的請(qǐng)求直接拒絕。這在實(shí)際場(chǎng)景中未免過(guò)于苛刻，真實(shí)網(wǎng)絡(luò)環(huán)境中請(qǐng)求到來(lái)不是勻速的，很可能有請(qǐng)求“突發(fā)”的情況，也就是“一股子一股子”的。Nginx考慮到了這種情況，可以通過(guò)burst關(guān)鍵字開(kāi)啟對(duì)突發(fā)請(qǐng)求的緩存處理，而不是直接拒絕。
來(lái)看我們的配置：

limit_req_zone $binary_remote_addr zone=mylimit:10m rate=2r/s;  server {       location / {           limit_req zone=mylimit burst=4;      }  }

我們加入了burst=4，意思是每個(gè)key(此處是每個(gè)IP)最多允許4個(gè)突發(fā)請(qǐng)求的到來(lái)。如果單個(gè)IP在10ms內(nèi)發(fā)送6個(gè)請(qǐng)求，結(jié)果會(huì)怎樣呢？

相比實(shí)例一成功數(shù)增加了4個(gè)，這個(gè)我們?cè)O(shè)置的burst數(shù)目是一致的。具體處理流程是：1個(gè)請(qǐng)求被立即處理，4個(gè)請(qǐng)求被放到burst隊(duì)列里，另外一個(gè)請(qǐng)求被拒絕。通過(guò)burst參數(shù)，我們使得Nginx限流具備了緩存處理突發(fā)流量的能力。

但是請(qǐng)注意：burst的作用是讓多余的請(qǐng)求可以先放到隊(duì)列里，慢慢處理。如果不加nodelay參數(shù)，隊(duì)列里的請(qǐng)求不會(huì)立即處理，而是按照rate設(shè)置的速度，以毫秒級(jí)精確的速度慢慢處理。

實(shí)例三 nodelay降低排隊(duì)時(shí)間

實(shí)例二中我們看到，通過(guò)設(shè)置burst參數(shù)，我們可以允許Nginx緩存處理一定程度的突發(fā)，多余的請(qǐng)求可以先放到隊(duì)列里，慢慢處理，這起到了平滑流量的作用。但是如果隊(duì)列設(shè)置的比較大，請(qǐng)求排隊(duì)的時(shí)間就會(huì)比較長(zhǎng)，用戶(hù)角度看來(lái)就是RT變長(zhǎng)了，這對(duì)用戶(hù)很不友好。有什么解決辦法呢？nodelay參數(shù)允許請(qǐng)求在排隊(duì)的時(shí)候就立即被處理，也就是說(shuō)只要請(qǐng)求能夠進(jìn)入burst隊(duì)列，就會(huì)立即被后臺(tái)worker處理，請(qǐng)注意，這意味著burst設(shè)置了nodelay時(shí)，系統(tǒng)瞬間的QPS可能會(huì)超過(guò)rate設(shè)置的閾值。nodelay參數(shù)要跟burst一起使用才有作用。

延續(xù)實(shí)例二的配置，我們加入nodelay選項(xiàng)：

limit_req_zone $binary_remote_addr zone=mylimit:10m rate=2r/s;  server {       location / {           limit_req zone=mylimit burst=4 nodelay;      }  }

單個(gè)IP 10ms內(nèi)并發(fā)發(fā)送6個(gè)請(qǐng)求，結(jié)果如下：

跟實(shí)例二相比，請(qǐng)求成功率沒(méi)變化，但是總體耗時(shí)變短了。這怎么解釋呢？實(shí)例二中，有4個(gè)請(qǐng)求被放到burst隊(duì)列當(dāng)中，工作進(jìn)程每隔500ms(rate=2r/s)取一個(gè)請(qǐng)求進(jìn)行處理，最后一個(gè)請(qǐng)求要排隊(duì)2s才會(huì)被處理；實(shí)例三中，請(qǐng)求放入隊(duì)列跟實(shí)例二是一樣的，但不同的是，隊(duì)列中的請(qǐng)求同時(shí)具有了被處理的資格，所以實(shí)例三中的5個(gè)請(qǐng)求可以說(shuō)是同時(shí)開(kāi)始被處理的，花費(fèi)時(shí)間自然變短了。

但是請(qǐng)注意，雖然設(shè)置burst和nodelay能夠降低突發(fā)請(qǐng)求的處理時(shí)間，但是長(zhǎng)期來(lái)看并不會(huì)提高吞吐量的上限，長(zhǎng)期吞吐量的上限是由rate決定的，因?yàn)閚odelay只能保證burst的請(qǐng)求被立即處理，但Nginx會(huì)限制隊(duì)列元素釋放的速度，就像是限制了令牌桶中令牌產(chǎn)生的速度。

看到這里你可能會(huì)問(wèn)，加入了nodelay參數(shù)之后的限速算法，到底算是哪一個(gè)“桶”，是漏桶算法還是令牌桶算法？當(dāng)然還算是漏桶算法。考慮一種情況，令牌桶算法的token為耗盡時(shí)會(huì)怎么做呢？由于它有一個(gè)請(qǐng)求隊(duì)列，所以會(huì)把接下來(lái)的請(qǐng)求緩存下來(lái)，緩存多少受限于隊(duì)列大小。但此時(shí)緩存這些請(qǐng)求還有意義嗎？如果server已經(jīng)過(guò)載，緩存隊(duì)列越來(lái)越長(zhǎng)，RT越來(lái)越高，即使過(guò)了很久請(qǐng)求被處理了，對(duì)用戶(hù)來(lái)說(shuō)也沒(méi)什么價(jià)值了。所以當(dāng)token不夠用時(shí)，最明智的做法就是直接拒絕用戶(hù)的請(qǐng)求，這就成了漏桶算法。

示例四 自定義返回值

limit_req_zone $binary_remote_addr zone=mylimit:10m rate=2r/s;  server {       location / {           limit_req zone=mylimit burst=4 nodelay;          limit_req_status 598;      }  }

默認(rèn)情況下 沒(méi)有配置 status 返回值的狀態(tài)：

自定義 status 返回值的狀態(tài)：

limit_req zone=req_zone;
嚴(yán)格依照在limti_req_zone中配置的rate來(lái)處理請(qǐng)求
超過(guò)rate處理能力范圍的，直接drop
表現(xiàn)為對(duì)收到的請(qǐng)求無(wú)延時(shí)
limit_req zone=req_zone burst=5;
依照在limti_req_zone中配置的rate來(lái)處理請(qǐng)求
同時(shí)設(shè)置了一個(gè)大小為5的緩沖隊(duì)列，在緩沖隊(duì)列中的請(qǐng)求會(huì)等待慢慢處理
超過(guò)了burst緩沖隊(duì)列長(zhǎng)度和rate處理能力的請(qǐng)求被直接丟棄
表現(xiàn)為對(duì)收到的請(qǐng)求有延時(shí)
limit_req zone=req_zone burst=5 nodelay;
依照在limti_req_zone中配置的rate來(lái)處理請(qǐng)求
同時(shí)設(shè)置了一個(gè)大小為5的緩沖隊(duì)列，當(dāng)請(qǐng)求到來(lái)時(shí)，會(huì)爆發(fā)出一個(gè)峰值處理能力，對(duì)于峰值處理數(shù)量之外的請(qǐng)求，直接丟棄
在完成峰值請(qǐng)求之后，緩沖隊(duì)列不能再放入請(qǐng)求。如果rate＝10r/s，且這段時(shí)間內(nèi)沒(méi)有請(qǐng)求再到來(lái)，則每6 s 緩沖隊(duì)列就能回復(fù)一個(gè)緩沖請(qǐng)求的能力，直到回復(fù)到能緩沖5個(gè)請(qǐng)求位置。

load_module modules/ngx_stream_module.so; #動(dòng)態(tài)加載模塊，必須寫(xiě)道開(kāi)頭
user nginx; #使用useradd nginx 添加一個(gè)nginx用戶(hù)
worker_processes 4; #cpu核心數(shù) * 2
worker_rlimit_nofile 102400; #配置nginx打開(kāi)最大文件數(shù) (每個(gè)工作進(jìn)程綁定一個(gè)cpu，worker_cpu_affinity配置)
worker_cpu_affinity 0001 0010 0100 1000; #工作進(jìn)程使用哪個(gè)cpu的核心 （以四核為例） 0001是4核的第一個(gè)核心 0010是4核的第二個(gè)核心

#error_log logs/error.log;
#error_log logs/error.log notice;
error_log logs/error.log info;

pid logs/nginx.pid;

events {
use epoll;
worker_connections 10240;
}

http {
include mime.types;
default_type application/octet-stream;

log_format main ‘$remote_addr – $remote_user [$time_local] “$request” ‘
‘$status $body_bytes_sent “$http_referer” ‘
‘”$http_user_agent” “$http_x_forwarded_for”‘;

#access_log logs/access.log main; #在server虛擬目錄里面配置日志，這里是全局日志

sendfile on;
#tcp_nopush on;

server_tokens off; #錯(cuò)誤的時(shí)候關(guān)閉輸出版本號(hào)

#keepalive_timeout 0;
keepalive_timeout 30;

gzip on; #壓縮會(huì)占用cpu
gzip_buffers 4 16k;
gzip_comp_level 3; #壓縮等級(jí)
gzip_disable “MSIE[1-6]”; #ie瀏覽器1-6禁用gzip
gzip_min_length 1k;
gzip_http_version 1.0;
gzip_types text/plaion application/html application/css application/js; #可以壓縮的文件類(lèi)型
gzip_vary on; #根據(jù)http頭判斷是否支持壓縮

client_max_body_size 8m; #默認(rèn)允許客戶(hù)端最大上傳文件大小

#限流
#limit_conn_zone $binary_remote_addr zone=addr:10m; #并發(fā)限制（同時(shí)啟用一個(gè)）
limit_req_zone $binary_remote_addr zone=qps:10m rate=1r/s; #請(qǐng)求限制 每秒鐘處理一個(gè)請(qǐng)求
limit_conn_log_level error;
limit_conn_status 503; #超出限制時(shí)，返回狀態(tài)碼

server{
#limit_conn addr 1; #并發(fā)限制設(shè)置為1，是為了測(cè)試 addr是zone空間在53行（同時(shí)啟用一個(gè)）

#limit_req zone=qps; #請(qǐng)求限制
limit_req zone=qps burset=1 nodelay; #請(qǐng)求限制()

}

#限流end

}