linux系統(tǒng)中影響tcp連接數(shù)的主要因素是內(nèi)存和允許的文件描述符個數(shù),因為每個tcp連接都要占用一定內(nèi)存,且每個socket就是一個文件描述符,另外1024以下的端口通常為保留端口。
程序員必備接口測試調(diào)試工具:立即使用
Apipost = Postman + Swagger + Mock + Jmeter
Api設(shè)計、調(diào)試、文檔、自動化測試工具
后端、前端、測試,同時在線協(xié)作,內(nèi)容實時同步
本教程操作環(huán)境:linux7.3系統(tǒng)、Dell G3電腦。
在tcp應(yīng)用中,server事先在某個固定端口監(jiān)聽,client主動發(fā)起連接,經(jīng)過三次握手后建立tcp連接。那么對單機,其最大并發(fā)tcp連接數(shù)是多少呢?
如何標識一個TCP連接
在確定最大連接數(shù)之前,先來看看系統(tǒng)如何標識一個tcp連接。系統(tǒng)用一個4四元組來唯一標識一個TCP連接:{localip, localport,remoteip,remoteport}。
client最大tcp連接數(shù)
client每次發(fā)起tcp連接請求時,除非綁定端口,通常會讓系統(tǒng)選取一個空閑的本地端口(local port),該端口是獨占的,不能和其他tcp連接共享。tcp端口的數(shù)據(jù)類型是unsigned short,因此本地端口個數(shù)最大只有65536,端口0有特殊含義,不能使用,這樣可用端口最多只有65535,所以在全部作為client端的情況下,一個client最大tcp連接數(shù)為65535,這些連接可以連到不同的serverip。
server最大tcp連接數(shù)
server通常固定在某個本地端口上監(jiān)聽,等待client的連接請求。不考慮地址重用(unix的SO_REUSEADDR選項)的情況下,即使server端有多個ip,本地監(jiān)聽端口也是獨占的,因此server端tcp連接4元組中只有remoteip(也就是clientip)和remote port(客戶端port)是可變的,因此最大tcp連接為客戶端ip數(shù)×客戶端port數(shù),對IPV4,不考慮ip地址分類等因素,最大tcp連接數(shù)約為2的32次方(ip數(shù))×2的16次方(port數(shù)),也就是server端單機最大tcp連接數(shù)約為2的48次方。
實際的tcp連接數(shù)
上面給出的是理論上的單機最大連接數(shù),在實際環(huán)境中,受到機器資源、操作系統(tǒng)等的限制,特別是sever端,其最大并發(fā)tcp連接數(shù)遠不能達到理論上限。在unix/linux下限制連接數(shù)的主要因素是內(nèi)存和允許的文件描述符個數(shù)(每個tcp連接都要占用一定內(nèi)存,每個socket就是一個文件描述符),另外1024以下的端口通常為保留端口。在默認2.6內(nèi)核配置下,經(jīng)過試驗,每個socket占用內(nèi)存在15~20k之間。
所以,對server端,通過增加內(nèi)存、修改最大文件描述符個數(shù)等參數(shù),單機最大并發(fā)TCP連接數(shù)超過10萬,甚至上百萬是沒問題的。
這明顯是進入了思維的誤區(qū),65535是指可用的端口總數(shù),并不代表服務(wù)器同時只能接受65535個并發(fā)連接。
舉個例子:
我們做了一個網(wǎng)站,綁定的是TCP的80端口,結(jié)果是所有訪問這個網(wǎng)站的用戶都是通過服務(wù)器的80端口訪問,而不是其他端口??梢姸丝谑强梢詮?fù)用的。即使Linux服務(wù)器只在80端口偵聽服務(wù), 也允許有10萬、100萬個用戶連接服務(wù)器。Linux系統(tǒng)不會限制連接數(shù)至于服務(wù)器能不能承受住這么多的連接,取決于服務(wù)器的硬件配置、軟件架構(gòu)及優(yōu)化。
01
我們知道兩個進程如果需要進行通訊最基本的一個前提是:能夠唯一的標示一個進程。在本地進程通訊中我們可以使用PID來唯一標示一個進程,但PID只在本地唯一,網(wǎng)絡(luò)中的兩個進程PID沖突幾率很大。
這時候就需要另辟它徑了,IP地址可以唯一標示主機,而TCP層協(xié)議和端口號可以唯一標示主機的一個進程,這樣可以利用IP地址+協(xié)議+端口號唯一標示網(wǎng)絡(luò)中的一個進程。
能夠唯一標示網(wǎng)絡(luò)中的進程后,它們就可以利用socket進行通信了。socket(套接字)是在應(yīng)用層和傳輸層之間的一個抽象層,它把TCP/IP層復(fù)雜的操作抽象為幾個簡單的接口供應(yīng)用層調(diào)用已實現(xiàn)進程在網(wǎng)絡(luò)中通信。
socket源自Unix,是一種"打開—讀/寫—關(guān)閉"模式的實現(xiàn),服務(wù)器和客戶端各自維護一個"文件",在建立連接打開后,可以向自己文件寫入內(nèi)容供對方讀取或者讀取對方內(nèi)容,通訊結(jié)束時關(guān)閉文件。
02
唯一能夠確定一個連接有4個東西:
1. 服務(wù)器的IP
2. 服務(wù)器的Port
3. 客戶端的IP
4. 客戶端的Port
服務(wù)器的IP和Port可以保持不變,只要客戶端的IP和Port彼此不同就可以確定一個連接數(shù)。
一個socket是可以建立多個連接的,一個TCP連接的標記為一個四元組(source_ip, source_port, destination_ip, destination_port),即(源IP,源端口,目的IP,目的端口)四個元素的組合。只要四個元素的組合中有一個元素不一樣,那就可以區(qū)別不同的連接。
舉個例子:
->你的主機IP地址是1.1.1.1, 在8080端口監(jiān)聽
->當(dāng)一個來自 2.2.2.2 發(fā)來一條連接請求,端口為5555。這條連接的四元組為(1.1.1.1, 8080, 2.2.2.2, 5555)
->這時2.2.2.2又發(fā)來第二條連接請求,端口為6666。新連接的四元組為(1.1.1.1, 8080, 2.2.2.2, 6666)
那么,你主機的8080端口建立了兩條連接;
->(2.2.2.2)發(fā)來的第三條連接請求,端口為5555(或6666)。第三條連接的請求就無法建立,因為沒有辦法區(qū)分于上面兩條連接。
同理,可以在同一個端口號和IP地址上綁定一個TCP socket和一個UDP socket
因為端口號雖然一樣,但由于協(xié)議不一樣,所以端口是完全獨立的。
TCP/UDP一般采用五元組來定位一個連接:
source_ip, source_port, destination_ip, destination_port, protocol_type
即(源IP,源端口,目的IP,目的端口,協(xié)議號)
綜上所述,服務(wù)器的并發(fā)數(shù)并不是由TCP的65535個端口決定的。服務(wù)器同時能夠承受的并發(fā)數(shù)是由帶寬、硬件、程序設(shè)計等多方面因素決定的。
所以也就能理解淘寶、騰訊、頭條、百度、新浪、嗶嗶嗶嗶等為什么能夠承受住每秒種幾億次的并發(fā)訪問,是因為他們采用的是服務(wù)器集群。服務(wù)器集群分布在全國各地的大型機房,當(dāng)訪問量小的時候會關(guān)閉一些服務(wù)器,當(dāng)訪問量大的時候回不斷的開啟新的服務(wù)器。
常識一:文件句柄限制
在linux下編寫網(wǎng)絡(luò)服務(wù)器程序的朋友肯定都知道每一個tcp連接都要占一個文件描述符,一旦這個文件描述符使用完了,新的連接到來返回給我們的錯誤是“Socket/File:Can't open so many files”。
這時你需要明白操作系統(tǒng)對可以打開的最大文件數(shù)的限制。
-
進程限制
-
執(zhí)行 ulimit -n 輸出 1024,說明對于一個進程而言最多只能打開1024個文件,所以你要采用此默認配置最多也就可以并發(fā)上千個TCP連接。
-
臨時修改:ulimit -n 1000000,但是這種臨時修改只對當(dāng)前登錄用戶目前的使用環(huán)境有效,系統(tǒng)重啟或用戶退出后就會失效。
-
重啟后失效的修改(不過我在CentOS 6.5下測試,重啟后未發(fā)現(xiàn)失效):編輯 /etc/security/limits.conf 文件, 修改后內(nèi)容為
* soft nofile 1000000
* hard nofile 1000000
-
永久修改:編輯/etc/rc.local,在其后添加如下內(nèi)容
ulimit -SHn 1000000
-
-
全局限制
-
執(zhí)行 cat /proc/sys/fs/file-nr 輸出
9344 0 592026
,分別為:1.已經(jīng)分配的文件句柄數(shù),2.已經(jīng)分配但沒有使用的文件句柄數(shù),3.最大文件句柄數(shù)。但在kernel 2.6版本中第二項的值總為0,這并不是一個錯誤,它實際上意味著已經(jīng)分配的文件描述符無一浪費的都已經(jīng)被使用了 。 -
我們可以把這個數(shù)值改大些,用 root 權(quán)限修改 /etc/sysctl.conf 文件:
fs.file-max = 1000000
net.ipv4.ip_conntrack_max = 1000000
net.ipv4.netfilter.ip_conntrack_max = 1000000
-
常識二:端口號范圍限制?
操作系統(tǒng)上端口號1024以下是系統(tǒng)保留的,從1024-65535是用戶使用的。由于每個TCP連接都要占一個端口號,所以我們最多可以有60000多個并發(fā)連接。我想有這種錯誤思路朋友不在少數(shù)吧?(其中我過去就一直這么認為)
我們來分析一下吧
-
如何標識一個TCP連接:系統(tǒng)用一個4四元組來唯一標識一個TCP連接:{local ip, local port,remote ip,remote port}。好吧,我們拿出《UNIX網(wǎng)絡(luò)編程:卷一》第四章中對accept的講解來看看概念性的東西,第二個參數(shù)cliaddr代表了客戶端的ip地址和端口號。而我們作為服務(wù)端實際只使用了bind時這一個端口,說明端口號65535并不是并發(fā)量的限制。
-
server最大tcp連接數(shù):server通常固定在某個本地端口上監(jiān)聽,等待client的連接請求。不考慮地址重用(unix的SO_REUSEADDR選項)的情況下,即使server端有多個ip,本地監(jiān)聽端口也是獨占的,因此server端tcp連接4元組中只有remote ip(也就是client ip)和remote port(客戶端port)是可變的,因此最大tcp連接為客戶端ip數(shù)×客戶端port數(shù),對IPV4,不考慮ip地址分類等因素,最大tcp連接數(shù)約為2的32次方(ip數(shù))×2的16次方(port數(shù)),也就是server端單機最大tcp連接數(shù)約為2的48次方。
常見設(shè)置
1、修改用戶進程可打開文件數(shù)限制
在Linux平臺上,無論編寫客戶端程序還是服務(wù)端程序,在進行高并發(fā)TCP連接處理時,最高的并發(fā)數(shù)量都要受到系統(tǒng)對用戶單一進程同時可打開文件數(shù)量的限制(這是因為系統(tǒng)為每個TCP連接都要創(chuàng)建一個socket句柄,每個socket句柄同時也是一個文件句柄)??墒褂胾limit命令查看系統(tǒng)允許當(dāng)前用戶進程打開的文件數(shù)限制:
[speng@as4 ~]$ ulimit -n 1024
這表示當(dāng)前用戶的每個進程最多允許同時打開1024個文件,這1024個文件中還得除去每個進程必然打開的標準輸入,標準輸出,標準錯誤,服務(wù)器監(jiān)聽 socket,進程間通訊的unix域socket等文件,那么剩下的可用于客戶端socket連接的文件數(shù)就只有大概1024-10=1014個左右。也就是說缺省情況下,基于Linux的通訊程序最多允許同時1014個TCP并發(fā)連接。
對于想支持更高數(shù)量的TCP并發(fā)連接的通訊處理程序,就必須修改Linux對當(dāng)前用戶的進程同時打開的文件數(shù)量的軟限制(soft limit)和硬限制(hardlimit)。其中軟限制是指Linux在當(dāng)前系統(tǒng)能夠承受的范圍內(nèi)進一步限制用戶同時打開的文件數(shù);硬限制則是根據(jù)系統(tǒng)硬件資源狀況(主要是系統(tǒng)內(nèi)存)計算出來的系統(tǒng)最多可同時打開的文件數(shù)量。通常軟限制小于或等于硬限制。
修改上述限制的最簡單的辦法就是使用ulimit命令:
[speng@as4 ~]$ ulimit -n
上述命令中,在中指定要設(shè)置的單一進程允許打開的最大文件數(shù)。如果系統(tǒng)回顯類似于“Operation notpermitted”之類的話,說明上述限制修改失敗,實際上是因為在中指定的數(shù)值超過了Linux系統(tǒng)對該用戶打開文件數(shù)的軟限制或硬限制。因此,就需要修改Linux系統(tǒng)對用戶的關(guān)于打開文件數(shù)的軟限制和硬限制。
第一步,修改/etc/security/limits.conf文件,在文件中添加如下行:
... # End of file speng soft nofile 10240 speng hard nofile 10240 root soft nofile 65535 root hard nofile 65535 * soft nofile 65535 * hard nofile 65535 [test@iZwz9e1dh1nweaex8ob5b7Z config]$
其中speng指定了要修改哪個用戶的打開文件數(shù)限制,可用’*'號表示修改所有用戶的限制;soft或hard指定要修改軟限制還是硬限制;10240則指定了想要修改的新的限制值,即最大打開文件數(shù)(請注意軟限制值要小于或等于硬限制)。修改完后保存文件。
第二步,修改/etc/pam.d/login文件,在文件中添加如下行:
session required /lib/security/pam_limits.so
這是告訴Linux在用戶完成系統(tǒng)登錄后,應(yīng)該調(diào)用pam_limits.so模塊來設(shè)置系統(tǒng)對該用戶可使用的各種資源數(shù)量的最大限制(包括用戶可打開的最大文件數(shù)限制),而pam_limits.so模塊就會從/etc/security/limits.conf文件中讀取配置來設(shè)置這些限制值。修改完后保存此文件。
第三步,查看Linux系統(tǒng)級的最大打開文件數(shù)限制,使用如下命令:
[speng@as4 ~]$ cat /proc/sys/fs/file-max 12158
這表明這臺Linux系統(tǒng)最多允許同時打開(即包含所有用戶打開文件數(shù)總和)12158個文件,是Linux系統(tǒng)級硬限制,所有用戶級的打開文件數(shù)限制都不應(yīng)超過這個數(shù)值。通常這個系統(tǒng)級硬限制是Linux系統(tǒng)在啟動時根據(jù)系統(tǒng)硬件資源狀況計算出來的最佳的最大同時打開文件數(shù)限制,如果沒有特殊需要,不應(yīng)該修改此限制,除非想為用戶級打開文件數(shù)限制設(shè)置超過此限制的值。修改此硬限制的方法是修改/etc/rc.local腳本,在腳本中添加如下行:
echo 22158 > /proc/sys/fs/file-max
這是讓Linux在啟動完成后強行將系統(tǒng)級打開文件數(shù)硬限制設(shè)置為22158。修改完后保存此文件。
完成上述步驟后重啟系統(tǒng),一般情況下就可以將Linux系統(tǒng)對指定用戶的單一進程允許同時打開的最大文件數(shù)限制設(shè)為指定的數(shù)值。如果重啟后用 ulimit-n命令查看用戶可打開文件數(shù)限制仍然低于上述步驟中設(shè)置的最大值,這可能是因為在用戶登錄腳本/etc/profile中使用ulimit -n命令已經(jīng)將用戶可同時打開的文件數(shù)做了限制。由于通過ulimit-n修改系統(tǒng)對用戶可同時打開文件的最大數(shù)限制時,新修改的值只能小于或等于上次 ulimit-n設(shè)置的值,因此想用此命令增大這個限制值是不可能的。所以,如果有上述問題存在,就只能去打開/etc/profile腳本文件,在文件中查找是否使用了ulimit-n限制了用戶可同時打開的最大文件數(shù)量,如果找到,則刪除這行命令,或者將其設(shè)置的值改為合適的值,然后保存文件,用戶退出并重新登錄系統(tǒng)即可。
通過上述步驟,就為支持高并發(fā)TCP連接處理的通訊處理程序解除關(guān)于打開文件數(shù)量方面的系統(tǒng)限制。
2、修改網(wǎng)絡(luò)內(nèi)核對TCP連接的有關(guān)限制(參考對比下篇文章“優(yōu)化內(nèi)核參數(shù)”)
在Linux上編寫支持高并發(fā)TCP連接的客戶端通訊處理程序時,有時會發(fā)現(xiàn)盡管已經(jīng)解除了系統(tǒng)對用戶同時打開文件數(shù)的限制,但仍會出現(xiàn)并發(fā)TCP連接數(shù)增加到一定數(shù)量時,再也無法成功建立新的TCP連接的現(xiàn)象。出現(xiàn)這種現(xiàn)在的原因有多種。
第一種原因可能是因為Linux網(wǎng)絡(luò)內(nèi)核對本地端口號范圍有限制。此時,進一步分析為什么無法建立TCP連接,會發(fā)現(xiàn)問題出在connect()調(diào)用返回失敗,查看系統(tǒng)錯誤提示消息是“Can’t assign requestedaddress”。同時,如果在此時用tcpdump工具監(jiān)視網(wǎng)絡(luò),會發(fā)現(xiàn)根本沒有TCP連接時客戶端發(fā)SYN包的網(wǎng)絡(luò)流量。這些情況說明問題在于本地Linux系統(tǒng)內(nèi)核中有限制。其實,問題的根本原因在于Linux內(nèi)核的TCP/IP協(xié)議實現(xiàn)模塊對系統(tǒng)中所有的客戶端TCP連接對應(yīng)的本地端口號的范圍進行了限制(例如,內(nèi)核限制本地端口號的范圍為1024~32768之間)。當(dāng)系統(tǒng)中某一時刻同時存在太多的TCP客戶端連接時,由于每個TCP客戶端連接都要占用一個唯一的本地端口號(此端口號在系統(tǒng)的本地端口號范圍限制中),如果現(xiàn)有的TCP客戶端連接已將所有的本地端口號占滿,則此時就無法為新的TCP客戶端連接分配一個本地端口號了,因此系統(tǒng)會在這種情況下在connect()調(diào)用中返回失敗,并將錯誤提示消息設(shè)為“Can’t assignrequested address”。有關(guān)這些控制邏輯可以查看Linux內(nèi)核源代碼,以linux2.6內(nèi)核為例,可以查看tcp_ipv4.c文件中如下函數(shù):
static int tcp_v4_hash_connect(struct sock *sk)
請注意上述函數(shù)中對變量sysctl_local_port_range的訪問控制。變量sysctl_local_port_range的初始化則是在tcp.c文件中的如下函數(shù)中設(shè)置:
void __init tcp_init(void)
內(nèi)核編譯時默認設(shè)置的本地端口號范圍可能太小,因此需要修改此本地端口范圍限制。
第一步,修改/etc/sysctl.conf文件,在文件中添加如下行:
net.ipv4.ip_local_port_range = 1024 65000
這表明將系統(tǒng)對本地端口范圍限制設(shè)置為1024~65000之間。請注意,本地端口范圍的最小值必須大于或等于1024;而端口范圍的最大值則應(yīng)小于或等于65535。修改完后保存此文件。
第二步,執(zhí)行sysctl命令:
[speng@as4 ~]$ sysctl -p
如果系統(tǒng)沒有錯誤提示,就表明新的本地端口范圍設(shè)置成功。如果按上述端口范圍進行設(shè)置,則理論上單獨一個進程最多可以同時建立60000多個TCP客戶端連接。
第二種無法建立TCP連接的原因可能是因為Linux網(wǎng)絡(luò)內(nèi)核的IP_TABLE防火墻對最大跟蹤的TCP連接數(shù)有限制。此時程序會表現(xiàn)為在 connect()調(diào)用中阻塞,如同死機,如果用tcpdump工具監(jiān)視網(wǎng)絡(luò),也會發(fā)現(xiàn)根本沒有TCP連接時客戶端發(fā)SYN包的網(wǎng)絡(luò)流量。由于 IP_TABLE防火墻在內(nèi)核中會對每個TCP連接的狀態(tài)進行跟蹤,跟蹤信息將會放在位于內(nèi)核內(nèi)存中的conntrackdatabase中,這個數(shù)據(jù)庫的大小有限,當(dāng)系統(tǒng)中存在過多的TCP連接時,數(shù)據(jù)庫容量不足,IP_TABLE無法為新的TCP連接建立跟蹤信息,于是表現(xiàn)為在connect()調(diào)用中阻塞。此時就必須修改內(nèi)核對最大跟蹤的TCP連接數(shù)的限制,方法同修改內(nèi)核對本地端口號范圍的限制是類似的:
第一步,修改/etc/sysctl.conf文件,在文件中添加如下行:
net.ipv4.ip_conntrack_max = 10240
這表明將系統(tǒng)對最大跟蹤的TCP連接數(shù)限制設(shè)置為10240。請注意,此限制值要盡量小,以節(jié)省對內(nèi)核內(nèi)存的占用。
第二步,執(zhí)行sysctl命令:
[speng@as4 ~]$ sysctl -p
如果系統(tǒng)沒有錯誤提示,就表明系統(tǒng)對新的最大跟蹤的TCP連接數(shù)限制修改成功。如果按上述參數(shù)進行設(shè)置,則理論上單獨一個進程最多可以同時建立10000多個TCP客戶端連接。
3、使用支持高并發(fā)網(wǎng)絡(luò)I/O的編程技術(shù)
在Linux上編寫高并發(fā)TCP連接應(yīng)用程序時,必須使用合適的網(wǎng)絡(luò)I/O技術(shù)和I/O事件分派機制。
可用的I/O技術(shù)有同步I/O,非阻塞式同步I/O(也稱反應(yīng)式I/O),以及異步I/O?!禕IO,NIO,AIO的理解》
在高TCP并發(fā)的情形下,如果使用同步I/O,這會嚴重阻塞程序的運轉(zhuǎn),除非為每個TCP連接的I/O創(chuàng)建一個線程。但是,過多的線程又會因系統(tǒng)對線程的調(diào)度造成巨大開銷。因此,在高TCP并發(fā)的情形下使用同步 I/O是不可取的,這時可以考慮使用非阻塞式同步I/O或異步I/O。非阻塞式同步I/O的技術(shù)包括使用select(),poll(),epoll等機制。異步I/O的技術(shù)就是使用AIO。
從I/O事件分派機制來看,使用select()是不合適的,因為它所支持的并發(fā)連接數(shù)有限(通常在1024個以內(nèi))。如果考慮性能,poll()也是不合適的,盡管它可以支持的較高的TCP并發(fā)數(shù),但是由于其采用“輪詢”機制,當(dāng)并發(fā)數(shù)較高時,其運行效率相當(dāng)?shù)?,并可能存在I/O事件分派不均,導(dǎo)致部分TCP連接上的I/O出現(xiàn)“饑餓”現(xiàn)象。而如果使用epoll或AIO,則沒有上述問題(早期Linux內(nèi)核的AIO技術(shù)實現(xiàn)是通過在內(nèi)核中為每個 I/O請求創(chuàng)建一個線程來實現(xiàn)的,這種實現(xiàn)機制在高并發(fā)TCP連接的情形下使用其實也有嚴重的性能問題。但在最新的Linux內(nèi)核中,AIO的實現(xiàn)已經(jīng)得到改進)。
綜上所述,在開發(fā)支持高并發(fā)TCP連接的Linux應(yīng)用程序時,應(yīng)盡量使用epoll或AIO技術(shù)來實現(xiàn)并發(fā)的TCP連接上的I/O控制,這將為提升程序?qū)Ω卟l(fā)TCP連接的支持提供有效的I/O保證。
內(nèi)核參數(shù)sysctl.conf的優(yōu)化
/etc/sysctl.conf 是用來控制linux網(wǎng)絡(luò)的配置文件,對于依賴網(wǎng)絡(luò)的程序(如web服務(wù)器和cache服務(wù)器)非常重要,RHEL默認提供的最好調(diào)整。
推薦配置(把原/etc/sysctl.conf內(nèi)容清掉,把下面內(nèi)容復(fù)制進去):
net.ipv4.ip_local_port_range = 1024 65536 net.core.rmem_max=16777216 net.core.wmem_max=16777216 net.ipv4.tcp_rmem=4096 87380 16777216 net.ipv4.tcp_wmem=4096 65536 16777216 net.ipv4.tcp_fin_timeout = 10 net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_timestamps = 0 net.ipv4.tcp_window_scaling = 0 net.ipv4.tcp_sack = 0 net.core.netdev_max_backlog = 30000 net.ipv4.tcp_no_metrics_save=1 net.core.somaxconn = 262144 net.ipv4.tcp_syncookies = 0 net.ipv4.tcp_max_orphans = 262144 net.ipv4.tcp_max_syn_backlog = 262144 net.ipv4.tcp_synack_retries = 2 net.ipv4.tcp_syn_retries = 2
這個配置參考于cache服務(wù)器varnish的推薦配置和SunOne 服務(wù)器系統(tǒng)優(yōu)化的推薦配置。
varnish調(diào)優(yōu)推薦配置的地址為:http://varnish.projects.linpro.no/wiki/Performance
不過varnish推薦的配置是有問題的,實際運行表明“net.ipv4.tcp_fin_timeout = 3”的配置會導(dǎo)致頁面經(jīng)常打不開;并且當(dāng)網(wǎng)友使用的是IE6瀏覽器時,訪問網(wǎng)站一段時間后,所有網(wǎng)頁都會打不開,重啟瀏覽器后正常。可能是國外的網(wǎng)速快吧,我們國情決定需要調(diào)整“net.ipv4.tcp_fin_timeout = 10”,在10s的情況下,一切正常(實際運行結(jié)論)。
修改完畢后,執(zhí)行:
/sbin/sysctl -p /etc/sysctl.conf /sbin/sysctl -w net.ipv4.route.flush=1
命令生效。為了保險起見,也可以reboot系統(tǒng)。
調(diào)整文件數(shù):
linux系統(tǒng)優(yōu)化完網(wǎng)絡(luò)必須調(diào)高系統(tǒng)允許打開的文件數(shù)才能支持大的并發(fā),默認1024是遠遠不夠的。
執(zhí)行命令:
echo ulimit -HSn 65536 >> /etc/rc.local echo ulimit -HSn 65536 >>/root/.bash_profile ulimit -HSn 65536
備注:
對mysql用戶可同時打開文件數(shù)設(shè)置為10240個;
將Linux系統(tǒng)可同時打開文件數(shù)設(shè)置為1000000個(一定要大于對用戶的同時打開文件數(shù)限制);
將Linux系統(tǒng)對最大追蹤的TCP連接數(shù)限制為20000個(但是,建議設(shè)置為10240;因為對mysql用戶的同時打開文件數(shù)已經(jīng)限制在10240個;且較小的值可以節(jié)省內(nèi)存);
將linux系統(tǒng)端口范圍配置為1024~30000(可以支持60000個以上連接,不建議修改;默認已經(jīng)支持20000個以上連接);
綜合上述四點,TCP連接數(shù)限制在10140個。
這10240個文件中還得除去每個進程必然打開的標準輸入,標準輸出,標準錯誤,服務(wù)器監(jiān)聽 socket,進程間通訊的unix域socket等文件。
因此,當(dāng)需要對TCP連接數(shù)進行調(diào)整時只需要調(diào)整ulimit參數(shù)。
Linux下查看tcp連接數(shù)及狀態(tài)命令:
netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'