2018年下半年，某省為推動(dòng)社會(huì)治安管理和社會(huì)安全防控水平，由省公安廳發(fā)起其省會(huì)城市視頻監(jiān)控建設(shè)項(xiàng)目，配合該省會(huì)城市進(jìn)一步完善針對(duì)大型活動(dòng)的安防設(shè)施建設(shè)。項(xiàng)目建設(shè)內(nèi)容包括視頻監(jiān)控平臺(tái)、傳輸網(wǎng)絡(luò)、前端監(jiān)控點(diǎn)、監(jiān)控中心、車牌識(shí)別、可視化指揮、等業(yè)務(wù)系統(tǒng)，其中大容量高性能的后端存儲(chǔ)是支撐整個(gè)業(yè)務(wù)系統(tǒng)的基礎(chǔ)，也是建設(shè)的重要環(huán)節(jié)。

　　項(xiàng)目需求

　　經(jīng)過(guò)與用戶的多次交流和溝通，我們了解到，該視頻監(jiān)控項(xiàng)目對(duì)存儲(chǔ)系統(tǒng)具有以下要求：

　　1、上層視頻監(jiān)控管理、編解碼、回放、車牌識(shí)別、人臉識(shí)別等核心業(yè)務(wù)系統(tǒng)均使用文件接口進(jìn)行視頻和圖片的讀寫。

　　2、由于系統(tǒng)需要服務(wù)重大活動(dòng)，其視頻和圖片的存儲(chǔ)周期長(zhǎng)于其他平安城市項(xiàng)目中對(duì)存儲(chǔ)周期的要求，因此數(shù)據(jù)容量要求巨大，一期項(xiàng)目中，單集群容量達(dá)4PB，后續(xù)仍需在此基礎(chǔ)上持續(xù)擴(kuò)容。

　　3、擴(kuò)容后，上層應(yīng)用仍需要使用統(tǒng)一命名空間的文件系統(tǒng)進(jìn)行數(shù)據(jù)訪問(wèn)，因此要求文件存儲(chǔ)系統(tǒng)具備按需水平橫向擴(kuò)展的能力。

　　4、系統(tǒng)需要對(duì)海量視頻、圖片進(jìn)行車牌、人臉的快速識(shí)別，文件存儲(chǔ)系統(tǒng)需要支持?jǐn)?shù)億級(jí)海量文件，且在海量文件場(chǎng)景下，新建文件、文件檢索和數(shù)據(jù)讀寫性能不變。

　　5、視頻監(jiān)控系統(tǒng)對(duì)接前端數(shù)千個(gè)高清攝像頭，文件存儲(chǔ)系統(tǒng)需支持6GB/s以上的讀寫帶寬。此外，由于業(yè)務(wù)系統(tǒng)同時(shí)也需要對(duì)車牌和人臉等大量圖片等小文件進(jìn)行快速識(shí)別，意味著文件存儲(chǔ)系統(tǒng)需要滿足對(duì)大文件及小文件混合讀寫的高性能要求。

　　6、由于數(shù)據(jù)量巨大，在保證數(shù)據(jù)可靠性前提下，考慮到總體建設(shè)成本，要求存儲(chǔ)系統(tǒng)的磁盤容量利用率高于60%。

　　由于視頻監(jiān)控的整體業(yè)務(wù)系統(tǒng)需要使用文件接口對(duì)數(shù)據(jù)進(jìn)行訪問(wèn)，客戶在前期考察了大量集中式文件存儲(chǔ)和分布式文件存儲(chǔ)系統(tǒng)。

　　對(duì)于集中式文件存儲(chǔ)，難以支持單集群4PB的有效存儲(chǔ)容量需求，即使個(gè)別廠商的中高端NAS支持單集群4PB容量，其成本以及后續(xù)二期項(xiàng)目的擴(kuò)展性都無(wú)法滿足要求。對(duì)于市場(chǎng)上主流的分布式文件系統(tǒng)產(chǎn)品，為了確保其讀寫訪問(wèn)性能，大多只能采用副本方式進(jìn)行數(shù)據(jù)可靠性保護(hù)，無(wú)法滿足視頻監(jiān)控系統(tǒng)對(duì)存儲(chǔ)的磁盤利用率要求。此外，考察的分布式文件存儲(chǔ)對(duì)海量文件支持，以及大文件、小文件混合讀寫性能，都存在一定缺陷。

　　YRCloudFile視頻監(jiān)控存儲(chǔ)方案

　　經(jīng)過(guò)反復(fù)驗(yàn)證和實(shí)際測(cè)試，焱融云給客戶提出的集中式雙控FC SAN存儲(chǔ)+YRCloudFile單副本高可用方案，最終獲得了客戶的認(rèn)可，并于最近成功落地。

　　在該方案中，底層采用了兩套集中式雙控FC SAN存儲(chǔ)陣列，各提供2PB有效存儲(chǔ)空間，通過(guò)兩臺(tái)16Gb光纖交換機(jī)，連接至前端多臺(tái)標(biāo)準(zhǔn)x86服務(wù)器，將SAN陣列提供的LUN掛載至x86服務(wù)器中。焱融云在這些x86服務(wù)器上部署了YRCloudFile的元數(shù)據(jù)服務(wù)，利用SAN陣列掛載的LUN組成YRCloudFile高性能分布式文件集群。該方案具有如下特點(diǎn)：

　　1、YRCloudFile向上層各個(gè)業(yè)務(wù)系統(tǒng)提供標(biāo)準(zhǔn)的POSIX文件訪問(wèn)接口，用戶采購(gòu)的視頻監(jiān)控及卡口監(jiān)控系統(tǒng)無(wú)需進(jìn)行適配和修改，均順利完成對(duì)接。

　　2、方案中的數(shù)據(jù)可靠性通過(guò)底層雙控FC SAN陣列得到有效保障，YRCloudFile對(duì)x86服務(wù)器中使用的LUN只需使用1副本。

　　3、為了避免1副本情況下，由于單臺(tái)x86服務(wù)器故障，導(dǎo)致業(yè)務(wù)無(wú)法訪問(wèn)掛載在該服務(wù)器上的LUN的數(shù)據(jù)，焱融云將FC SAN的每個(gè)LUN都均勻掛載到一臺(tái)以上的x86服務(wù)器上，當(dāng)任意一臺(tái)x86服務(wù)器出現(xiàn)故障，該服務(wù)器上正提供YRCloudFile數(shù)據(jù)訪問(wèn)的LUN被YRCloudFile集群自動(dòng)將其數(shù)據(jù)服務(wù)切換至另一臺(tái)x86服務(wù)器上，使用YRCloudFile存儲(chǔ)服務(wù)的應(yīng)用程序完全無(wú)感知，全程無(wú)需人工干預(yù)。當(dāng)故障服務(wù)器恢復(fù)時(shí)，原來(lái)運(yùn)行在其上的數(shù)據(jù)服務(wù)，可以重新被均衡回原有服務(wù)器上。焱融云將這種技術(shù)稱為YRCloudFile單副本高可用的運(yùn)行方式。整體架構(gòu)圖如下所示：

　　4、通過(guò)YRCloudFile單副本高可用功能+雙控FC SAN陣列，使整體方案的磁盤利用率高達(dá)70%，可有效控制總體成本。

　　5、整個(gè)落地方案中，從YRCloudFile集群、兩臺(tái)FC光纖交換機(jī)、SAN陣列雙控制器、到SAN陣列內(nèi)部磁盤組及熱備盤，都實(shí)現(xiàn)了高可用，達(dá)到了系統(tǒng)的整體高可用要求。

　　6、YRCloudFile通過(guò)10Gb以太網(wǎng)連接至業(yè)務(wù)系統(tǒng)，整個(gè)文件存儲(chǔ)集群提供超過(guò)6GB/s的整體帶寬。

　　7、在實(shí)際測(cè)試中，YRCloudFile單集群在12億文件規(guī)模下，文件創(chuàng)建、刪除性能無(wú)任何衰減(分別對(duì)應(yīng)下圖中creation和removal文件操作)，同時(shí)對(duì)小文件的讀寫訪問(wèn)(可對(duì)應(yīng)下圖中的stat操作以及對(duì)LUN的IO操作)可提供持續(xù)穩(wěn)定的高性能訪問(wèn)，很好地滿足了支持海量文件，以及大文件和小文件混合讀寫的需求。

　　8、在方案中，YRCloudFile使用的是來(lái)自底層FC SAN陣列的存儲(chǔ)空間，因此，在二期進(jìn)行擴(kuò)容時(shí)，只需采購(gòu)新的SAN存儲(chǔ)陣列，并相應(yīng)增加上層YRCloudFile的x86服務(wù)器，即可完成容量擴(kuò)容，同時(shí)維持單一的文件系統(tǒng)命名空間。

　　目前基于上述方案的分布式文件存儲(chǔ)系統(tǒng)已經(jīng)成功地投入正式運(yùn)行，從實(shí)際使用效果看，這套存儲(chǔ)系統(tǒng)給上層業(yè)務(wù)帶來(lái)的整體性能和可用性確實(shí)遠(yuǎn)遠(yuǎn)優(yōu)于選型時(shí)考察的其它方案，用戶對(duì)此也充分認(rèn)可。

　　通過(guò)該項(xiàng)目的成功落地，充分驗(yàn)證了SAN陣列+YRCloudFile單副本高可用的技術(shù)，可以為平安城市、雪亮工程、智慧城市等項(xiàng)目提供高性能、支持海量文件、磁盤利用率高、高可靠、成本可控的存儲(chǔ)解決方案，我們也期待著焱融云的存儲(chǔ)技術(shù)能為更多的城市和市民服務(wù)。

特別提醒：本網(wǎng)內(nèi)容轉(zhuǎn)載自其他媒體，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。本站不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請(qǐng)及時(shí)聯(lián)系我們，本站將會(huì)在24小時(shí)內(nèi)處理完畢。