2018年下半年，某省為推動社會治安管理和社會安全防控水平，由省公安廳發(fā)起其省會城市視頻監(jiān)控建設項目，配合該省會城市進一步完善針對大型活動的安防設施建設。項目建設內(nèi)容包括視頻監(jiān)控平臺、傳輸網(wǎng)絡、前端監(jiān)控點、監(jiān)控中心、車牌識別、可視化指揮、等業(yè)務系統(tǒng)，其中大容量高性能的后端存儲是支撐整個業(yè)務系統(tǒng)的基礎，也是建設的重要環(huán)節(jié)。

　　項目需求

　　經(jīng)過與用戶的多次交流和溝通，我們了解到，該視頻監(jiān)控項目對存儲系統(tǒng)具有以下要求：

　　1、上層視頻監(jiān)控管理、編解碼、回放、車牌識別、人臉識別等核心業(yè)務系統(tǒng)均使用文件接口進行視頻和圖片的讀寫。

　　2、由于系統(tǒng)需要服務重大活動，其視頻和圖片的存儲周期長于其他平安城市項目中對存儲周期的要求，因此數(shù)據(jù)容量要求巨大，一期項目中，單集群容量達4PB，后續(xù)仍需在此基礎上持續(xù)擴容。

　　3、擴容后，上層應用仍需要使用統(tǒng)一命名空間的文件系統(tǒng)進行數(shù)據(jù)訪問，因此要求文件存儲系統(tǒng)具備按需水平橫向擴展的能力。

　　4、系統(tǒng)需要對海量視頻、圖片進行車牌、人臉的快速識別，文件存儲系統(tǒng)需要支持數(shù)億級海量文件，且在海量文件場景下，新建文件、文件檢索和數(shù)據(jù)讀寫性能不變。

　　5、視頻監(jiān)控系統(tǒng)對接前端數(shù)千個高清攝像頭，文件存儲系統(tǒng)需支持6GB/s以上的讀寫帶寬。此外，由于業(yè)務系統(tǒng)同時也需要對車牌和人臉等大量圖片等小文件進行快速識別，意味著文件存儲系統(tǒng)需要滿足對大文件及小文件混合讀寫的高性能要求。

　　6、由于數(shù)據(jù)量巨大，在保證數(shù)據(jù)可靠性前提下，考慮到總體建設成本，要求存儲系統(tǒng)的磁盤容量利用率高于60%。

　　由于視頻監(jiān)控的整體業(yè)務系統(tǒng)需要使用文件接口對數(shù)據(jù)進行訪問，客戶在前期考察了大量集中式文件存儲和分布式文件存儲系統(tǒng)。

　　對于集中式文件存儲，難以支持單集群4PB的有效存儲容量需求，即使個別廠商的中高端NAS支持單集群4PB容量，其成本以及后續(xù)二期項目的擴展性都無法滿足要求。對于市場上主流的分布式文件系統(tǒng)產(chǎn)品，為了確保其讀寫訪問性能，大多只能采用副本方式進行數(shù)據(jù)可靠性保護，無法滿足視頻監(jiān)控系統(tǒng)對存儲的磁盤利用率要求。此外，考察的分布式文件存儲對海量文件支持，以及大文件、小文件混合讀寫性能，都存在一定缺陷。

　　YRCloudFile視頻監(jiān)控存儲方案

　　經(jīng)過反復驗證和實際測試，焱融云給客戶提出的集中式雙控FC SAN存儲+YRCloudFile單副本高可用方案，最終獲得了客戶的認可，并于最近成功落地。

　　在該方案中，底層采用了兩套集中式雙控FC SAN存儲陣列，各提供2PB有效存儲空間，通過兩臺16Gb光纖交換機，連接至前端多臺標準x86服務器，將SAN陣列提供的LUN掛載至x86服務器中。焱融云在這些x86服務器上部署了YRCloudFile的元數(shù)據(jù)服務，利用SAN陣列掛載的LUN組成YRCloudFile高性能分布式文件集群。該方案具有如下特點：

　　1、YRCloudFile向上層各個業(yè)務系統(tǒng)提供標準的POSIX文件訪問接口，用戶采購的視頻監(jiān)控及卡口監(jiān)控系統(tǒng)無需進行適配和修改，均順利完成對接。

　　2、方案中的數(shù)據(jù)可靠性通過底層雙控FC SAN陣列得到有效保障，YRCloudFile對x86服務器中使用的LUN只需使用1副本。

　　3、為了避免1副本情況下，由于單臺x86服務器故障，導致業(yè)務無法訪問掛載在該服務器上的LUN的數(shù)據(jù)，焱融云將FC SAN的每個LUN都均勻掛載到一臺以上的x86服務器上，當任意一臺x86服務器出現(xiàn)故障，該服務器上正提供YRCloudFile數(shù)據(jù)訪問的LUN被YRCloudFile集群自動將其數(shù)據(jù)服務切換至另一臺x86服務器上，使用YRCloudFile存儲服務的應用程序完全無感知，全程無需人工干預。當故障服務器恢復時，原來運行在其上的數(shù)據(jù)服務，可以重新被均衡回原有服務器上。焱融云將這種技術稱為YRCloudFile單副本高可用的運行方式。整體架構(gòu)圖如下所示：

　　4、通過YRCloudFile單副本高可用功能+雙控FC SAN陣列，使整體方案的磁盤利用率高達70%，可有效控制總體成本。

　　5、整個落地方案中，從YRCloudFile集群、兩臺FC光纖交換機、SAN陣列雙控制器、到SAN陣列內(nèi)部磁盤組及熱備盤，都實現(xiàn)了高可用，達到了系統(tǒng)的整體高可用要求。

　　6、YRCloudFile通過10Gb以太網(wǎng)連接至業(yè)務系統(tǒng)，整個文件存儲集群提供超過6GB/s的整體帶寬。

　　7、在實際測試中，YRCloudFile單集群在12億文件規(guī)模下，文件創(chuàng)建、刪除性能無任何衰減(分別對應下圖中creation和removal文件操作)，同時對小文件的讀寫訪問(可對應下圖中的stat操作以及對LUN的IO操作)可提供持續(xù)穩(wěn)定的高性能訪問，很好地滿足了支持海量文件，以及大文件和小文件混合讀寫的需求。

　　8、在方案中，YRCloudFile使用的是來自底層FC SAN陣列的存儲空間，因此，在二期進行擴容時，只需采購新的SAN存儲陣列，并相應增加上層YRCloudFile的x86服務器，即可完成容量擴容，同時維持單一的文件系統(tǒng)命名空間。

　　目前基于上述方案的分布式文件存儲系統(tǒng)已經(jīng)成功地投入正式運行，從實際使用效果看，這套存儲系統(tǒng)給上層業(yè)務帶來的整體性能和可用性確實遠遠優(yōu)于選型時考察的其它方案，用戶對此也充分認可。

　　通過該項目的成功落地，充分驗證了SAN陣列+YRCloudFile單副本高可用的技術，可以為平安城市、雪亮工程、智慧城市等項目提供高性能、支持海量文件、磁盤利用率高、高可靠、成本可控的存儲解決方案，我們也期待著焱融云的存儲技術能為更多的城市和市民服務。

特別提醒：本網(wǎng)內(nèi)容轉(zhuǎn)載自其他媒體，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實，對本文以及其中全部或者部分內(nèi)容、文字的真實性、完整性、及時性本站不作任何保證或承諾，并請自行核實相關內(nèi)容。本站不承擔此類作品侵權行為的直接責任及連帶責任。如若本網(wǎng)有任何內(nèi)容侵犯您的權益，請及時聯(lián)系我們，本站將會在24小時內(nèi)處理完畢。