Hadoop作為部署數(shù)據(jù)湖最常用的技術(shù)，以其生態(tài)為核心的大數(shù)據(jù)框架已經(jīng)十分成熟。隨著數(shù)據(jù)總量和形式的不斷增長(zhǎng)，存算分離成了大數(shù)據(jù)架構(gòu)發(fā)展的主流方向。

　　此前，杉巖數(shù)據(jù)對(duì)Hadoop生態(tài)中HDFS當(dāng)前存在的一些局限性作了分析，并介紹了基于杉巖數(shù)據(jù)高性能存儲(chǔ)引擎的大數(shù)據(jù)存算分離場(chǎng)景存儲(chǔ)解決方案。本文將進(jìn)一步介紹在實(shí)際項(xiàng)目落地過(guò)程中，杉巖數(shù)據(jù)MOSFS存算分離方案處理新老架構(gòu)更替的具體方法與操作步驟。

　　場(chǎng)景分析：從存算一體到存算分離

　　場(chǎng)景一：新建獨(dú)立計(jì)算平臺(tái)采用存算分離架構(gòu)

　　第一次建設(shè)大數(shù)據(jù)計(jì)算平臺(tái)就直接采用存算分離架構(gòu)，同時(shí)在有新業(yè)務(wù)系統(tǒng)擴(kuò)展時(shí)規(guī)劃搭建獨(dú)立的計(jì)算平臺(tái)場(chǎng)景。這是新大數(shù)據(jù)平臺(tái)搭建且獨(dú)立運(yùn)作的場(chǎng)景，不涉及到老數(shù)據(jù)的使用，也是最簡(jiǎn)單的存算分離落地場(chǎng)景。

　　場(chǎng)景二：新建大數(shù)據(jù)平臺(tái)完全替換原有平臺(tái)

　　直接新建更強(qiáng)的大數(shù)據(jù)計(jì)算平臺(tái)完全替換原有計(jì)算平臺(tái)，在計(jì)算平臺(tái)升級(jí)換代時(shí)采用存算分離架構(gòu)。該場(chǎng)景下原有平臺(tái)的計(jì)算與存儲(chǔ)直接淘汰，但由于存在歷史數(shù)據(jù)，需要將原有的HDFS數(shù)據(jù)遷移到新的分離存儲(chǔ)中。

　　場(chǎng)景三：獨(dú)立部署分離存儲(chǔ)擴(kuò)容HDFS

　　在實(shí)際數(shù)據(jù)湖建設(shè)項(xiàng)目中，更多是利舊場(chǎng)景，在新增獨(dú)立分離存儲(chǔ)外，將繼續(xù)使用原有的計(jì)算平臺(tái)，同時(shí)原有HDFS的存儲(chǔ)空間與數(shù)據(jù)需要保留，以實(shí)現(xiàn)HDFS空間的整體擴(kuò)容。

　　杉巖數(shù)據(jù)MOSFS實(shí)現(xiàn)存算分離平滑落地

　　針對(duì)存在老HDFS數(shù)據(jù)的后兩種場(chǎng)景，杉巖數(shù)據(jù)推出大數(shù)據(jù)存算分離場(chǎng)景的存儲(chǔ)解決方案，可通過(guò)MOSFS支持的符號(hào)鏈接方式，實(shí)現(xiàn)對(duì)原有HDFS的納管與數(shù)據(jù)自動(dòng)遷移，使用提供的自動(dòng)化工具通過(guò)特定步驟操作即可便捷地完成。

圖 MOSFS納管遷移HDFS實(shí)現(xiàn)存算分離

　　步驟一：執(zhí)行初始化，實(shí)現(xiàn)MOSFS到HDFS映射通路

　　使用MOSFS遷移工具在HDFS的指定路徑(比如/name目錄)執(zhí)行初始化命令，執(zhí)行之后通過(guò)MOSFS的客戶(hù)端訪(fǎng)問(wèn)mosfs://name/，就能完整訪(fǎng)問(wèn)HDFS對(duì)應(yīng)/name目錄里的內(nèi)容，兩者是完全等價(jià)的。在完成初始化操作之后，MOSFS就具備了讀寫(xiě)HDFS存儲(chǔ)空間的能力，該過(guò)程原有數(shù)據(jù)流程沒(méi)有更改，所以業(yè)務(wù)系統(tǒng)的運(yùn)行完全無(wú)感。

　　步驟二：計(jì)算平臺(tái)切換schema為mosfs

　　將fs.hdfs.impl的配置修改為MOSFS的實(shí)現(xiàn)，此修改實(shí)現(xiàn)上層計(jì)算組件訪(fǎng)問(wèn)存儲(chǔ)的schema切換為mosfs://。初始化已經(jīng)完成了MOSFS到HDFS的通路建立，因此當(dāng)完成配置修改并重啟計(jì)算組件后，各個(gè)組件便可通過(guò)mosfs://的方式來(lái)讀寫(xiě)原有HDFS存儲(chǔ)的數(shù)據(jù)。該步驟的執(zhí)行涉及到計(jì)算組件的重啟，但是業(yè)務(wù)受影響的時(shí)間很短。

　　步驟三：同步目錄結(jié)構(gòu)，實(shí)現(xiàn)讀寫(xiě)分流

　　完成上一步驟后，業(yè)務(wù)的數(shù)據(jù)讀寫(xiě)還在原有的HDFS中執(zhí)行，再使用自動(dòng)化工具執(zhí)行目錄同步。執(zhí)行完成后，MOSFS的命名空間中會(huì)按照HDFS中相同的拓?fù)浣Y(jié)構(gòu)創(chuàng)建所有目錄及對(duì)應(yīng)的文件，但文件依舊會(huì)以符號(hào)鏈接的方式映射到HDFS中的相同文件上。這時(shí)業(yè)務(wù)側(cè)讀數(shù)據(jù)時(shí)，依舊會(huì)通過(guò)符號(hào)鏈接方式直接讀取原有HDFS存儲(chǔ)中的對(duì)應(yīng)文件，而寫(xiě)操作則會(huì)在MOSFS的存儲(chǔ)空間中直接寫(xiě)入新的文件。

　　此步驟在實(shí)現(xiàn)新老數(shù)據(jù)讀寫(xiě)分流的同時(shí)，對(duì)業(yè)務(wù)層無(wú)影響。

　　執(zhí)行完以上三個(gè)步驟，MOSFS對(duì)原有HDFS的納管操作就完成了場(chǎng)景三獨(dú)立部署分離存儲(chǔ)擴(kuò)容HDFS中存算分離架構(gòu)的實(shí)現(xiàn)。此過(guò)程沒(méi)有改變?cè)写鎯?chǔ)空間的目錄結(jié)構(gòu)，對(duì)業(yè)務(wù)應(yīng)用系統(tǒng)無(wú)影響。

圖 MOSFS納管HDFS實(shí)現(xiàn)讀寫(xiě)分流

　　在實(shí)踐中，現(xiàn)有HDFS也可通過(guò)ViewFS機(jī)制實(shí)現(xiàn)多HDFS集群的擴(kuò)展，但ViewFS機(jī)制在應(yīng)對(duì)已有老數(shù)據(jù)的目錄擴(kuò)容時(shí)需要?jiǎng)?chuàng)建新的子目錄，如需使用老數(shù)據(jù)，則需要業(yè)務(wù)側(cè)做代碼的調(diào)整適配或?qū)⒗蠑?shù)據(jù)遷移。MOSFS依靠符號(hào)鏈接方式實(shí)現(xiàn)多集群的數(shù)據(jù)讀寫(xiě)分流，解決了HDFS通過(guò)ViewFS機(jī)制不能將多個(gè)存儲(chǔ)空間掛載到相同掛載點(diǎn)的情況，滿(mǎn)足了已有存儲(chǔ)目錄的擴(kuò)容需求。

　　步驟四：遷移數(shù)據(jù)

　　在場(chǎng)景二新建大數(shù)據(jù)平臺(tái)完全替換原有平臺(tái)中，為了實(shí)現(xiàn)存算分離的落地，需要將原有HDFS集群中的數(shù)據(jù)完整地遷移到分離部署的MOSFS中。我們依舊使用遷移工具執(zhí)行copy命令觸發(fā)數(shù)據(jù)的自動(dòng)遷移，具體執(zhí)行過(guò)程中還可以通過(guò)業(yè)務(wù)負(fù)載以及對(duì)應(yīng)硬件資源來(lái)調(diào)整遷移任務(wù)的并發(fā)數(shù)，在不影響前端業(yè)務(wù)的情況下高效地完成數(shù)據(jù)的遷移。單個(gè)原有HDFS文件的符號(hào)鏈接在對(duì)應(yīng)文件數(shù)據(jù)完成遷移后會(huì)執(zhí)行刪除鏈接操作，在符號(hào)鏈接刪除前業(yè)務(wù)通過(guò)符號(hào)鏈接訪(fǎng)問(wèn)HDFS數(shù)據(jù)，刪除后直接訪(fǎng)問(wèn)MOSFS存儲(chǔ)中的文件數(shù)據(jù)。遷移完成的文件生效切換僅涉及一個(gè)元數(shù)據(jù)的更新操作，所以實(shí)際的數(shù)據(jù)遷移過(guò)程不影響業(yè)務(wù)層。

　　在數(shù)據(jù)遷移過(guò)程中，MOSFS遷移工具支持通過(guò)反向遷移隨時(shí)回滾，撤銷(xiāo)遷移操作。如已有新增數(shù)據(jù)寫(xiě)入到MOSFS中，也能把這些新增數(shù)據(jù)拷貝回原始的存儲(chǔ)系統(tǒng)。

　　步驟五：刪除老數(shù)據(jù)

　　執(zhí)行完前4個(gè)步驟，所有的業(yè)務(wù)數(shù)據(jù)讀寫(xiě)都已在新的分離部署存儲(chǔ)中，就可以刪除老數(shù)據(jù)或拆除原有的集群，實(shí)現(xiàn)新的存算分離架構(gòu)對(duì)原有存算一體架構(gòu)的升級(jí)改造。

　　總結(jié)

圖 MOSFS多源匯聚兼容多種存儲(chǔ)

　　通過(guò)前面的介紹，可以看到，依靠MOSFS強(qiáng)大的符號(hào)鏈接特性與遷移工具，執(zhí)行簡(jiǎn)單的操作步驟即可完成對(duì)HDFS的納管與數(shù)據(jù)遷移，讓MOSFS具備多種場(chǎng)景下存算分離架構(gòu)平滑落地的能力。在涉及老數(shù)據(jù)遷移的場(chǎng)景中，納管遷移對(duì)業(yè)務(wù)的影響也僅僅在于一次配置修改與計(jì)算組件重啟，對(duì)客戶(hù)的業(yè)務(wù)系統(tǒng)影響較小。同時(shí)，MOSFS的底座基于杉巖數(shù)據(jù)高性能存儲(chǔ)引擎，還具備更多場(chǎng)景的數(shù)據(jù)納管與連通能力。

特別提醒：本網(wǎng)信息來(lái)自于互聯(lián)網(wǎng)，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。本站不承擔(dān)此類(lèi)作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請(qǐng)及時(shí)聯(lián)系我們，本站將會(huì)在24小時(shí)內(nèi)處理完畢。