Hadoop作為部署數(shù)據(jù)湖最常用的技術，以其生態(tài)為核心的大數(shù)據(jù)框架已經(jīng)十分成熟。隨著數(shù)據(jù)總量和形式的不斷增長，存算分離成了大數(shù)據(jù)架構(gòu)發(fā)展的主流方向。

　　此前，杉巖數(shù)據(jù)對Hadoop生態(tài)中HDFS當前存在的一些局限性作了分析，并介紹了基于杉巖數(shù)據(jù)高性能存儲引擎的大數(shù)據(jù)存算分離場景存儲解決方案。本文將進一步介紹在實際項目落地過程中，杉巖數(shù)據(jù)MOSFS存算分離方案處理新老架構(gòu)更替的具體方法與操作步驟。

　　場景分析：從存算一體到存算分離

　　場景一：新建獨立計算平臺采用存算分離架構(gòu)

　　第一次建設大數(shù)據(jù)計算平臺就直接采用存算分離架構(gòu)，同時在有新業(yè)務系統(tǒng)擴展時規(guī)劃搭建獨立的計算平臺場景。這是新大數(shù)據(jù)平臺搭建且獨立運作的場景，不涉及到老數(shù)據(jù)的使用，也是最簡單的存算分離落地場景。

　　場景二：新建大數(shù)據(jù)平臺完全替換原有平臺

　　直接新建更強的大數(shù)據(jù)計算平臺完全替換原有計算平臺，在計算平臺升級換代時采用存算分離架構(gòu)。該場景下原有平臺的計算與存儲直接淘汰，但由于存在歷史數(shù)據(jù)，需要將原有的HDFS數(shù)據(jù)遷移到新的分離存儲中。

　　場景三：獨立部署分離存儲擴容HDFS

　　在實際數(shù)據(jù)湖建設項目中，更多是利舊場景，在新增獨立分離存儲外，將繼續(xù)使用原有的計算平臺，同時原有HDFS的存儲空間與數(shù)據(jù)需要保留，以實現(xiàn)HDFS空間的整體擴容。

　　杉巖數(shù)據(jù)MOSFS實現(xiàn)存算分離平滑落地

　　針對存在老HDFS數(shù)據(jù)的后兩種場景，杉巖數(shù)據(jù)推出大數(shù)據(jù)存算分離場景的存儲解決方案，可通過MOSFS支持的符號鏈接方式，實現(xiàn)對原有HDFS的納管與數(shù)據(jù)自動遷移，使用提供的自動化工具通過特定步驟操作即可便捷地完成。

圖 MOSFS納管遷移HDFS實現(xiàn)存算分離

　　步驟一：執(zhí)行初始化，實現(xiàn)MOSFS到HDFS映射通路

　　使用MOSFS遷移工具在HDFS的指定路徑(比如/name目錄)執(zhí)行初始化命令，執(zhí)行之后通過MOSFS的客戶端訪問mosfs://name/，就能完整訪問HDFS對應/name目錄里的內(nèi)容，兩者是完全等價的。在完成初始化操作之后，MOSFS就具備了讀寫HDFS存儲空間的能力，該過程原有數(shù)據(jù)流程沒有更改，所以業(yè)務系統(tǒng)的運行完全無感。

　　步驟二：計算平臺切換schema為mosfs

　　將fs.hdfs.impl的配置修改為MOSFS的實現(xiàn)，此修改實現(xiàn)上層計算組件訪問存儲的schema切換為mosfs://。初始化已經(jīng)完成了MOSFS到HDFS的通路建立，因此當完成配置修改并重啟計算組件后，各個組件便可通過mosfs://的方式來讀寫原有HDFS存儲的數(shù)據(jù)。該步驟的執(zhí)行涉及到計算組件的重啟，但是業(yè)務受影響的時間很短。

　　步驟三：同步目錄結(jié)構(gòu)，實現(xiàn)讀寫分流

　　完成上一步驟后，業(yè)務的數(shù)據(jù)讀寫還在原有的HDFS中執(zhí)行，再使用自動化工具執(zhí)行目錄同步。執(zhí)行完成后，MOSFS的命名空間中會按照HDFS中相同的拓撲結(jié)構(gòu)創(chuàng)建所有目錄及對應的文件，但文件依舊會以符號鏈接的方式映射到HDFS中的相同文件上。這時業(yè)務側(cè)讀數(shù)據(jù)時，依舊會通過符號鏈接方式直接讀取原有HDFS存儲中的對應文件，而寫操作則會在MOSFS的存儲空間中直接寫入新的文件。

　　此步驟在實現(xiàn)新老數(shù)據(jù)讀寫分流的同時，對業(yè)務層無影響。

　　執(zhí)行完以上三個步驟，MOSFS對原有HDFS的納管操作就完成了場景三獨立部署分離存儲擴容HDFS中存算分離架構(gòu)的實現(xiàn)。此過程沒有改變原有存儲空間的目錄結(jié)構(gòu)，對業(yè)務應用系統(tǒng)無影響。

圖 MOSFS納管HDFS實現(xiàn)讀寫分流

　　在實踐中，現(xiàn)有HDFS也可通過ViewFS機制實現(xiàn)多HDFS集群的擴展，但ViewFS機制在應對已有老數(shù)據(jù)的目錄擴容時需要創(chuàng)建新的子目錄，如需使用老數(shù)據(jù)，則需要業(yè)務側(cè)做代碼的調(diào)整適配或?qū)⒗蠑?shù)據(jù)遷移。MOSFS依靠符號鏈接方式實現(xiàn)多集群的數(shù)據(jù)讀寫分流，解決了HDFS通過ViewFS機制不能將多個存儲空間掛載到相同掛載點的情況，滿足了已有存儲目錄的擴容需求。

　　步驟四：遷移數(shù)據(jù)

　　在場景二新建大數(shù)據(jù)平臺完全替換原有平臺中，為了實現(xiàn)存算分離的落地，需要將原有HDFS集群中的數(shù)據(jù)完整地遷移到分離部署的MOSFS中。我們依舊使用遷移工具執(zhí)行copy命令觸發(fā)數(shù)據(jù)的自動遷移，具體執(zhí)行過程中還可以通過業(yè)務負載以及對應硬件資源來調(diào)整遷移任務的并發(fā)數(shù)，在不影響前端業(yè)務的情況下高效地完成數(shù)據(jù)的遷移。單個原有HDFS文件的符號鏈接在對應文件數(shù)據(jù)完成遷移后會執(zhí)行刪除鏈接操作，在符號鏈接刪除前業(yè)務通過符號鏈接訪問HDFS數(shù)據(jù)，刪除后直接訪問MOSFS存儲中的文件數(shù)據(jù)。遷移完成的文件生效切換僅涉及一個元數(shù)據(jù)的更新操作，所以實際的數(shù)據(jù)遷移過程不影響業(yè)務層。

　　在數(shù)據(jù)遷移過程中，MOSFS遷移工具支持通過反向遷移隨時回滾，撤銷遷移操作。如已有新增數(shù)據(jù)寫入到MOSFS中，也能把這些新增數(shù)據(jù)拷貝回原始的存儲系統(tǒng)。

　　步驟五：刪除老數(shù)據(jù)

　　執(zhí)行完前4個步驟，所有的業(yè)務數(shù)據(jù)讀寫都已在新的分離部署存儲中，就可以刪除老數(shù)據(jù)或拆除原有的集群，實現(xiàn)新的存算分離架構(gòu)對原有存算一體架構(gòu)的升級改造。

　　總結(jié)

圖 MOSFS多源匯聚兼容多種存儲

　　通過前面的介紹，可以看到，依靠MOSFS強大的符號鏈接特性與遷移工具，執(zhí)行簡單的操作步驟即可完成對HDFS的納管與數(shù)據(jù)遷移，讓MOSFS具備多種場景下存算分離架構(gòu)平滑落地的能力。在涉及老數(shù)據(jù)遷移的場景中，納管遷移對業(yè)務的影響也僅僅在于一次配置修改與計算組件重啟，對客戶的業(yè)務系統(tǒng)影響較小。同時，MOSFS的底座基于杉巖數(shù)據(jù)高性能存儲引擎，還具備更多場景的數(shù)據(jù)納管與連通能力。

特別提醒：本網(wǎng)信息來自于互聯(lián)網(wǎng)，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實，對本文以及其中全部或者部分內(nèi)容、文字的真實性、完整性、及時性本站不作任何保證或承諾，并請自行核實相關內(nèi)容。本站不承擔此類作品侵權行為的直接責任及連帶責任。如若本網(wǎng)有任何內(nèi)容侵犯您的權益，請及時聯(lián)系我們，本站將會在24小時內(nèi)處理完畢。