久久久久久久视色,久久电影免费精品,中文亚洲欧美乱码在线观看,在线免费播放AV片

<center id="vfaef"><input id="vfaef"><table id="vfaef"></table></input></center>

    <p id="vfaef"><kbd id="vfaef"></kbd></p>

    
    
    <pre id="vfaef"><u id="vfaef"></u></pre>

      <thead id="vfaef"><input id="vfaef"></input></thead>

    1. 站長(zhǎng)資訊網(wǎng)
      最全最豐富的資訊網(wǎng)站

      Hadoop大數(shù)據(jù)存算分離下,遷移HDFS如何做到業(yè)務(wù)無(wú)感?

        Hadoop作為部署數(shù)據(jù)湖最常用的技術(shù),以其生態(tài)為核心的大數(shù)據(jù)框架已經(jīng)十分成熟。隨著數(shù)據(jù)總量和形式的不斷增長(zhǎng),存算分離成了大數(shù)據(jù)架構(gòu)發(fā)展的主流方向。

        此前,杉巖數(shù)據(jù)對(duì)Hadoop生態(tài)中HDFS當(dāng)前存在的一些局限性作了分析,并介紹了基于杉巖數(shù)據(jù)高性能存儲(chǔ)引擎的大數(shù)據(jù)存算分離場(chǎng)景存儲(chǔ)解決方案。本文將進(jìn)一步介紹在實(shí)際項(xiàng)目落地過(guò)程中,杉巖數(shù)據(jù)MOSFS存算分離方案處理新老架構(gòu)更替的具體方法與操作步驟。

        場(chǎng)景分析:從存算一體到存算分離

        場(chǎng)景一:新建獨(dú)立計(jì)算平臺(tái)采用存算分離架構(gòu)

        第一次建設(shè)大數(shù)據(jù)計(jì)算平臺(tái)就直接采用存算分離架構(gòu),同時(shí)在有新業(yè)務(wù)系統(tǒng)擴(kuò)展時(shí)規(guī)劃搭建獨(dú)立的計(jì)算平臺(tái)場(chǎng)景。這是新大數(shù)據(jù)平臺(tái)搭建且獨(dú)立運(yùn)作的場(chǎng)景,不涉及到老數(shù)據(jù)的使用,也是最簡(jiǎn)單的存算分離落地場(chǎng)景。

        場(chǎng)景二:新建大數(shù)據(jù)平臺(tái)完全替換原有平臺(tái)

        直接新建更強(qiáng)的大數(shù)據(jù)計(jì)算平臺(tái)完全替換原有計(jì)算平臺(tái),在計(jì)算平臺(tái)升級(jí)換代時(shí)采用存算分離架構(gòu)。該場(chǎng)景下原有平臺(tái)的計(jì)算與存儲(chǔ)直接淘汰,但由于存在歷史數(shù)據(jù),需要將原有的HDFS數(shù)據(jù)遷移到新的分離存儲(chǔ)中。

        場(chǎng)景三:獨(dú)立部署分離存儲(chǔ)擴(kuò)容HDFS

        在實(shí)際數(shù)據(jù)湖建設(shè)項(xiàng)目中,更多是利舊場(chǎng)景,在新增獨(dú)立分離存儲(chǔ)外,將繼續(xù)使用原有的計(jì)算平臺(tái),同時(shí)原有HDFS的存儲(chǔ)空間與數(shù)據(jù)需要保留,以實(shí)現(xiàn)HDFS空間的整體擴(kuò)容。

        杉巖數(shù)據(jù)MOSFS實(shí)現(xiàn)存算分離平滑落地

        針對(duì)存在老HDFS數(shù)據(jù)的后兩種場(chǎng)景,杉巖數(shù)據(jù)推出大數(shù)據(jù)存算分離場(chǎng)景的存儲(chǔ)解決方案,可通過(guò)MOSFS支持的符號(hào)鏈接方式,實(shí)現(xiàn)對(duì)原有HDFS的納管與數(shù)據(jù)自動(dòng)遷移,使用提供的自動(dòng)化工具通過(guò)特定步驟操作即可便捷地完成。

      Hadoop大數(shù)據(jù)存算分離下,遷移HDFS如何做到業(yè)務(wù)無(wú)感?

      圖 MOSFS納管遷移HDFS實(shí)現(xiàn)存算分離

        步驟一:執(zhí)行初始化,實(shí)現(xiàn)MOSFS到HDFS映射通路

        使用MOSFS遷移工具在HDFS的指定路徑(比如/name目錄)執(zhí)行初始化命令,執(zhí)行之后通過(guò)MOSFS的客戶(hù)端訪(fǎng)問(wèn)mosfs://name/,就能完整訪(fǎng)問(wèn)HDFS對(duì)應(yīng)/name目錄里的內(nèi)容,兩者是完全等價(jià)的。在完成初始化操作之后,MOSFS就具備了讀寫(xiě)HDFS存儲(chǔ)空間的能力,該過(guò)程原有數(shù)據(jù)流程沒(méi)有更改,所以業(yè)務(wù)系統(tǒng)的運(yùn)行完全無(wú)感。

      Hadoop大數(shù)據(jù)存算分離下,遷移HDFS如何做到業(yè)務(wù)無(wú)感?

        步驟二:計(jì)算平臺(tái)切換schema為mosfs

        將fs.hdfs.impl的配置修改為MOSFS的實(shí)現(xiàn),此修改實(shí)現(xiàn)上層計(jì)算組件訪(fǎng)問(wèn)存儲(chǔ)的schema切換為mosfs://。初始化已經(jīng)完成了MOSFS到HDFS的通路建立,因此當(dāng)完成配置修改并重啟計(jì)算組件后,各個(gè)組件便可通過(guò)mosfs://的方式來(lái)讀寫(xiě)原有HDFS存儲(chǔ)的數(shù)據(jù)。該步驟的執(zhí)行涉及到計(jì)算組件的重啟,但是業(yè)務(wù)受影響的時(shí)間很短。

        步驟三:同步目錄結(jié)構(gòu),實(shí)現(xiàn)讀寫(xiě)分流

        完成上一步驟后,業(yè)務(wù)的數(shù)據(jù)讀寫(xiě)還在原有的HDFS中執(zhí)行,再使用自動(dòng)化工具執(zhí)行目錄同步。執(zhí)行完成后,MOSFS的命名空間中會(huì)按照HDFS中相同的拓?fù)浣Y(jié)構(gòu)創(chuàng)建所有目錄及對(duì)應(yīng)的文件,但文件依舊會(huì)以符號(hào)鏈接的方式映射到HDFS中的相同文件上。這時(shí)業(yè)務(wù)側(cè)讀數(shù)據(jù)時(shí),依舊會(huì)通過(guò)符號(hào)鏈接方式直接讀取原有HDFS存儲(chǔ)中的對(duì)應(yīng)文件,而寫(xiě)操作則會(huì)在MOSFS的存儲(chǔ)空間中直接寫(xiě)入新的文件。

      Hadoop大數(shù)據(jù)存算分離下,遷移HDFS如何做到業(yè)務(wù)無(wú)感?

        此步驟在實(shí)現(xiàn)新老數(shù)據(jù)讀寫(xiě)分流的同時(shí),對(duì)業(yè)務(wù)層無(wú)影響。

        執(zhí)行完以上三個(gè)步驟,MOSFS對(duì)原有HDFS的納管操作就完成了場(chǎng)景三獨(dú)立部署分離存儲(chǔ)擴(kuò)容HDFS中存算分離架構(gòu)的實(shí)現(xiàn)。此過(guò)程沒(méi)有改變?cè)写鎯?chǔ)空間的目錄結(jié)構(gòu),對(duì)業(yè)務(wù)應(yīng)用系統(tǒng)無(wú)影響。

      Hadoop大數(shù)據(jù)存算分離下,遷移HDFS如何做到業(yè)務(wù)無(wú)感?

      圖 MOSFS納管HDFS實(shí)現(xiàn)讀寫(xiě)分流

        在實(shí)踐中,現(xiàn)有HDFS也可通過(guò)ViewFS機(jī)制實(shí)現(xiàn)多HDFS集群的擴(kuò)展,但ViewFS機(jī)制在應(yīng)對(duì)已有老數(shù)據(jù)的目錄擴(kuò)容時(shí)需要?jiǎng)?chuàng)建新的子目錄,如需使用老數(shù)據(jù),則需要業(yè)務(wù)側(cè)做代碼的調(diào)整適配或?qū)⒗蠑?shù)據(jù)遷移。MOSFS依靠符號(hào)鏈接方式實(shí)現(xiàn)多集群的數(shù)據(jù)讀寫(xiě)分流,解決了HDFS通過(guò)ViewFS機(jī)制不能將多個(gè)存儲(chǔ)空間掛載到相同掛載點(diǎn)的情況,滿(mǎn)足了已有存儲(chǔ)目錄的擴(kuò)容需求。

        步驟四:遷移數(shù)據(jù)

        在場(chǎng)景二新建大數(shù)據(jù)平臺(tái)完全替換原有平臺(tái)中,為了實(shí)現(xiàn)存算分離的落地,需要將原有HDFS集群中的數(shù)據(jù)完整地遷移到分離部署的MOSFS中。我們依舊使用遷移工具執(zhí)行copy命令觸發(fā)數(shù)據(jù)的自動(dòng)遷移,具體執(zhí)行過(guò)程中還可以通過(guò)業(yè)務(wù)負(fù)載以及對(duì)應(yīng)硬件資源來(lái)調(diào)整遷移任務(wù)的并發(fā)數(shù),在不影響前端業(yè)務(wù)的情況下高效地完成數(shù)據(jù)的遷移。單個(gè)原有HDFS文件的符號(hào)鏈接在對(duì)應(yīng)文件數(shù)據(jù)完成遷移后會(huì)執(zhí)行刪除鏈接操作,在符號(hào)鏈接刪除前業(yè)務(wù)通過(guò)符號(hào)鏈接訪(fǎng)問(wèn)HDFS數(shù)據(jù),刪除后直接訪(fǎng)問(wèn)MOSFS存儲(chǔ)中的文件數(shù)據(jù)。遷移完成的文件生效切換僅涉及一個(gè)元數(shù)據(jù)的更新操作,所以實(shí)際的數(shù)據(jù)遷移過(guò)程不影響業(yè)務(wù)層。

      Hadoop大數(shù)據(jù)存算分離下,遷移HDFS如何做到業(yè)務(wù)無(wú)感?

        在數(shù)據(jù)遷移過(guò)程中,MOSFS遷移工具支持通過(guò)反向遷移隨時(shí)回滾,撤銷(xiāo)遷移操作。如已有新增數(shù)據(jù)寫(xiě)入到MOSFS中,也能把這些新增數(shù)據(jù)拷貝回原始的存儲(chǔ)系統(tǒng)。

        步驟五:刪除老數(shù)據(jù)

        執(zhí)行完前4個(gè)步驟,所有的業(yè)務(wù)數(shù)據(jù)讀寫(xiě)都已在新的分離部署存儲(chǔ)中,就可以刪除老數(shù)據(jù)或拆除原有的集群,實(shí)現(xiàn)新的存算分離架構(gòu)對(duì)原有存算一體架構(gòu)的升級(jí)改造。

        總結(jié)

      Hadoop大數(shù)據(jù)存算分離下,遷移HDFS如何做到業(yè)務(wù)無(wú)感?

      圖 MOSFS多源匯聚兼容多種存儲(chǔ)

        通過(guò)前面的介紹,可以看到,依靠MOSFS強(qiáng)大的符號(hào)鏈接特性與遷移工具,執(zhí)行簡(jiǎn)單的操作步驟即可完成對(duì)HDFS的納管與數(shù)據(jù)遷移,讓MOSFS具備多種場(chǎng)景下存算分離架構(gòu)平滑落地的能力。在涉及老數(shù)據(jù)遷移的場(chǎng)景中,納管遷移對(duì)業(yè)務(wù)的影響也僅僅在于一次配置修改與計(jì)算組件重啟,對(duì)客戶(hù)的業(yè)務(wù)系統(tǒng)影響較小。同時(shí),MOSFS的底座基于杉巖數(shù)據(jù)高性能存儲(chǔ)引擎,還具備更多場(chǎng)景的數(shù)據(jù)納管與連通能力。

      特別提醒:本網(wǎng)信息來(lái)自于互聯(lián)網(wǎng),目的在于傳遞更多信息,并不代表本網(wǎng)贊同其觀點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí),對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾,并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。本站不承擔(dān)此類(lèi)作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益,請(qǐng)及時(shí)聯(lián)系我們,本站將會(huì)在24小時(shí)內(nèi)處理完畢。

      贊(0)
      分享到: 更多 (0)
      網(wǎng)站地圖   滬ICP備18035694號(hào)-2    滬公網(wǎng)安備31011702889846號(hào)