數(shù)字經濟時代，非結構化數(shù)據爆發(fā)式增長，面對容量大、數(shù)量和種類繁多的非結構化數(shù)據，集中式存儲性能無法滿足應用需求，分布式存儲架構漸成主流。在存儲架構升級過程中，應用業(yè)務系統(tǒng)老舊、存儲系統(tǒng)孤立等問題成為數(shù)據入湖的阻礙。

　　數(shù)據入湖面臨的常見問題

　　以智能生產車間存儲架構升級過程為例，面臨的常見問題有：

　　應用改造難，架構升級受阻

　　智能生產車間的現(xiàn)有機臺系統(tǒng)往往使用 NAS 共享甚至本地文件方式訪問存儲系統(tǒng)，由于業(yè)務系統(tǒng)技術服務終止、架構升級代價昂貴等原因，無法直接對接對象存儲 API 接口，此時企業(yè)往往采用如下圖1所示的“臨時寫入本地磁盤+數(shù)據同步腳本”的折中方案，將文件持續(xù)上傳到對象存儲。

圖1 腳本上傳數(shù)據架構

　　多業(yè)務系統(tǒng)/終端管理復雜，效率低

　　由于智能生產車間內部數(shù)據管理涉及所有生產機臺，而大型智能制造企業(yè)機臺數(shù)量往往達到數(shù)千級別，單純基于上述單機腳本分別管理上千個機臺，每個機臺均需要獨立部署和配置，對于運維人員來說顯然過于復雜。

　　大量機臺運維成本高，業(yè)務可靠性低

　　數(shù)千個機臺節(jié)點需要單獨運維，業(yè)務管理員無法全面主動駕馭，只能定時逐個檢查機臺運轉是否正常，如業(yè)務出現(xiàn)故障無法及時處理，不僅消耗人力物力，業(yè)務可靠性也缺乏保障。

　　IT 系統(tǒng)在支撐業(yè)務快速發(fā)展的同時，企業(yè)核心生產數(shù)據的安全、可用成為關鍵。數(shù)據不斷增長使企業(yè)原有的數(shù)據存儲不可避免需要升級、擴容和更新?lián)Q代。海量數(shù)據接入難及數(shù)據孤島問題，給企業(yè)數(shù)據的治理和利用帶來了極大阻礙。在此過程中，運維人員往往面臨著應用改造難、多業(yè)務系統(tǒng)管理復雜、運維成本高等問題。如何更高效、安全、完整地完成存儲架構升級、替換、遷移的目標，保證業(yè)務的連續(xù)性?

　　DataIngestor：數(shù)據入湖新通道

　　基于上述背景，結合客戶業(yè)務數(shù)據遷移管理需求，杉巖數(shù)據全新推出數(shù)據入湖新通道 DataIngestor。如圖2所示，DataIngestor 核心組件包括中心集中管控服務 IngestorServer 和終端管理插件 Agent 兩部分，Agent 以本地服務的形式運行在終端節(jié)點上，通過 token 認證與服務端建立安全連接;IngestorServer 基于統(tǒng)一的管理入口對全局的所有 Agent 進行數(shù)據傳輸任務管理，上述三個難題迎刃而解：

圖2 DataIngestor 業(yè)務架構圖

　　·Agent 對本地文件的全量和持續(xù)增量上傳管理，不再需要業(yè)務軟件改造或者客戶開發(fā)數(shù)據管理工具，大大降低了客戶存儲架構升級的門檻。

　　·可視化的任務配置，統(tǒng)一的監(jiān)控系統(tǒng)，大幅降低運維工作量，提升生產效率。

　　·持續(xù)的機臺狀態(tài)及資源監(jiān)控告警，能夠第一時間反饋產線問題，及時處理故障，提升業(yè)務可靠性。

　　此外，如圖3所示，DataIngestor 支持與杉巖 MOS 海量對象存儲的智能數(shù)據處理引擎聯(lián)動，基于智能數(shù)據處理引擎的靈活性和對業(yè)務流程的支持，數(shù)據匯聚的過程中可以根據用戶業(yè)務需要觸發(fā)相應的數(shù)據智能處理流程，如輸出數(shù)據統(tǒng)計分析、業(yè)務洞察報告及業(yè)務數(shù)據風險預警，有效提高企業(yè)數(shù)據管理效率，助力客戶商業(yè)成功。

圖3 DataIngestor 與杉巖 MOS 智能數(shù)據處理引擎聯(lián)動示意圖

　　一探究竟：DataIngestor 功能特性詳解

　　數(shù)據源端管理

　　如圖4所示，通過數(shù)據源端管理界面，可以動態(tài)增加需要一次性遷移或者持續(xù)數(shù)據匯聚的數(shù)據源端。

圖4 數(shù)據源端管理

　　數(shù)據目標端

　　如圖5所示，通過界面可以添加數(shù)據目標端，支持自定義名稱、配置存儲桶、服務地址及鑒權密鑰。

圖5 數(shù)據目標端管理

　　任務管理

　　如圖6所示，在任務管理界面可以選擇已經添加的數(shù)據源端和目標端，配置數(shù)據一次性遷移或持續(xù)匯聚類型任務;可選擇數(shù)據標簽感知策略，上傳文件的同時根據策略配置自動生成文件標簽。此外，支持按業(yè)務需要調整增量數(shù)據掃描間隔，以滿足不同業(yè)務壓力場景需要。

　　對于遷移類型的數(shù)據上傳任務，支持配置數(shù)據上傳執(zhí)行時間段，可以按需避開在線業(yè)務高峰，在業(yè)務閑時啟動歷史數(shù)據遷移任務。

圖6 數(shù)據傳輸任務管理

　　Agent管理

　　如圖7所示，系統(tǒng)管理界面持續(xù)展示 Agent 節(jié)點的在線狀態(tài)、執(zhí)行任務類型、任務狀態(tài)、Agent 本地空間利用率、CPU 使用率及內存使用率，同時支持通過 Agent 機器 IP 地址搜索過濾查看，大大提升終端節(jié)點管理效率。

圖7 Agent 終端節(jié)點管理

　　告警監(jiān)控管理

　　如圖8所示，當前支持如下告警類型：

　　任務傳輸異常告警：不論是節(jié)點網絡異常，還是其他原因導致數(shù)據傳輸任務執(zhí)行異常，Agent 進程都會及時上報告警到 server 端，方便管理員快速分析，恢復服務。

　　Agent 本地空間不足告警：業(yè)務壓力過大或者網絡異常導致的數(shù)據堆積，致使本地空間超過一定閾值時，Agent 會自動上報空間不足告警。

　　Agent 節(jié)點失聯(lián)告警：當 Agent 節(jié)點異?；蛘呔W絡不通時，server 端會主動觸發(fā)告警。

圖8 告警管理

　　總結

　　DataIngestor 提供數(shù)據源端/目標端管理，支持配置一次性遷移或持續(xù)數(shù)據匯聚任務，同時支持自定義數(shù)據傳輸動作執(zhí)行時間段，可選配置數(shù)據內容感知策略自動打標簽以便業(yè)務檢索管理，省去企業(yè)業(yè)務軟件改造成本，降低數(shù)據入湖門檻，提升業(yè)務故障處理效率，大幅降低運維工作量。

　　同時 DataIngestor 支持與杉巖 MOS 智能數(shù)據處理引擎聯(lián)動，能夠主動觸發(fā)數(shù)據統(tǒng)計分析、業(yè)務洞察報告生成和風險預警，支撐企業(yè)關鍵業(yè)務決策。顯而易見，DataIngestor 是基于杉巖 MOS 的企業(yè)數(shù)據湖方案絕佳拍檔。

特別提醒：本網信息來自于互聯(lián)網，目的在于傳遞更多信息，并不代表本網贊同其觀點。其原創(chuàng)性以及文中陳述文字和內容未經本站證實，對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾，并請自行核實相關內容。本站不承擔此類作品侵權行為的直接責任及連帶責任。如若本網有任何內容侵犯您的權益，請及時聯(lián)系我們，本站將會在24小時內處理完畢。