近日，百度智能云發(fā)布面向機器學習的HPC解決方案，這將加速機器學習在各個行業(yè)的落地速度。

　　機器學習是當下使用最廣泛的人工智能技術之一，與之相匹配的HPC平臺也愈加受到市場重視，從超算TOP100的變遷中就可見一斑。

　　從下圖中可以看出，2015年開始，面向數(shù)據分析和機器學習的超算平臺開始快速增長，2017年更是占比超過50%。除了傳統(tǒng)HPC的行業(yè)例如科學計算、地理信息等在構建基于機器學習的HPC，更多行業(yè)也開始構建基于機器學習的HPC系統(tǒng)，以競爭行業(yè)AI能力的領先地位。

超算TOP 100 市場趨勢圖

　　隨著人工智能落地各行各業(yè)，如何構建面向機器學習的HPC系統(tǒng)，讓AI模型的構建過程更加簡單便利，快速實現(xiàn)AI的行業(yè)落地，助力企業(yè)快速占據行業(yè)領導者地位，商業(yè)價值極大。但需要關注的是，面向機器學習的HPC系統(tǒng)與傳統(tǒng)HPC系統(tǒng)有著很大的差異，傳統(tǒng)的HPC構建模式并不能很好地適應機器學習。

　　為了加速機器學習的行業(yè)落地，在2019百度AI開發(fā)者大會上，百度智能云企業(yè)級AI開發(fā)平臺BML聯(lián)合ABC Storage私有云存儲產品發(fā)布面向機器學習的HPC解決方案。

　　該方案可提供高效的端到端機器學習算法算力應用平臺和面向機器學習的高性能存儲平臺，一站式完成數(shù)據預處理、模型訓練與評估、發(fā)布預測服務等工作，快速實現(xiàn)行業(yè)數(shù)據的AI能力生產落地。

　　面向機器學區(qū)的HPC系統(tǒng)

　　面向機器學習的HPC系統(tǒng)和傳統(tǒng)HPC系統(tǒng)有很大的差異，雖然從采購模式上和基礎算力構建上類似，但是兩者核心完全不同，主要差異性如下：

　　一是算法算力。算法框架是基于機器學習和深度學習算法，算力中心更集中在GPU。

　　二是存儲層。機器學習的大量應用計算機視覺領域，主要處理的數(shù)據是海量的圖片、影像、語音等非結構化數(shù)據。傳統(tǒng)HPC方案在非結構化數(shù)據處理上并不能適應基于深度學習的HPC場景的需求，存儲系統(tǒng)需要滿足訓練過程中數(shù)億甚至百億的圖片、影像的存儲和吞吐要求，性能、性能的穩(wěn)定性都有全新的技術要求。

　　五大特點 針對超算場景

　　百度智能云基于深度學習的HPC方案，完全針對機器學習超算場景設計，具有高性能、高效率、易用、靈活、安全的特性：

　　高性能 系統(tǒng)采用全分布式架構，擁有高并發(fā)能力，支持超大規(guī)模場景。

　　高效率 AI訓練是一個流程化系統(tǒng)，文件在流程中搬移的時間成本非常高。通過采用ABC Storage高性能存儲軟件引擎+Optane高效元數(shù)據管理介質+QLC SSD高性價比閃存，面向機器學習的HPC方案能覆蓋所有流程，數(shù)據一次寫入，整個生命周期不需要搬移，能持續(xù)提供高性能、高穩(wěn)定的吞吐保障。

　　易用 作簡單，上手迅速，支持一站式開發(fā)部署，覆蓋了AI開發(fā)&部署的全工作流程。一個平臺就能完成發(fā)起訓練任務、獲取訓練模型、啟動預測服務等全流程環(huán)節(jié)。

　　靈活解耦 全面支持主流ML/DL框架，同時支持自定義第三方軟件庫及用戶定義集群。

　　安全 機器學習的數(shù)據集通過大量人力標注，具有極高的商業(yè)價值。平臺可以提供完整的數(shù)據權限控制，保障數(shù)據使用安全。

百度AI開發(fā)平臺 BML 產品架構

　　更多能力提供，優(yōu)勢明顯

　　除了優(yōu)于傳統(tǒng)HPC系統(tǒng)的高性能、高穩(wěn)定、安全靈活等特點，百度智能云面向機器學習的HPC解決方案還具備更強的兼容性與可擴展能力，以及完整的生態(tài)解決方案能力，能夠面向不同特征的用戶，提供完備的解決方案，加速AI在各行業(yè)落地。與普通的HPC系統(tǒng)相比，百度智能云面向機器學習的HPC解決方案具有以下四大明顯優(yōu)勢：

　　全面的功能和體驗 提供機器學習和深度學習開發(fā)能力，支持主流機器學習與深度學習框架。此外，還提供交互式(Notebook)、可視化(拖拽)、自動化三種建模體驗，讓不同研發(fā)能力的客戶都能快速實現(xiàn)模型的訓練、評估和預測。

　　支持飛槳(PaddlePaddle)等主流深度學習框架 實現(xiàn)資源的精細化管理和調度，支持GPU多機多卡和GPU虛擬化，同時支持百度飛槳最新版本、Tensorflow最新版本，并能就其他主流深度學習框架按需靈活擴展。此外，通過內置圖像/視頻(CV類)模型生產線，能夠以產線方式支持CV類模型的流程化、標準化、高效化開發(fā)生產。

　　開放上下層接口，集成方便 提供Open API/SDK接口，便于客戶上層應用無縫對接，客戶的自有模型、第三方模型都能快速導入并服務。產品分層設計、接口開放，便于與客戶私有云、本地機器、大數(shù)據平臺、運維平臺等已有環(huán)境有效對接。

　　一體化交付服務 支持V100 GPU卡、百度自研GPU Box(Xman3.0)，能夠滿足客戶多種算力需求，集成百度智能云專業(yè)且豐富的硬件供應與交付經驗，能力覆蓋全面，一條龍服務縮短交付周期。

　　存儲的挑戰(zhàn)交給ABC Storage

　　基于機器學習的AI能力需要大量的算力和數(shù)據樣本集，結合算法模型反復針對數(shù)據進行訓練，才能提供用于商用的AI能力模型。在訓練過程，存儲性能和穩(wěn)定性尤為關鍵。

　　性能方面。百度智能云針對該場景,采用Optane+QLC SSD的硬件方案，結合百度智能云私有云存儲ABC Storage的高性能對象存儲引擎，在5臺存儲集群規(guī)模下，即可滿足200臺GPU服務器針對100億小文件的并發(fā)吞吐要求。

　　穩(wěn)定性方面。ABC Storage采用Optane作為元數(shù)據管理存儲介質，可以保障文件數(shù)量增長以及讀寫混合等綜合場景下提供高性能穩(wěn)定的吞吐能力。

　　值得一提的是，ABC Storage支持InfiniBand網絡，也是面向機器學習首推支持InfiniBand的全閃對象解決方案。作為是HPC場景中不可或缺的高性能網絡系統(tǒng)，能提供更低延遲和更快網絡故障恢復速度的InfiniBand網絡是HPC的重要保障。

首推支持InfiniBand的對象存儲方案

　　百度智能云面向機器學習的HPC平臺，以自身優(yōu)異的性能及完整的方案解決能力，已經為眾多領域的客戶帶來實際價值。隨著人工智能與各產業(yè)的結合向縱深發(fā)展，優(yōu)秀AI平臺的價值將日益凸顯。未來，百度智能云基于深度學習的HPC方案將把握前沿技術，不斷完善與創(chuàng)新，通過端到端的高效、開放、生態(tài)化的能力，助推更多企業(yè)和研究機構的智能化升級。

　　了解更多信息，請點擊下方鏈接，親身體驗面向機器學習的基于深度學習的HPC解決方案的強大實力：

　　https://cloud.baidu.com/product/bml/aibook.html

　　https://cloud.baidu.com/product/abc-storage.html

特別提醒：本網內容轉載自其他媒體，目的在于傳遞更多信息，并不代表本網贊同其觀點。其原創(chuàng)性以及文中陳述文字和內容未經本站證實，對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾，并請自行核實相關內容。本站不承擔此類作品侵權行為的直接責任及連帶責任。如若本網有任何內容侵犯您的權益，請及時聯(lián)系我們，本站將會在24小時內處理完畢。