MLPerf組織今天發(fā)布最新的推理基準(zhǔn)測(cè)試（Benchmark）MLPerf Inference v0.7結(jié)果，總共有23個(gè)組織提交了結(jié)果，相比上一個(gè)版本（MLPerf Inference v0.5）的12個(gè)提交者增加了近一倍。

結(jié)果顯示，今年5月NVIDIA（Nvidia）發(fā)布的安培（Ampere）架構(gòu)A100 Tensor Core GPU，在云端推理的基準(zhǔn)測(cè)試性能是最先進(jìn)Intel CPU的237倍。

MLPerf Inference V0.7部分結(jié)果截圖 

最新的AI推理測(cè)試結(jié)果意味著，NVIDIA未來(lái)可能在AI推理和訓(xùn)練市場(chǎng)都占據(jù)領(lǐng)導(dǎo)地位，給云端AI推理市場(chǎng)擁有優(yōu)勢(shì)的Intel帶來(lái)更大壓力的同時(shí)，也將讓其他追趕者面臨更大挑戰(zhàn)。

MLPerf推理基準(zhǔn)測(cè)試進(jìn)一步完善的價(jià)值

與2019年的MLPerf Inference v0.5版本相比，最新的0.7版本將測(cè)試從AI研究的核心視覺(jué)和語(yǔ)言的5項(xiàng)測(cè)試，擴(kuò)展了到了包括系統(tǒng)、自然語(yǔ)言理解、語(yǔ)音識(shí)別和醫(yī)療影像應(yīng)用的6項(xiàng)測(cè)試，并且有分別針對(duì)云端和終端推理的測(cè)試，還加入了手機(jī)和筆記本電腦的結(jié)果。

擴(kuò)展的測(cè)試項(xiàng)從MLPerf和業(yè)界兩個(gè)角度都有積極意義。

MLPerf Inference v0.5測(cè)試項(xiàng)

MLPerf Inference v0.7數(shù)據(jù)中心測(cè)試項(xiàng)

MLPerf Inference v0.7邊緣端測(cè)試項(xiàng)

任何一個(gè)基準(zhǔn)測(cè)試都需要給業(yè)界具有參考價(jià)值的指標(biāo)。MLPerf基準(zhǔn)測(cè)試是在業(yè)界缺乏對(duì)AI芯片公認(rèn)的評(píng)價(jià)標(biāo)準(zhǔn)的2018年誕生，因此，MLPerf組織既需要給出各方都認(rèn)可的成績(jī)，還需要根據(jù)AI行業(yè)的發(fā)展完善評(píng)價(jià)標(biāo)準(zhǔn)。

不過(guò)，AI行業(yè)發(fā)展迅速，AI模型的參數(shù)越來(lái)越多，應(yīng)用的場(chǎng)景也越來(lái)越廣泛。評(píng)價(jià)AI芯片和系統(tǒng)的推理性能需要涵蓋可編程性、延遲、準(zhǔn)確性、模型大小、吞吐量、能效等指標(biāo)，也需要選擇更具指導(dǎo)價(jià)值的模型和應(yīng)用。

此次增加的系統(tǒng)測(cè)試對(duì)于互聯(lián)網(wǎng)公司意義重大。在王喆的《深度學(xué)習(xí)系統(tǒng)》一書(shū)中提到，2019年天貓“雙11”的成交額是2684億元，假設(shè)系統(tǒng)進(jìn)行了優(yōu)化，整體的轉(zhuǎn)化率提高1%，那么增加的成交額大約為26.84億元。

另外，MLPerf Inference v0.7中增加醫(yī)療影像3D U-Net模型測(cè)試與新冠大流行以及AI在醫(yī)療行業(yè)的重要性與日俱增密切相關(guān)，比如一家初創(chuàng)公司使用AI簡(jiǎn)化了超聲心電圖的采集工作，在新冠大流行初期發(fā)揮了作用。

基準(zhǔn)測(cè)試從v0.5到v0.7，能夠?yàn)橐x用AI芯片和系統(tǒng)的公司提供更直觀和有價(jià)值的參考是MLPerf基準(zhǔn)測(cè)試的價(jià)值所在，比如，幫助金融結(jié)構(gòu)的會(huì)話(huà)式AI更快速回答客戶(hù)問(wèn)題，幫助零售商使用AI保證貨架庫(kù)存充足。

與此同時(shí)，這也將促進(jìn)MLPerf組織在業(yè)界的受認(rèn)可程度，從接近翻倍的提交成績(jī)的組織就能看出來(lái)。

GPU云端推理性能最高是CPU的237倍

過(guò)去幾年，云端AI訓(xùn)練市場(chǎng)NVIDIA擁有絕對(duì)優(yōu)勢(shì)，云端AI推理市場(chǎng)被Intel賺取了大部分利潤(rùn)是事實(shí)。這讓不少人都產(chǎn)生了GPU更適合訓(xùn)練而CPU更適合推理的認(rèn)知，但MLPerf最新的推理測(cè)試結(jié)果可能會(huì)改變這一觀點(diǎn)。

MLPerf Inference V0.7的測(cè)試結(jié)果顯示，在數(shù)據(jù)中心OFFLINE（離線(xiàn)）測(cè)試模式下，賽靈思U250和IntelCooper Lake在各個(gè)測(cè)試模型下與NVIDIAT4的差距不大，但A100對(duì)比CPU、FPGA和自家的T4就有明顯的性能差距。

在SERVER模式下的系統(tǒng)DLRM模型下，A100 GPU對(duì)比IntelCooper Lake有最高237倍的性能差距，在其他模型下也有比較顯著的差距。值得注意的是，Intel的Cooper Lake系統(tǒng)的狀態(tài)還是預(yù)覽，其余三款芯片的系統(tǒng)都已經(jīng)可用。

A100 GPU的優(yōu)勢(shì)也在邊緣推理中也十分明顯。在單數(shù)據(jù)流（Singel-Stream）測(cè)試中，A100對(duì)比NVIDIAT4和面向邊緣終端的NVIDIAJetson AGX Xavier有幾倍到十幾倍的性能優(yōu)勢(shì)。在多數(shù)據(jù)流（Multi-Stream）測(cè)試中，A100對(duì)比另外兩款自家產(chǎn)品在不同AI模型中有幾倍到二十多倍的性能優(yōu)勢(shì)。

在邊緣OFFLINE模式下，A100對(duì)比T4和Jetson AGX Xavier也有幾倍到二十多倍的性能優(yōu)勢(shì)。

這很好地說(shuō)明A100的安培架構(gòu)以及其第三代Tensor Core優(yōu)勢(shì)的同時(shí)，也表明了NVIDIA能夠覆蓋整個(gè)AI推理市場(chǎng)。

在此次提交結(jié)果的23家公司中，除了NVIDIA外還有11家其合作伙伴提交了基于NVIDIA GPU的1029個(gè)測(cè)試結(jié)果，占數(shù)據(jù)中心和邊緣類(lèi)別中參評(píng)測(cè)試結(jié)果總數(shù)的85％以上。

從提交結(jié)果的合作伙伴的系統(tǒng)中可以看到，NVIDIAT4仍然是企業(yè)的邊緣服務(wù)器推理平臺(tái)的主要選擇。A100提升到新高度的性能意味著未來(lái)企業(yè)邊緣服務(wù)器在選擇AI推理平臺(tái)的時(shí)候，可以從T4升級(jí)到A100，對(duì)于功耗受限的設(shè)備，可以選擇Jeston系列產(chǎn)品。

特別值得注意的是，NVIDIA GPU首次在公有云中實(shí)現(xiàn)了超越CPU的AI推理能力。

臨界點(diǎn)到來(lái)？AI推理芯片市場(chǎng)競(jìng)爭(zhēng)門(mén)檻更高

五年前，只有少數(shù)領(lǐng)先的高科技公司使用GPU進(jìn)行推理。如今，NVIDIAGPU首次在公有云市場(chǎng)實(shí)現(xiàn)超越CPU的AI推理能力，或許意味著AI推理市場(chǎng)臨界點(diǎn)的到來(lái)。NVIDIA還預(yù)測(cè)，基于其GPU的總體云端AI推理計(jì)算能力每?jī)赡暝鲩L(zhǎng)約10倍，增長(zhǎng)速度高于CPU。

另外，NVIDIA還強(qiáng)調(diào)基于A100高性能系統(tǒng)的成本效益。NVIDIA表示，一套DGX A100系統(tǒng)可以提供相當(dāng)于近1000臺(tái)雙插槽CPU服務(wù)器的性能，能為客戶(hù)AI系統(tǒng)模型從研發(fā)走向生產(chǎn)的過(guò)程，具有極高的成本效益。

同時(shí)，NVIDIA也在不斷優(yōu)化推理軟件堆棧，進(jìn)一步提升在推理市場(chǎng)的競(jìng)爭(zhēng)力。

最先感受到影響的會(huì)是Intel，但在云端AI推理市場(chǎng)體現(xiàn)出顯著變化至少需要幾年時(shí)間，因?yàn)槠髽I(yè)在更換平臺(tái)的時(shí)候會(huì)更加謹(jǐn)慎，生態(tài)的護(hù)城河此時(shí)也更能體現(xiàn)出價(jià)值。

但無(wú)論如何，我們都看到NVIDIA在AI市場(chǎng)的強(qiáng)勢(shì)地位。雷鋒網(wǎng)七月底報(bào)道，在MLPerf發(fā)布的MLPerf Training v0.7基準(zhǔn)測(cè)試中，A100 Tensor Core GPU，和HDR InfiniBand實(shí)現(xiàn)多個(gè)DGX A100 系統(tǒng)互聯(lián)的龐大集群DGX SuperPOD系統(tǒng)在性能上開(kāi)創(chuàng)了八個(gè)全新里程碑，共打破16項(xiàng)紀(jì)錄。

安培架構(gòu)A100在MLPerf最新的訓(xùn)練和推理成績(jī)表明NVIDIA不僅給云端AI訓(xùn)練的競(jìng)爭(zhēng)者更大的壓力，也可能改變AI推理市場(chǎng)的格局。

NVIDIA將其在云端訓(xùn)練市場(chǎng)的優(yōu)勢(shì)進(jìn)一步拓展到云端和邊緣推理市場(chǎng)符合AI未來(lái)的發(fā)展趨勢(shì)。有預(yù)測(cè)指出，隨著AI模型的成熟，市場(chǎng)對(duì)云端AI訓(xùn)練需求的增速將會(huì)降低，云端AI推理的市場(chǎng)規(guī)模將會(huì)迅速增加，并有望在2022年超過(guò)訓(xùn)練市場(chǎng)。

另?yè)?jù)市場(chǎng)咨詢(xún)公司ABI Research的數(shù)據(jù)，預(yù)計(jì)到2025年，邊緣AI芯片市場(chǎng)收入將達(dá)到122億美元，云端AI芯片市場(chǎng)收入將達(dá)到119億美元，邊緣AI芯片市場(chǎng)將超過(guò)云端AI芯片市場(chǎng)。

憑借強(qiáng)大的軟硬件生態(tài)系統(tǒng)，NVIDIA和Intel依舊會(huì)是AI市場(chǎng)的重要玩家，只是隨著他們競(jìng)爭(zhēng)力的不斷提升，其他參與AI市場(chǎng)競(jìng)爭(zhēng)的AI芯片公司們面臨的壓力也隨之增加。