11月5日，在Wave Summit+2019深度學(xué)習(xí)開(kāi)發(fā)者峰會(huì)上，飛槳全新發(fā)布和重要升級(jí)了最新的21項(xiàng)進(jìn)展，在深度學(xué)習(xí)開(kāi)發(fā)者社區(qū)引起了巨大的反響。

　　很多未到場(chǎng)的開(kāi)發(fā)者覺(jué)得遺憾，希望可以了解飛槳發(fā)布會(huì)背后的更多技術(shù)細(xì)節(jié)。因此本號(hào)特意策劃了一系列稿件，分別從核心框架、基礎(chǔ)模型庫(kù)、端到端開(kāi)發(fā)套件、工具組件和服務(wù)平臺(tái)五個(gè)層面分別詳細(xì)解讀飛槳的核心技術(shù)與最新進(jìn)展。

　　今天給大家?guī)?lái)的是飛槳系列解讀文章之核心框架揭秘，并公布大量珍貴的資料內(nèi)容，很多飛槳核心框架的關(guān)鍵性?xún)?nèi)容屬于首次深度解讀。

　　飛槳全景圖，本文主要針對(duì)核心框架部分進(jìn)行深度解讀。

　　第一部分，首先看一下最新版本核心框架的重要升級(jí)：

　　本次核心框架重要升級(jí)

　　1.1.開(kāi)發(fā)-易用性提升

　　用戶(hù)體驗(yàn)和易用性專(zhuān)項(xiàng)提升，包含全面的文檔優(yōu)化、報(bào)錯(cuò)信息優(yōu)化、配置項(xiàng)優(yōu)化、接口優(yōu)化、編譯優(yōu)化、多平臺(tái)支持以及編程易用性提升等各方面。

　　1.2.訓(xùn)練-速度優(yōu)化

　　訓(xùn)練框架進(jìn)一步優(yōu)化了速度，完善了顯存優(yōu)化機(jī)制，并支持在框架外部自定義C++/CUDA OP。新增了大量OP,并從多個(gè)維度優(yōu)化了大量存量OP，包括兼容性、行為一致性、功能提升等方面。

　　分布式訓(xùn)練新增LocalSGD、GEO-SGD等策略，大規(guī)模同步訓(xùn)練、異步訓(xùn)練速度繼續(xù)提升，并支持K8S + Volcano任務(wù)提交。

　　1.3.預(yù)測(cè)-部署能力強(qiáng)化

　　發(fā)布Paddle Lite 2.0，定位高性能、多平臺(tái)、輕量化的端側(cè)預(yù)測(cè)引擎，并可作為服務(wù)器端預(yù)測(cè)庫(kù)的加速庫(kù)。

　　PaddleSlim強(qiáng)化了量化訓(xùn)練功能，增加了基于硬件的小模型搜索功能。

　　從以上可以看到，本次的升級(jí)點(diǎn)還是比較多的。而且從字里行間也可以看得出，每一個(gè)幾十字的點(diǎn)，背后其實(shí)是非常重的工作量。但是畢竟缺少細(xì)節(jié)，我們?cè)賮?lái)詳細(xì)解讀一下發(fā)布會(huì)PPT的重點(diǎn)內(nèi)容。

　　飛槳核心框架升級(jí)重點(diǎn)圖文解讀

　　2.1.核心框架易用性的全面提升

　　本次發(fā)布，核心框架在易用性方面全面提升。

　　首先是算子的全面性，對(duì)于任何一個(gè)算法，基本算子庫(kù)是基礎(chǔ)，對(duì)于完善和全面性都有很高的要求。飛槳通過(guò)這次新版本的發(fā)布，基本上可以保證支持全部AI主流領(lǐng)域的模型。

　　其次是API接口的升級(jí)，這里有兩個(gè)層面：一是數(shù)據(jù)層，飛槳本次升級(jí)把IO的接口做了非常全面的梳理和進(jìn)一步的呈現(xiàn)，易用性大幅提升。二是分布式訓(xùn)練的易用性。在單機(jī)上開(kāi)發(fā)好的算法，在訓(xùn)練時(shí)面對(duì)非常大規(guī)模數(shù)據(jù)時(shí)需要進(jìn)行分布式訓(xùn)練，代碼也需要調(diào)整，對(duì)于不了解分布式訓(xùn)練的開(kāi)發(fā)者困難很大。通過(guò)本次發(fā)布，只需要新增5行代碼再加上對(duì)于執(zhí)行語(yǔ)句的少量修改，就可以把單機(jī)版改成分布式并行訓(xùn)練。

　　最后，根據(jù)開(kāi)發(fā)者持續(xù)以來(lái)的反饋，飛槳不斷的完善文檔的內(nèi)容，并且提供中英雙語(yǔ)文檔。本次發(fā)布，飛槳在中文的文檔上進(jìn)行了非常多的升級(jí)和完善，本著打造藝術(shù)品的標(biāo)準(zhǔn)來(lái)打磨API文檔?？梢詾殚_(kāi)發(fā)者提供更清晰，有示例，甚至有時(shí)候會(huì)得到一些靈感的文檔。

　　2.2.分布式訓(xùn)練的高性能

　　分布式訓(xùn)練的高性能，是飛槳的核心優(yōu)勢(shì)技術(shù)之一，這也與飛槳本身就是源于大數(shù)據(jù)的產(chǎn)業(yè)實(shí)踐分不開(kāi)的，在CPU和GPU方向分布式性能都有很好的性能優(yōu)勢(shì)。 通過(guò)GPU分布式訓(xùn)練下的Benchmark，可以看到在8×8 v100硬件條件下，相比其他主流實(shí)現(xiàn)可以獲得20%-100%的速度提升。

　　通過(guò)多機(jī)分布式CPU訓(xùn)練Benchmark比較，基于飛槳自研的高性能異步訓(xùn)練算法Geo-SGD，可以看到分布式訓(xùn)練在Word2Vec和CTR任務(wù)中，飛槳吞吐量最大可達(dá)對(duì)標(biāo)產(chǎn)品的6倍以上。

　　同時(shí)飛槳與英特爾也開(kāi)展密切合作，在最新的英特爾至強(qiáng)可擴(kuò)展處理器上，在保證精度基本不變的情況下，通過(guò)INT8的量化訓(xùn)練，性能的提升也能達(dá)到2到3.7倍，非常適合實(shí)際業(yè)務(wù)使用。

　　2.3.打通端到端的部署全流程

　　除了開(kāi)發(fā)的易用性和訓(xùn)練的高性能，飛槳在打通端到端部署方面，也發(fā)布了一些最新進(jìn)展。

　　從整個(gè)端到端部署涉及到的工作內(nèi)容上看，需要做的工作還是非常多的，首先就是要適配不同的硬件。在最新的版本里面，飛槳新增了對(duì)于華為NPU的適配，以及對(duì)于邊緣設(shè)備上FPGA的適配。后續(xù)還會(huì)進(jìn)一步發(fā)布跟寒武紀(jì)和比特大陸適配，敬請(qǐng)期待。

　　從整個(gè)打通端到端部署的流程來(lái)看，在搭建模型和訓(xùn)練模型之后，會(huì)根據(jù)部署環(huán)境的特點(diǎn)，對(duì)模型做壓縮處理，其目標(biāo)包括壓縮模型存儲(chǔ)體積和提升推理速度。

　　目前針對(duì)移動(dòng)設(shè)備端環(huán)境常見(jiàn)的一個(gè)常用且比較成熟的壓縮策略是INT8量化，該方法可以大幅壓縮模型的體積，并提升預(yù)測(cè)效率。

　　飛槳在上一個(gè)版本已經(jīng)支持了剪枝、量化、蒸餾等壓縮方法。這次的升級(jí)重點(diǎn)是優(yōu)化和增強(qiáng)自動(dòng)化網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)，我們直接把候選模型在具體硬件上的推理速度作為搜索的一個(gè)約束條件?；谶@種策略，搜索到的模型可能更好的適配目標(biāo)硬件，在保證精度的情況下獲得更多的速度收益。

　　在ImageNet1000類(lèi)分類(lèi)任務(wù)上，通過(guò)Light-NAS搜索到的模型，精度無(wú)損，在某款移動(dòng)端硬件上的實(shí)際推理速度提升了20%。除了模型壓縮策略增強(qiáng)之外，PaddleSlim通過(guò)打通檢測(cè)庫(kù)提供了更豐富的模型支持，同時(shí)保證了壓縮產(chǎn)出的模型支持用Paddle Lite直接部署。

　　了解完P(guān)addleSlim的升級(jí)點(diǎn)之后，Paddle Lite 2.0版本也是正式發(fā)布。主要特點(diǎn)：

　　一是非常高的易用性。在移動(dòng)端開(kāi)發(fā)應(yīng)用程序或者是在邊緣設(shè)備上開(kāi)發(fā)應(yīng)用程序涉及到非常多的設(shè)備環(huán)境的連調(diào)工作，Paddle Lite里面提供大量的示例代碼，以及操作的指南，方便大家能夠快速的去實(shí)現(xiàn)在不同的設(shè)備場(chǎng)景上進(jìn)行部署。

　　二是非常廣泛的硬件支持。Paddle Lite目前已經(jīng)支持了8種主流的硬件，同時(shí)還支持華為的NPU和邊緣設(shè)備的FPGA。而且Paddle Lite整個(gè)架構(gòu)設(shè)計(jì)非常便于新硬件的擴(kuò)展。新的硬件適配，只要去Paddle Lite里面新增這個(gè)硬件相關(guān)的Kernel就可以了，與框架代碼是高度解耦的。可以非常便捷的適配新硬件。

　　三是性能優(yōu)勢(shì)。Paddle Lite一個(gè)非常顯著的優(yōu)勢(shì)是在性能方面處在領(lǐng)先狀態(tài)。性能的優(yōu)勢(shì)不僅僅是在FP32這種場(chǎng)景下，尤其是在現(xiàn)在移動(dòng)端已經(jīng)廣泛普及的INT8上，領(lǐng)先優(yōu)勢(shì)會(huì)更加明顯。

　　對(duì)比不同的推理框架使用MobileNetV1在ARM-v8上面推理延時(shí)，在FP32上大家可以看到，Paddle Lite 2.0已經(jīng)具備全面領(lǐng)先的優(yōu)勢(shì)。而右側(cè)INT8的條件下，性能優(yōu)勢(shì)更加顯著。在真正的移動(dòng)端下的推理場(chǎng)景，真正達(dá)到的性能的優(yōu)勢(shì)對(duì)于實(shí)際的應(yīng)用是至關(guān)重要的，時(shí)延上的優(yōu)勢(shì)直接關(guān)系到最終開(kāi)發(fā)產(chǎn)品的用戶(hù)體驗(yàn)。

　　飛槳核心框架技術(shù)完整公開(kāi)解讀

　　飛槳深度學(xué)習(xí)框架核心技術(shù)，主要包括前端語(yǔ)言、組網(wǎng)編程范式、核心架構(gòu)、算子庫(kù)以及高效率計(jì)算核心五部分。

　　3.1.核心架構(gòu)

　　飛槳核心架構(gòu)采用分層設(shè)計(jì)，如圖3所示。前端應(yīng)用層考慮靈活性，采用Python實(shí)現(xiàn)，包括了組網(wǎng) API、IO API、OptimizerAPI和執(zhí)行 API等完備的開(kāi)發(fā)接口;框架底層充分考慮性能，采用C++來(lái)實(shí)現(xiàn)?？蚣軆?nèi)核部分，主要包含執(zhí)行器、存儲(chǔ)管理和中間表達(dá)優(yōu)化;內(nèi)部表示方面，包含網(wǎng)絡(luò)表示(ProgramDesc)、數(shù)據(jù)表示(Variable)和計(jì)算表示(Operator)幾個(gè)層面。框架向下對(duì)接各種芯片架構(gòu)，可以支持深度學(xué)習(xí)模型在不同異構(gòu)設(shè)備上的高效運(yùn)行。

　　3.2.關(guān)鍵技術(shù)

　　(1)前端語(yǔ)言

　　為了方便用戶(hù)使用，選擇Python作為模型開(kāi)發(fā)和執(zhí)行調(diào)用的主要前端語(yǔ)言，并提供了豐富的編程接口API。Python作為一種解釋型編程語(yǔ)言，代碼修改不需要重新編譯就可以直接運(yùn)行，使用和調(diào)試非常方便，并且擁有豐富的第三方庫(kù)和語(yǔ)法糖，擁有眾多的用戶(hù)群體。同時(shí)為了保證框架的執(zhí)行效率，飛槳底層實(shí)現(xiàn)采用C++。對(duì)于預(yù)測(cè)推理，為方便部署應(yīng)用，則同時(shí)提供了C++和Java API。

　　(2)組網(wǎng)編程范式

　　飛槳中同時(shí)兼容命令式編程(動(dòng)態(tài)圖)與聲明式編程(靜態(tài)圖)兩種編程范式，飛槳以程序化“Program”的形式動(dòng)態(tài)描述神經(jīng)網(wǎng)絡(luò)模型計(jì)算過(guò)程，并提供對(duì)順序、分支和循環(huán)三種執(zhí)行結(jié)構(gòu)的支持，可以組合描述任意復(fù)雜的模型，并可在內(nèi)部自動(dòng)轉(zhuǎn)化為中間表示的描述語(yǔ)言。“Program”的定義過(guò)程就像在寫(xiě)一段通用程序。使用聲明式編程時(shí)，相當(dāng)于將“Program”先編譯再執(zhí)行，可類(lèi)比靜態(tài)圖模式。首先根據(jù)網(wǎng)絡(luò)定義代碼構(gòu)造“Program”，然后將“Program”編譯優(yōu)化，最后通過(guò)執(zhí)行器執(zhí)行“Program”，具備高效性能;同時(shí)由于存在靜態(tài)的網(wǎng)絡(luò)結(jié)構(gòu)信息，能夠方便地完成模型的部署上線(xiàn)。而命令式編程，相當(dāng)于將“Program”解釋執(zhí)行，可視為動(dòng)態(tài)圖模式，更加符合用戶(hù)的編程習(xí)慣，代碼編寫(xiě)和調(diào)試也更加方便。飛槳后面會(huì)增強(qiáng)靜態(tài)圖模式下的調(diào)試功能，方便開(kāi)發(fā)調(diào)試;同時(shí)提升動(dòng)態(tài)圖模式的運(yùn)行效率，加強(qiáng)動(dòng)態(tài)圖自動(dòng)轉(zhuǎn)靜態(tài)圖的能力，快速完成部署上線(xiàn);同時(shí)更加完善接口的設(shè)計(jì)和功能，整體提升框架易用性。

　　(3)顯存管理

　　飛槳為用戶(hù)提供技術(shù)領(lǐng)先、簡(jiǎn)單易用、兼顧顯存回收與復(fù)用的顯存優(yōu)化策略，在很多模型上的表現(xiàn)優(yōu)于其他開(kāi)源框架。

　　顯存分配機(jī)制：

　　原生的CUDA系統(tǒng)調(diào)用(cudaMalloc)和釋放(cudaFree)均是同步操作，非常耗時(shí)。為了加速顯存分配，飛槳實(shí)現(xiàn)了顯存預(yù)分配的策略，具體方式如圖4所示。設(shè)置一個(gè)顯存池chunk，定義其大小為chunk_size。若分配需求requested_size不超過(guò)chunk_size，則框架會(huì)預(yù)先分配chunk_size大小的顯存池chunk，并從中分出requested_size大小的塊返回。之后每次申請(qǐng)顯存都會(huì)從chunk中分配。若requested_size大于chunk_size，則框架會(huì)調(diào)用cudaMalloc分配requested_size大小的顯存。chunk_size一般依據(jù)初始可用顯存大小按比例確定。同時(shí)飛槳也支持按實(shí)際顯存占用大小的動(dòng)態(tài)自增長(zhǎng)的顯存分配方式，可以更精準(zhǔn)地控制顯存使用，以節(jié)省對(duì)顯存占用量，方便多任務(wù)同時(shí)運(yùn)行。

　　顯存垃圾及時(shí)回收機(jī)制

　　顯存垃圾及時(shí)回收機(jī)制GC(Garbage Collection)的原理是在網(wǎng)絡(luò)運(yùn)行階段釋放無(wú)用變量的顯存空間，達(dá)到節(jié)省顯存的目的。GC策略會(huì)積攢一定大小的顯存垃圾后再統(tǒng)一釋放。GC內(nèi)部會(huì)根據(jù)變量占用的顯存大小，對(duì)變量進(jìn)行降序排列，且僅回收前面滿(mǎn)足占用大小閾值以上的變量顯存。GC策略默認(rèn)生效于使用Executor或Parallel Executor做模型訓(xùn)練預(yù)測(cè)時(shí)。

　　Operator內(nèi)部顯存復(fù)用機(jī)制

　　Operator內(nèi)部顯存復(fù)用機(jī)制(Inplace)的原理是Operator的輸出復(fù)用Operator輸入的顯存空間。例如，數(shù)據(jù)整形(reshape)操作的輸出和輸入可復(fù)用同一片顯存空間。Inplace策略可通過(guò)構(gòu)建策略(BuildStrategy)設(shè)置生效于Parallel Executor的執(zhí)行過(guò)程中。

　　(4) 算子庫(kù)

　　飛槳算子庫(kù)目前提供了500余個(gè)算子，并在持續(xù)增加，能夠有效支持自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)、語(yǔ)音等各個(gè)方向模型的快速構(gòu)建。同時(shí)提供了高質(zhì)量的中英文文檔，更方便國(guó)內(nèi)外開(kāi)發(fā)者學(xué)習(xí)使用。文檔中對(duì)每個(gè)算子都進(jìn)行了詳細(xì)描述，包括原理介紹、計(jì)算公式、論文出處，詳細(xì)的參數(shù)說(shuō)明和完整的代碼調(diào)用示例。

　　飛槳的算子庫(kù)覆蓋了深度學(xué)習(xí)相關(guān)的廣泛的計(jì)算單元類(lèi)型。比如提供了多種循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)，多種卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks， CNN)及相關(guān)操作，如深度可分離卷積(Depthwise Deparable Convolution)、空洞卷積(Dilated Convolution)、可變形卷積(Deformable Convolution)、池化興趣區(qū)域池化及其各種擴(kuò)展、分組歸一化、多設(shè)備同步的批歸一化，另外涵蓋多種損失函數(shù)和數(shù)值優(yōu)化算法，可以很好地支持自然語(yǔ)言處理的語(yǔ)言模型、閱讀理解、對(duì)話(huà)模型、視覺(jué)的分類(lèi)、檢測(cè)、分割、生成、光學(xué)字符識(shí)別(Optical Character Recognition，OCR)、OCR檢測(cè)、姿態(tài)估計(jì)、度量學(xué)習(xí)、人臉識(shí)別、人臉檢測(cè)等各類(lèi)模型。

　　飛槳的算子庫(kù)除了在數(shù)量上進(jìn)行擴(kuò)充之外，還在功能性、易用性、便捷開(kāi)發(fā)上持續(xù)增強(qiáng)：例如針對(duì)圖像生成任務(wù)，支持生成算法中的梯度懲罰功能，即支持算子的二次反向能力;而對(duì)于復(fù)雜網(wǎng)絡(luò)的搭建，將會(huì)提供更高級(jí)的模塊化算子，使模型構(gòu)建更加簡(jiǎn)單的同時(shí)也能獲得更好的性能;對(duì)于創(chuàng)新型網(wǎng)絡(luò)結(jié)構(gòu)的需求，將會(huì)進(jìn)一步簡(jiǎn)化算子的自定義實(shí)現(xiàn)方式，支持Python算子實(shí)現(xiàn)，對(duì)性能要求高的算子提供更方便的、與框架解耦的C++實(shí)現(xiàn)方式，可使得開(kāi)發(fā)者快速實(shí)現(xiàn)自定義的算子，驗(yàn)證算法。

　　(5)高效率計(jì)算核心

　　飛槳對(duì)核心計(jì)算的優(yōu)化，主要體現(xiàn)在以下兩個(gè)層面。

　　Operator粒度層面

　　飛槳提供了大量不同粒度的Operator(Op)實(shí)現(xiàn)。細(xì)粒度的Op能夠提供更好的靈活性，而粗粒度的Op則能提供更好的計(jì)算性能。飛槳提供了諸如softmax_with_cross_entropy等組合功能Op，也提供了像fusion_conv_inception、fused_elemwise_activation等融合類(lèi)Operator。其中大部分普通Op，用戶(hù)可以直接通過(guò)Python API配置使用，而很多融合的Op，執(zhí)行器在計(jì)算圖優(yōu)化的時(shí)候?qū)?huì)自動(dòng)進(jìn)行子圖匹配和替換。

　　核函數(shù)實(shí)現(xiàn)層面

　　飛槳主要通過(guò)兩種方式來(lái)實(shí)現(xiàn)對(duì)不同硬件的支持：人工調(diào)優(yōu)的核函數(shù)實(shí)現(xiàn)和集成供應(yīng)商優(yōu)化庫(kù)。

　　針對(duì)CPU平臺(tái)，飛槳一方面提供了使用指令I(lǐng)ntrinsic函數(shù)和借助于xbyak JIT匯編器實(shí)現(xiàn)的原生Operator，深入挖掘編譯時(shí)和運(yùn)行時(shí)性能;另一方面，飛槳通過(guò)引入OpenBLAS、Intel® MKL、Intel® MKL-DNN 和nGraph，對(duì)Intel CXL等新型芯片提供了性能保證。

　　針對(duì)GPU平臺(tái)，飛槳既為大部分Operator用CUDA C實(shí)現(xiàn)了經(jīng)過(guò)人工精心優(yōu)化的核函數(shù)，也集成了cuBLAS、cuDNN等供應(yīng)商庫(kù)的新接口、新特性。

　　注：以上核心框架解讀部分內(nèi)容已經(jīng)正式發(fā)表在中英文期刊《數(shù)據(jù)與計(jì)算發(fā)展前沿》(CN 10-1649/TP，ISSN 2096-742X) 本文對(duì)于飛槳核心框架的深度解讀，是飛槳全新發(fā)布完整解讀的系列文章之(一)，后續(xù)還會(huì)繼續(xù)推出五篇系列文章，敬請(qǐng)期待。

　　想與更多的深度學(xué)習(xí)開(kāi)發(fā)者交流，請(qǐng)加入飛槳官方QQ群：796771754。如果您想詳細(xì)了解更多飛槳PaddlePaddle的相關(guān)內(nèi)容，請(qǐng)參閱以下文檔。

　　官網(wǎng)地址：https://www.paddlepaddle.org.cn/

　　核心框架：https://github.com/PaddlePaddle/Paddle

　　分布式訓(xùn)練：https://github.com/PaddlePaddle/Fleet

　　PaddleLite：https://github.com/PaddlePaddle/Paddle-Lite

　　PaddleSlim：https://github.com/PaddlePaddle/models/tree/release/1.6/PaddleSlim

特別提醒：本網(wǎng)內(nèi)容轉(zhuǎn)載自其他媒體，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。本站不承擔(dān)此類(lèi)作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請(qǐng)及時(shí)聯(lián)系我們，本站將會(huì)在24小時(shí)內(nèi)處理完畢。