百度深度學習平臺飛槳(PaddlePaddle)再放大招!端側推理引擎全新升級，重磅發(fā)布Paddle Lite，旨在推動人工智能應用在端側更好落地。該推理引擎在多硬件、多平臺以及硬件混合調度的支持上更加完備，是飛槳在Paddle Mobile的基礎上進行的一次大規(guī)模升級迭代。通過對底層架構設計的改進，拓展性和兼容性等方面實現顯著提升。目前，Paddle Lite已經支持了ARM CPU，Mali GPU，Adreno GPU，華為NPU以及FPGA等諸多硬件平臺，是目前首個支持華為NPU在線編譯的深度學習推理框架。

　　隨著技術進步，手機等移動設備已成為非常重要的本地深度學習載體，然而日趨異構化的硬件平臺和復雜的終端側的使用狀況，讓端側推理引擎的架構能力頗受挑戰(zhàn)。端側模型的推理往往面臨著算力和內存的限制，為了能夠完整的支持眾多的硬件架構，并且實現在這些硬件之上人工智能應用性能的性能優(yōu)化，百度飛槳基于Paddle Mobile預測庫，融合Anakin等多個相關項目的技術優(yōu)勢，全新發(fā)布端側推理引擎Paddle Lite，通過建模底層計算模式，加強了多種硬件、量化方法、Data Layout 混合調度執(zhí)行的能力，從而保障了宏觀硬件的支持能力，滿足人工智能應用落地移動端的嚴苛要求。

　　Paddle Lite在架構上全新升級，并重點增加了多種計算模式(硬件、量化方法、Data Layout)混合調度的完備性設計，可以完整承擔深度學習模型在不同硬件平臺上的的推理部署需求，具備高性能、多硬件、多平臺、擴展性強等優(yōu)勢。不同于其他一些獨立的推理引擎，Paddle Lite依托飛槳訓練框架及其對應的豐富完整的算子庫，底層算子計算邏輯與訓練嚴格一致，模型完全兼容無風險，并可快速支持更多模型。

　　Paddle Lite架構由四層次組成：第一層model 層直接接受Paddle訓練的模型，通過模型優(yōu)化工具轉化為NaiveBuffer特殊格式，以便更好地適應移動端的部署場景;第二層Program層是operator序列構成的執(zhí)行程序;第三層是一個完整的分析模塊，主要包括TypeSystem、SSA Graph和Passes等模塊;第四層是執(zhí)行層，由Kernel序列構成的Runtime Program。

　　Paddle Lite具有以下重要特性：

　　與其他端側引擎相比，Paddle Lite擴展性更高，框架層硬件抽象層次的描述能力強，容易對新的硬件進行集成，可以模塊化地對硬件和模型進行更細致的分析和優(yōu)化。

　　在模型支持方面，Paddle Lite現已支持Paddle圖像分類、檢測、分割及圖像文字識別等領域的模型預測，官方發(fā)布了18個模型的benchmark。此外，可以通過X2Paddle工具將由Caffe和TensorFlow訓練的模型轉換后進行預測。

　　在硬件支持方面，目前Paddle Lite已支持ARM CPU, ARM GPU、華為NPU和FPGA等硬件平臺，正在優(yōu)化支持的有寒武紀、比特大陸等國產AI芯片，并會兼容支持的Intel、NVIDIA等主流云端芯片，與硬件廠商的廣泛深入合作使得lite具有高性能表現，并可緊跟新硬件發(fā)展步伐提供先于其他框架的性能表現領先優(yōu)勢。

　　模型支持和硬件平臺支持的廣泛性，整體保證了框架的高通用性

　　在性能方面，Paddle Lite針對不同微架構，進行了kernel的深度優(yōu)化，支持INT8量化計算，在主流移動端模型上展現出領先的速度優(yōu)勢。值得一提的是，在“國貨”華為 NPU上也具有很好的性能表現。

　　與此同時，Paddle Lite可針對端側設備特點進行深度定制及優(yōu)化，無第三方庫依賴，讓部署過程更輕量化。整個推理過程分為模型加載解析、計算圖的優(yōu)化分析及設備上的高效運行。移動端可以直接部署經過優(yōu)化分析的圖，執(zhí)行預測。Android平臺上，ARMV7 動態(tài)庫只需要800k，ARMV8動態(tài)庫僅有1.3M，也可以根據需要，進行更深度的剪裁。

　　此外，還進一步完善提供了Web前端開發(fā)接口，支持javascript調用 GPU，可在網頁端快捷運行深度學習模型。

　　端側推理引擎在人工智能應用落地環(huán)節(jié)有著重要影響，直接關系到用戶的體驗，在自動駕駛等人工智能應用領域，端側推理引擎甚至關乎用戶的生命財產安全。百度飛槳推出Paddle Lite對端側推理引擎性能進行大幅優(yōu)化提升，對于人能智能應用的落地起到關鍵的推動作用。未來，Paddle Lite將支持更多硬件，覆蓋更廣泛的應用領域。

　　更多詳情：

　　歡迎加入官方QQ群：696965088

　　官網地址：

　　https://www.paddlepaddle.org.cn

　　項目地址：

　　https://github.com/PaddlePaddle/Paddle-Lite

特別提醒：本網內容轉載自其他媒體，目的在于傳遞更多信息，并不代表本網贊同其觀點。其原創(chuàng)性以及文中陳述文字和內容未經本站證實，對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾，并請自行核實相關內容。本站不承擔此類作品侵權行為的直接責任及連帶責任。如若本網有任何內容侵犯您的權益，請及時聯(lián)系我們，本站將會在24小時內處理完畢。