美國(guó)時(shí)間2月22日，百度硅谷人工智能實(shí)驗(yàn)室(SVAIL)宣布向深度學(xué)習(xí)領(lǐng)域開(kāi)源了 Ring Allreduce算法庫(kù)，以實(shí)現(xiàn)在多個(gè)GPU之上更快速地訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型。

　　Ring Allreduce是高性能計(jì)算領(lǐng)域的著名算法，但在深度學(xué)習(xí)領(lǐng)域應(yīng)用不足。該技術(shù)可以實(shí)現(xiàn)近乎線性的加速，以及幾十個(gè)甚至上百個(gè)GPU的擴(kuò)展。比如，運(yùn)用Ring Allreduce算法，百度硅谷人工智能實(shí)驗(yàn)室將神經(jīng)網(wǎng)絡(luò)的訓(xùn)練擴(kuò)展至40個(gè)GPU并且訓(xùn)練速度提高31倍。

　　百度研究員Shubho Sengupta表示：“我們很高興能開(kāi)源我們的Ring Allreduce算法庫(kù)，該庫(kù)可應(yīng)用于各大主要的深度學(xué)習(xí)框架，這將使深度學(xué)習(xí)研究人員可以在更多GPU上用更快的速度訓(xùn)練自己的模型。”

　　過(guò)去幾年里，神經(jīng)網(wǎng)絡(luò)迅猛發(fā)展，其訓(xùn)練所需的數(shù)據(jù)量和計(jì)算資源也越來(lái)越大。為了提供所需的計(jì)算能力，更多GPU被用在訓(xùn)練之中。

　　在多個(gè)GPU之上訓(xùn)練神經(jīng)網(wǎng)絡(luò)通常比較困難，因?yàn)楸容^普遍的做法是向單個(gè)GPU發(fā)送數(shù)據(jù)，這樣就形成了通訊瓶頸。而Ring Allreduce算法可以大大減少GPU用于發(fā)送數(shù)據(jù)的時(shí)間，用更多的時(shí)間進(jìn)行有效運(yùn)算，以此來(lái)消除瓶頸。

　　“Ring Allreduce算法讓我們可以在神經(jīng)網(wǎng)絡(luò)的眾多設(shè)備和節(jié)點(diǎn)之間進(jìn)行更加高效的梯度分級(jí)，這是一種針對(duì)帶寬優(yōu)化的算法，能夠大大減少運(yùn)算時(shí)間，從而實(shí)現(xiàn)更多設(shè)備的擴(kuò)展，同時(shí)還能保留同步隨機(jī)梯度下降的確定性與可預(yù)測(cè)的收斂性質(zhì)。百度研究員Andrew Gibiansky表示。

　　百度Ring Allreduce (https://github.com/baidu-research/baidu-allreduce )C類庫(kù)可在Github上下載使用。同時(shí)Github上還提供與TensorFLow共同使用時(shí)所需的補(bǔ)丁 (https://github.com/baidu-research/tensorflow-allreduce)。

特別提醒：本網(wǎng)內(nèi)容轉(zhuǎn)載自其他媒體，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。本站不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請(qǐng)及時(shí)聯(lián)系我們，本站將會(huì)在24小時(shí)內(nèi)處理完畢。