6 月 28 日消息 今日，字節(jié)跳動(dòng)火山翻譯團(tuán)隊(duì)宣布推出 LightSeq 訓(xùn)練加速引擎，并向全球開(kāi)發(fā)者開(kāi)源。

　　Transformer 是自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)等 AI 技術(shù)領(lǐng)域最常用的基礎(chǔ)模型，被廣泛應(yīng)用在機(jī)器翻譯、文本生成、文本摘要、圖像處理、時(shí)間序列預(yù)測(cè)等任務(wù)中。訓(xùn)練和推理則是 AI 技術(shù)的兩個(gè)主要過(guò)程，相當(dāng)于學(xué)習(xí)知識(shí)和解決問(wèn)題。

　　據(jù)悉，LightSeq 訓(xùn)練加速引擎能夠支持 Transformer 的完整加速，從詞嵌入層、編碼層、解碼層，到最后的損失函數(shù)層，業(yè)內(nèi)首次實(shí)現(xiàn)了全流程支持。而且 LightSeq 的訓(xùn)練速度極快，相比主流的序列生成庫(kù)，LightSeq 最快只需要三分之一的時(shí)間就能完成訓(xùn)練。

　　根據(jù)公開(kāi)報(bào)道，字節(jié)跳動(dòng)現(xiàn)在已經(jīng)開(kāi)源了機(jī)器學(xué)習(xí)平臺(tái) Klever、聯(lián)邦學(xué)習(xí)平臺(tái) Fedlearner、高性能分布式訓(xùn)練框架 BytePS 等重磅項(xiàng)目。

特別提醒：本網(wǎng)信息來(lái)自于互聯(lián)網(wǎng)，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。本站不承擔(dān)此類(lèi)作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請(qǐng)及時(shí)聯(lián)系我們，本站將會(huì)在24小時(shí)內(nèi)處理完畢。