2019年以來，基于深度神經(jīng)網(wǎng)絡(luò)的預(yù)訓(xùn)練技術(shù)在技術(shù)創(chuàng)新和工業(yè)應(yīng)用上不斷取得突破，但傳統(tǒng)預(yù)訓(xùn)練技術(shù)上仍有一些痛點(diǎn)困擾著開發(fā)者：

　　僅考慮單一粒度語(yǔ)義建模，缺乏多粒度語(yǔ)義理解能力;

　　受限于 Transformer 結(jié)構(gòu)的建模長(zhǎng)度瓶頸，無法處理超長(zhǎng)文本;

　　聚焦語(yǔ)言等單一模態(tài)，缺乏工業(yè)真實(shí)應(yīng)用場(chǎng)景針對(duì)多個(gè)模態(tài)如語(yǔ)言、視覺、聽覺信息的聯(lián)合建模能力。

　　5月20日舉辦的2021深度學(xué)習(xí)開發(fā)者峰會(huì)WAVE SUMMIT上，依托飛槳核心框架，百度文心ERNIE最新開源四大預(yù)訓(xùn)練模型：多粒度語(yǔ)言知識(shí)增強(qiáng)模型 ERNIE-Gram、長(zhǎng)文本理解模型 ERNIE-Doc、融合場(chǎng)景圖知識(shí)的跨模態(tài)理解模型 ERNIE-ViL、語(yǔ)言與視覺一體的模型ERNIE-UNIMO。

　　針對(duì)傳統(tǒng)預(yù)訓(xùn)練技術(shù)現(xiàn)存的難點(diǎn)痛點(diǎn)，此次文心ERNIE開源的四大預(yù)訓(xùn)練模型不僅在文本語(yǔ)義理解、長(zhǎng)文本建模和跨模態(tài)理解三大領(lǐng)域取得突破，效果上超越谷歌、微軟等業(yè)界模型，還擁有廣泛的應(yīng)用場(chǎng)景和前景，進(jìn)一步助力產(chǎn)業(yè)智能化升級(jí)。

　　文心ERNIE開源版地址：https://github.com/PaddlePaddle/ERNIE

　　文心ERNIE官網(wǎng)地址：https://wenxin.baidu.com/

　　一、多粒度語(yǔ)言知識(shí)增強(qiáng)模型ERNIE-Gram

從 ERNIE模型誕生起，百度研究者們就在預(yù)訓(xùn)練模型中引入知識(shí)，通過知識(shí)增強(qiáng)的方法提升語(yǔ)義模型的能力。本次發(fā)布的ERNIE-Gram模型正是通過顯式引入語(yǔ)言粒度知識(shí)，從而提升模型的效果。具體來說，ERNIE-Gram 提出顯式 n-gram 掩碼語(yǔ)言模型，學(xué)習(xí) n-gram粒度語(yǔ)言信息，相對(duì)連續(xù)的n-gram掩碼語(yǔ)言模型大幅縮小了語(yǔ)義學(xué)習(xí)空間（  → ，其中 為詞表大小， 為建模的gram 長(zhǎng)度），顯著提升預(yù)訓(xùn)練模型收斂速度。

　　圖1-1 連續(xù) n-gram 掩碼語(yǔ)言模型 vs 顯式 n-gram 掩碼語(yǔ)言模型

　　此外，在顯式 n-gram 語(yǔ)義粒度建?；A(chǔ)上，ERNIE-Gram 提出多層次 n-gram 語(yǔ)言粒度學(xué)習(xí)，利用 two-stream 雙流機(jī)制，實(shí)現(xiàn)同時(shí)學(xué)習(xí) n-gram 語(yǔ)言單元內(nèi)細(xì)粒度(fine-grained)語(yǔ)義知識(shí)和 n-gram 語(yǔ)言單元間粗粒度(coarse-grained)語(yǔ)義知識(shí)，實(shí)現(xiàn)多層次的語(yǔ)言粒度知識(shí)學(xué)習(xí)。

　　圖1-2 n-gram 多層次語(yǔ)言粒度掩碼學(xué)習(xí)

　　ERNIE-Gram在不增加任何計(jì)算復(fù)雜度的前提下，在自然語(yǔ)言推斷任務(wù) 、短文本相似度任務(wù)、閱讀理解任務(wù)等多個(gè)典型中文任務(wù)上，效果顯著超越了業(yè)界主流開源預(yù)訓(xùn)練模型。此外，ERNIE-Gram 英文預(yù)訓(xùn)練模型也在通用語(yǔ)言理解任務(wù)、閱讀理解任務(wù)上效果超越主流模型。ERNIE-Gram的方法被 NAACL 2021主會(huì)長(zhǎng)文錄用。

　　論文地址：https://arxiv.org/abs/2010.12148

　　二、長(zhǎng)文本理解模型ERNIE-Doc

　　Transformer 是 ERNIE預(yù)訓(xùn)練模型所依賴的基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)，但由于其計(jì)算量和空間消耗隨建模長(zhǎng)度呈平方級(jí)增加，導(dǎo)致模型難以建模篇章、書籍等長(zhǎng)文本內(nèi)容。受到人類先粗讀后精讀的閱讀方式啟發(fā)，ERNIE-Doc 首創(chuàng)回顧式建模技術(shù)，突破了 Transformer 在文本長(zhǎng)度上的建模瓶頸，實(shí)現(xiàn)了任意長(zhǎng)文本的雙向建模。

　　通過將長(zhǎng)文本重復(fù)輸入模型兩次，ERNIE-Doc在粗讀階段學(xué)習(xí)并存儲(chǔ)全篇章語(yǔ)義信息，在精讀階段針對(duì)每一個(gè)文本片段顯式地融合全篇章語(yǔ)義信息，從而實(shí)現(xiàn)雙向建模，避免了上下文碎片化的問題。

　　此外，傳統(tǒng)長(zhǎng)文本模型(Transformer-XL等)中Recurrence Memory結(jié)構(gòu)的循環(huán)方式限制了模型的有效建模長(zhǎng)度。ERNIE-Doc將其改進(jìn)為同層循環(huán)，使模型保留了更上層的語(yǔ)義信息，具備了超長(zhǎng)文本的建模能力。

　　圖2-1 ERNIE-Doc中的回顧式建模與增強(qiáng)記憶機(jī)制

　　通過讓模型學(xué)習(xí)篇章級(jí)文本段落間的順序關(guān)系，ERNIE-Doc 可以更好地建模篇章整體信息。

　　圖2-2 篇章重排序?qū)W習(xí)

　　ERNIE-Doc顯著提升了長(zhǎng)文本的建模能力，可以解決很多傳統(tǒng)模型無法處理的應(yīng)用難題。例如在搜索引擎中，ERNIE-Doc可以對(duì)網(wǎng)頁(yè)整體理解，返回用戶更加系統(tǒng)的結(jié)果。在智能創(chuàng)作中，ERNIE-Doc可以用來生成更加長(zhǎng)篇、語(yǔ)義豐富的文章。

　　超長(zhǎng)文本理解模型 ERNIE-Doc在包括閱讀理解、信息抽取、篇章分類、語(yǔ)言模型等不同類型的13個(gè)典型中英文長(zhǎng)文本任務(wù)上取得最優(yōu)的效果。ERNIE-Doc的方法被 ACL 2021主會(huì)長(zhǎng)文錄用。

　　論文鏈接：https://arxiv.org/abs/2012.15688

　　三、融合場(chǎng)景圖知識(shí)的跨模態(tài)理解模型ERNIE-ViL

　　跨模態(tài)的信息處理能力需要人工智能模型深入理解并綜合語(yǔ)言、視覺、聽覺等模態(tài)的信息。當(dāng)前，基于預(yù)訓(xùn)練的跨模態(tài)語(yǔ)義理解技術(shù)，通過對(duì)齊語(yǔ)料學(xué)習(xí)跨模態(tài)的聯(lián)合表示，將語(yǔ)義對(duì)齊信號(hào)融合到聯(lián)合表示中，從而提升跨模態(tài)語(yǔ)義理解能力。ERNIE-ViL提出了知識(shí)增強(qiáng)的視覺-語(yǔ)言預(yù)訓(xùn)練模型，將包含細(xì)粒度語(yǔ)義信息的場(chǎng)景圖(Scene Graph)知識(shí)融入預(yù)訓(xùn)練過程，構(gòu)建了物體預(yù)測(cè)、屬性預(yù)測(cè)、關(guān)系預(yù)測(cè)三個(gè)預(yù)訓(xùn)練任務(wù)，使得模型在預(yù)訓(xùn)練過程中更加關(guān)注細(xì)粒度語(yǔ)義知識(shí)，學(xué)習(xí)到能夠刻畫更好跨模態(tài)語(yǔ)義對(duì)齊信息，得到更好的跨模態(tài)語(yǔ)義表示。

　　圖3-1知識(shí)增強(qiáng)的跨模態(tài)預(yù)訓(xùn)練ERNIE-ViL框架

　　ERNIE-ViL首次將場(chǎng)景圖知識(shí)融入跨模態(tài)模型的預(yù)訓(xùn)練過程，為跨模態(tài)語(yǔ)義理解領(lǐng)域研究提供了新的思路。該模型在視覺問答、視覺常識(shí)推理、引用表達(dá)式理解、跨模態(tài)文本&圖像檢索等5個(gè)典型跨模態(tài)任務(wù)上取得了領(lǐng)先的效果。ERNIE-ViL模型也逐步在視頻搜索等真實(shí)工業(yè)應(yīng)用場(chǎng)景中落地。ERNIE-ViL的方法被AAAI-2021主會(huì)長(zhǎng)文錄用。

　　論文地址:https://arxiv.org/abs/2006.16934

　　四、語(yǔ)言與視覺一體的模型ERNIE-UNIMO

　　大數(shù)據(jù)是深度學(xué)習(xí)取得成功的關(guān)鍵基礎(chǔ)之一。當(dāng)前的預(yù)訓(xùn)練方法，通常分別在各種不同模態(tài)數(shù)據(jù)上分別進(jìn)行，難以同時(shí)支持各類語(yǔ)言和圖像的任務(wù)。基于深度學(xué)習(xí)的AI系統(tǒng)是否也能像人一樣同時(shí)學(xué)習(xí)各種單模、多模等異構(gòu)模態(tài)數(shù)據(jù)呢?如果能夠?qū)崿F(xiàn)，無疑將進(jìn)一步打開深度學(xué)習(xí)對(duì)大規(guī)模數(shù)據(jù)利用的邊界，從而進(jìn)一步提升AI系統(tǒng)的感知與認(rèn)知的通用能力。

　　為此，語(yǔ)言與視覺一體的模型ERNIE-UNIMO提出統(tǒng)一模態(tài)學(xué)習(xí)方法，同時(shí)使用單模文本、單模圖像和多模圖文對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練，學(xué)習(xí)文本和圖像的統(tǒng)一語(yǔ)義表示，從而具備同時(shí)處理多種單模態(tài)和跨模態(tài)下游任務(wù)的能力。此方法的核心模塊是一個(gè)Transformer網(wǎng)絡(luò)，在具體訓(xùn)練過程中，文本、圖像和圖文對(duì)三種模態(tài)數(shù)據(jù)隨機(jī)混合在一起，其中圖像被轉(zhuǎn)換為目標(biāo)(object)序列，文本被轉(zhuǎn)換為詞(token)序列，圖文對(duì)被轉(zhuǎn)換為目標(biāo)序列和詞序列的拼接。統(tǒng)一模態(tài)學(xué)習(xí)對(duì)三種類型數(shù)據(jù)進(jìn)行統(tǒng)一處理，在目標(biāo)序列或者詞序列上基于掩碼預(yù)測(cè)進(jìn)行自監(jiān)督學(xué)習(xí)，并且基于圖文對(duì)數(shù)據(jù)進(jìn)行跨模態(tài)對(duì)比學(xué)習(xí)，從而實(shí)現(xiàn)圖像與文本的統(tǒng)一表示學(xué)習(xí)。進(jìn)一步的，這種聯(lián)合學(xué)習(xí)方法也讓文本知識(shí)和視覺知識(shí)互相增強(qiáng)，從而有效提升文本語(yǔ)義表示和視覺語(yǔ)義表示的能力。

　　此方法在語(yǔ)言理解與生成、多模理解與生成，4類場(chǎng)景、共13個(gè)任務(wù)上超越主流的文本預(yù)訓(xùn)練模型和多模預(yù)訓(xùn)練模型，同時(shí)登頂權(quán)威視覺問答榜單VQA、文本推理榜單aNLI。首次驗(yàn)證了通過非平行的文本與圖像單模數(shù)據(jù)，能夠讓語(yǔ)言知識(shí)與視覺知識(shí)相互增強(qiáng)。此工作被ACL2021主會(huì)長(zhǎng)文錄用。

　　論文地址:https://arxiv.org/abs/2012.15409

　　五、破解NLP技術(shù)難題，助力產(chǎn)業(yè)智能化

　　文心ERNIE全新開源發(fā)布4 大預(yù)訓(xùn)練模型，不斷推動(dòng)NLP模型技術(shù)研究層面的創(chuàng)新與應(yīng)用。

　　語(yǔ)言與知識(shí)技術(shù)被看作是人工智能認(rèn)知能力的核心。2019 年以來，百度憑借在自然語(yǔ)言處理領(lǐng)域的深厚積累取得了系列世界突破，發(fā)布了文心ERNIE語(yǔ)義理解平臺(tái)，該平臺(tái)廣泛用于金融、通信、教育、互聯(lián)網(wǎng)等行業(yè)，助力產(chǎn)業(yè)智能化升級(jí)。

　　作為“人工智能皇冠上的明珠”，NLP領(lǐng)域向來是人工智能技術(shù)研發(fā)與落地實(shí)踐的前沿。百度文心平臺(tái)基于領(lǐng)先的語(yǔ)義理解技術(shù)，幫助企業(yè)在NLP賽道上跨過技術(shù)、工具、算力、人才等門檻，對(duì)開發(fā)者和企業(yè)進(jìn)行開放，全面加速NLP技術(shù)助力全產(chǎn)業(yè)智能化升級(jí)進(jìn)程，為AI工業(yè)大生產(chǎn)插上智能的“翅膀”。

特別提醒：本網(wǎng)信息來自于互聯(lián)網(wǎng)，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。本站不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請(qǐng)及時(shí)聯(lián)系我們，本站將會(huì)在24小時(shí)內(nèi)處理完畢。