2019年以來，基于深度神經網絡的預訓練技術在技術創(chuàng)新和工業(yè)應用上不斷取得突破，但傳統(tǒng)預訓練技術上仍有一些痛點困擾著開發(fā)者：

　　僅考慮單一粒度語義建模，缺乏多粒度語義理解能力;

　　受限于 Transformer 結構的建模長度瓶頸，無法處理超長文本;

　　聚焦語言等單一模態(tài)，缺乏工業(yè)真實應用場景針對多個模態(tài)如語言、視覺、聽覺信息的聯合建模能力。

　　5月20日舉辦的2021深度學習開發(fā)者峰會WAVE SUMMIT上，依托飛槳核心框架，百度文心ERNIE最新開源四大預訓練模型：多粒度語言知識增強模型 ERNIE-Gram、長文本理解模型 ERNIE-Doc、融合場景圖知識的跨模態(tài)理解模型 ERNIE-ViL、語言與視覺一體的模型ERNIE-UNIMO。

　　針對傳統(tǒng)預訓練技術現存的難點痛點，此次文心ERNIE開源的四大預訓練模型不僅在文本語義理解、長文本建模和跨模態(tài)理解三大領域取得突破，效果上超越谷歌、微軟等業(yè)界模型，還擁有廣泛的應用場景和前景，進一步助力產業(yè)智能化升級。

　　文心ERNIE開源版地址：https://github.com/PaddlePaddle/ERNIE

　　文心ERNIE官網地址：https://wenxin.baidu.com/

　　一、多粒度語言知識增強模型ERNIE-Gram

從 ERNIE模型誕生起，百度研究者們就在預訓練模型中引入知識，通過知識增強的方法提升語義模型的能力。本次發(fā)布的ERNIE-Gram模型正是通過顯式引入語言粒度知識，從而提升模型的效果。具體來說，ERNIE-Gram 提出顯式 n-gram 掩碼語言模型，學習 n-gram粒度語言信息，相對連續(xù)的n-gram掩碼語言模型大幅縮小了語義學習空間（  → ，其中 為詞表大小， 為建模的gram 長度），顯著提升預訓練模型收斂速度。

　　圖1-1 連續(xù) n-gram 掩碼語言模型 vs 顯式 n-gram 掩碼語言模型

　　此外，在顯式 n-gram 語義粒度建?；A上，ERNIE-Gram 提出多層次 n-gram 語言粒度學習，利用 two-stream 雙流機制，實現同時學習 n-gram 語言單元內細粒度(fine-grained)語義知識和 n-gram 語言單元間粗粒度(coarse-grained)語義知識，實現多層次的語言粒度知識學習。

　　圖1-2 n-gram 多層次語言粒度掩碼學習

　　ERNIE-Gram在不增加任何計算復雜度的前提下，在自然語言推斷任務 、短文本相似度任務、閱讀理解任務等多個典型中文任務上，效果顯著超越了業(yè)界主流開源預訓練模型。此外，ERNIE-Gram 英文預訓練模型也在通用語言理解任務、閱讀理解任務上效果超越主流模型。ERNIE-Gram的方法被 NAACL 2021主會長文錄用。

　　論文地址：https://arxiv.org/abs/2010.12148

　　二、長文本理解模型ERNIE-Doc

　　Transformer 是 ERNIE預訓練模型所依賴的基礎網絡結構，但由于其計算量和空間消耗隨建模長度呈平方級增加，導致模型難以建模篇章、書籍等長文本內容。受到人類先粗讀后精讀的閱讀方式啟發(fā)，ERNIE-Doc 首創(chuàng)回顧式建模技術，突破了 Transformer 在文本長度上的建模瓶頸，實現了任意長文本的雙向建模。

　　通過將長文本重復輸入模型兩次，ERNIE-Doc在粗讀階段學習并存儲全篇章語義信息，在精讀階段針對每一個文本片段顯式地融合全篇章語義信息，從而實現雙向建模，避免了上下文碎片化的問題。

　　此外，傳統(tǒng)長文本模型(Transformer-XL等)中Recurrence Memory結構的循環(huán)方式限制了模型的有效建模長度。ERNIE-Doc將其改進為同層循環(huán)，使模型保留了更上層的語義信息，具備了超長文本的建模能力。

　　圖2-1 ERNIE-Doc中的回顧式建模與增強記憶機制

　　通過讓模型學習篇章級文本段落間的順序關系，ERNIE-Doc 可以更好地建模篇章整體信息。

　　圖2-2 篇章重排序學習

　　ERNIE-Doc顯著提升了長文本的建模能力，可以解決很多傳統(tǒng)模型無法處理的應用難題。例如在搜索引擎中，ERNIE-Doc可以對網頁整體理解，返回用戶更加系統(tǒng)的結果。在智能創(chuàng)作中，ERNIE-Doc可以用來生成更加長篇、語義豐富的文章。

　　超長文本理解模型 ERNIE-Doc在包括閱讀理解、信息抽取、篇章分類、語言模型等不同類型的13個典型中英文長文本任務上取得最優(yōu)的效果。ERNIE-Doc的方法被 ACL 2021主會長文錄用。

　　論文鏈接：https://arxiv.org/abs/2012.15688

　　三、融合場景圖知識的跨模態(tài)理解模型ERNIE-ViL

　　跨模態(tài)的信息處理能力需要人工智能模型深入理解并綜合語言、視覺、聽覺等模態(tài)的信息。當前，基于預訓練的跨模態(tài)語義理解技術，通過對齊語料學習跨模態(tài)的聯合表示，將語義對齊信號融合到聯合表示中，從而提升跨模態(tài)語義理解能力。ERNIE-ViL提出了知識增強的視覺-語言預訓練模型，將包含細粒度語義信息的場景圖(Scene Graph)知識融入預訓練過程，構建了物體預測、屬性預測、關系預測三個預訓練任務，使得模型在預訓練過程中更加關注細粒度語義知識，學習到能夠刻畫更好跨模態(tài)語義對齊信息，得到更好的跨模態(tài)語義表示。

　　圖3-1知識增強的跨模態(tài)預訓練ERNIE-ViL框架

　　ERNIE-ViL首次將場景圖知識融入跨模態(tài)模型的預訓練過程，為跨模態(tài)語義理解領域研究提供了新的思路。該模型在視覺問答、視覺常識推理、引用表達式理解、跨模態(tài)文本&圖像檢索等5個典型跨模態(tài)任務上取得了領先的效果。ERNIE-ViL模型也逐步在視頻搜索等真實工業(yè)應用場景中落地。ERNIE-ViL的方法被AAAI-2021主會長文錄用。

　　論文地址:https://arxiv.org/abs/2006.16934

　　四、語言與視覺一體的模型ERNIE-UNIMO

　　大數據是深度學習取得成功的關鍵基礎之一。當前的預訓練方法，通常分別在各種不同模態(tài)數據上分別進行，難以同時支持各類語言和圖像的任務?；谏疃葘W習的AI系統(tǒng)是否也能像人一樣同時學習各種單模、多模等異構模態(tài)數據呢?如果能夠實現，無疑將進一步打開深度學習對大規(guī)模數據利用的邊界，從而進一步提升AI系統(tǒng)的感知與認知的通用能力。

　　為此，語言與視覺一體的模型ERNIE-UNIMO提出統(tǒng)一模態(tài)學習方法，同時使用單模文本、單模圖像和多模圖文對數據進行訓練，學習文本和圖像的統(tǒng)一語義表示，從而具備同時處理多種單模態(tài)和跨模態(tài)下游任務的能力。此方法的核心模塊是一個Transformer網絡，在具體訓練過程中，文本、圖像和圖文對三種模態(tài)數據隨機混合在一起，其中圖像被轉換為目標(object)序列，文本被轉換為詞(token)序列，圖文對被轉換為目標序列和詞序列的拼接。統(tǒng)一模態(tài)學習對三種類型數據進行統(tǒng)一處理，在目標序列或者詞序列上基于掩碼預測進行自監(jiān)督學習，并且基于圖文對數據進行跨模態(tài)對比學習，從而實現圖像與文本的統(tǒng)一表示學習。進一步的，這種聯合學習方法也讓文本知識和視覺知識互相增強，從而有效提升文本語義表示和視覺語義表示的能力。

　　此方法在語言理解與生成、多模理解與生成，4類場景、共13個任務上超越主流的文本預訓練模型和多模預訓練模型，同時登頂權威視覺問答榜單VQA、文本推理榜單aNLI。首次驗證了通過非平行的文本與圖像單模數據，能夠讓語言知識與視覺知識相互增強。此工作被ACL2021主會長文錄用。

　　論文地址:https://arxiv.org/abs/2012.15409

　　五、破解NLP技術難題，助力產業(yè)智能化

　　文心ERNIE全新開源發(fā)布4 大預訓練模型，不斷推動NLP模型技術研究層面的創(chuàng)新與應用。

　　語言與知識技術被看作是人工智能認知能力的核心。2019 年以來，百度憑借在自然語言處理領域的深厚積累取得了系列世界突破，發(fā)布了文心ERNIE語義理解平臺，該平臺廣泛用于金融、通信、教育、互聯網等行業(yè)，助力產業(yè)智能化升級。

　　作為“人工智能皇冠上的明珠”，NLP領域向來是人工智能技術研發(fā)與落地實踐的前沿。百度文心平臺基于領先的語義理解技術，幫助企業(yè)在NLP賽道上跨過技術、工具、算力、人才等門檻，對開發(fā)者和企業(yè)進行開放，全面加速NLP技術助力全產業(yè)智能化升級進程，為AI工業(yè)大生產插上智能的“翅膀”。

特別提醒：本網信息來自于互聯網，目的在于傳遞更多信息，并不代表本網贊同其觀點。其原創(chuàng)性以及文中陳述文字和內容未經本站證實，對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾，并請自行核實相關內容。本站不承擔此類作品侵權行為的直接責任及連帶責任。如若本網有任何內容侵犯您的權益，請及時聯系我們，本站將會在24小時內處理完畢。