2月28日，人工智能頂級會議CVPR 2021(國際計算機視覺與模式識別會議，Conference on Computer Vision and Pattern Recognition)公布論文錄取結(jié)果，網(wǎng)易伏羲共有3篇論文入選。

　　其中，由網(wǎng)易伏羲虛擬人團隊發(fā)表的一項研究頗為引人關(guān)注。該研究提出了一種人類表情編碼的創(chuàng)新提取方法，大幅提升了AI感知人類表情的精度。隨著該技術(shù)的發(fā)展，未來，AI感知人類表情的能力甚至有望超越人類感知平均水平。

　　這一技術(shù)的應(yīng)用場景十分廣泛，包括測謊、性格評估、自閉癥檢測、表演能力評估等眾多與人臉表情相關(guān)的領(lǐng)域。

　　過去，學(xué)術(shù)界對人類表情的識別和描述，一般源于兩種傳統(tǒng)理論：一種源自150年前的達爾文時期，學(xué)者們從心理學(xué)出發(fā)，基于高興、驚訝、生氣、悲傷等有限的情緒類別描述人類表情;另一種起源于上世紀(jì)70年代末，知名心理學(xué)家Paul Ekman博士從解剖學(xué)角度出發(fā)，基于人臉肌肉運動，用27種動作單元來描述人類表情。

　　從數(shù)量上看，傳統(tǒng)理論對人類表情的描述極為有限。網(wǎng)易伏羲的人類表情編碼提取方法，則以人工智能的方式進一步突破了這一瓶頸。通過學(xué)習(xí)大量的人臉表情數(shù)據(jù)，AI可以無窮盡、無上限地感知人類表情。

　　為了讓AI更懂人類的喜怒哀樂，技術(shù)人員還需要大量細顆粒度、人工標(biāo)注的人臉表情數(shù)據(jù)用于算法參數(shù)迭代，進一步提升表情編碼的精度。為此，網(wǎng)易伏羲正在開發(fā)一個游戲化標(biāo)注小程序，讓普通用戶能夠在游戲的過程中，輕輕松松地參與表情標(biāo)注，加速推進人類表情領(lǐng)域的人工智能研究與應(yīng)用。

　　網(wǎng)易伏羲成立于2017年，是國內(nèi)從事游戲與文創(chuàng)AI研究和應(yīng)用的頂尖機構(gòu)，研究方向包括強化學(xué)習(xí)、圖像動畫、自然語言、虛擬人、用戶畫像、大數(shù)據(jù)平臺等領(lǐng)域。據(jù)了解，此次CVPR中稿論文展示的部分科研成果，已經(jīng)在網(wǎng)易多個產(chǎn)品中成功落地。未來，網(wǎng)易伏羲將繼續(xù)以技術(shù)落地為導(dǎo)向，用科研成果推動產(chǎn)品創(chuàng)新。

　　附|網(wǎng)易伏羲三篇入選CVPR2021論文簡介：

　　1、《去ID信息的表情編碼》

　　（Learning a Facial Expression Embedding Disentangled from Identity）

　　論文簡介：

　　本文研究的主要目的，是獲取一種緊致的，且與ID信息無關(guān)的人臉表情表征。

　　本研究中，網(wǎng)易伏羲虛擬人團隊首次提出，將表情特征建模為從ID身份特征出發(fā)的一個差值向量，以這種顯式方式去掉ID的影響。為此，本研究設(shè)計了一個偽孿生結(jié)構(gòu)的網(wǎng)絡(luò)去學(xué)習(xí)這種差值。同時，為了加強網(wǎng)絡(luò)在深層的學(xué)習(xí)能力，本研究通過高階多項式的方法替代一般的全連接層去完成從高維到低維的映射。另外，考慮到不同標(biāo)注者存在一定標(biāo)注噪音，本研究增加了眾包層學(xué)習(xí)不同標(biāo)注者的偏差，使學(xué)習(xí)到的表情表征更加魯棒。

　　定性和定量的實驗結(jié)果表明，該方法在FEC數(shù)據(jù)集上超越了前沿水平。同時在情緒識別、圖像檢索以及人臉表情生成等應(yīng)以用上都有不錯的效果。

　　(論文的Pipeline)

　　下圖展示了該工作的表情表征編碼的效果，輸入一張檢索(Query)表情，通過比較表情編碼的距離，從一個足夠大的人臉數(shù)據(jù)集中檢索出與之最相似的一些表情(Results)，下圖中展示了TOP5的結(jié)果。

　　(本研究中表情表征的效果)

　　由圖可知，所檢索出來的圖像和目標(biāo)表情非常接近，說明本研究提出的表情表征編碼可以感知微妙且精細的表情。

　　2、《基于稠密運動場的高清說話人臉視頻生成》

　　（Flow-based One-shot Talking Face Genaration with a High-resolution Audio-visual Dataset）

　　論文簡介：

　　One-shot說話人臉合成的目的，是給定任意一張人臉圖像和任意一段語音，合成具有語音口型同步、眉眼頭動自然的高清說話人臉視頻。之前工作合成的視頻分辨率之所以一直受到限制，主要有兩個原因：1、目前沒有合適的高清視聽數(shù)據(jù)集。2.之前的工作使用人臉特征引導(dǎo)人臉圖像合成，而對于高分辨率圖像來說特征太稀疏。

　　為了解決上述問題，本研究首先收集了一個無約束條件下(in-the-wild)的高清人臉音視數(shù)據(jù)集YAD，該數(shù)據(jù)集比之前無約束條件下的數(shù)據(jù)集更加高清，也比之前實驗室環(huán)境下(in-the-lab)數(shù)據(jù)集包含有更多的人物ID。

　　基于高清數(shù)據(jù)集YAD，本研究借助三維人臉重建(3DMM)將整個方法分成表情參數(shù)合成和視頻圖像合成兩個階段;在表情參數(shù)合成階段中，使用多任務(wù)的方法合成嘴唇運動參數(shù)、眉眼運動參數(shù)和頭部運動參數(shù)。在視頻圖像合成階段，則使用稠密運動場替代人臉關(guān)鍵點引導(dǎo)人臉圖像生成。定性和定量結(jié)果表明，與之前的工作相比，本研究可以合成更加高清的視頻。以下二圖分別展示方法的流程圖和視頻合成效果。

　　(論文的pipeline)

　　(實驗的合成結(jié)果)

　　3、《神經(jīng)風(fēng)格畫筆》

　　（Stylized Neural Painting）

　　論文簡介：

　　網(wǎng)易伏羲與密歇根大學(xué)合作研究，提出了一種圖像到繪畫的轉(zhuǎn)換方法。該方法可以生成風(fēng)格可控、生動逼真的繪畫作品。不同于神經(jīng)風(fēng)格遷移方法，網(wǎng)易伏羲在參數(shù)化的條件下處理這種藝術(shù)創(chuàng)作過程，并產(chǎn)生一系列具有物理意義的畫筆參數(shù)。

　　(借助神經(jīng)可微渲染器，AI可以創(chuàng)造出高相似度，又獨具風(fēng)格的繪畫作品)

　　由于經(jīng)典的矢量渲染是不可微的，因此我們設(shè)計了一種全新的神經(jīng)可微渲染器。它可以模仿矢量渲染器的行為，然后將畫筆預(yù)測轉(zhuǎn)換為參數(shù)搜索過程，即最大化輸入與渲染輸出之間的相似度。

　　實驗表明，通過該方法生成的繪畫在整體外觀、局部紋理上都具有很高的保真度;該方法也可以與神經(jīng)風(fēng)格遷移共同優(yōu)化，后者可以進一步遷移其他圖像的視覺樣式。

特別提醒：本網(wǎng)內(nèi)容轉(zhuǎn)載自其他媒體，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實，對本文以及其中全部或者部分內(nèi)容、文字的真實性、完整性、及時性本站不作任何保證或承諾，并請自行核實相關(guān)內(nèi)容。本站不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請及時聯(lián)系我們，本站將會在24小時內(nèi)處理完畢。