運(yùn)動(dòng)捕捉技術(shù)是借助慣性、光學(xué)傳感器,重建精確的人體三維模型信息的一種特效技術(shù),通常在影視劇及游戲特效制作、運(yùn)動(dòng)員動(dòng)作分析、患者康復(fù)評(píng)估等專業(yè)領(lǐng)域被廣泛應(yīng)用。相比高技術(shù)門(mén)檻、高成本的專業(yè)操作,騰訊微視近期在手機(jī)上實(shí)現(xiàn)了運(yùn)動(dòng)捕捉技術(shù),國(guó)內(nèi)首次在移動(dòng)端實(shí)現(xiàn)人體3D Mesh重建,用戶只需拿起手機(jī)拍攝或上傳一張全身照,即可體驗(yàn)黃金圣斗士的鎧甲實(shí)時(shí)貼合在人物身上。

(圖:騰訊微視“圣斗士集結(jié)”效果展示)

　　一鍵變身黃金圣斗士,集結(jié)最強(qiáng)戰(zhàn)隊(duì)燃燒小宇宙

　　騰訊微視聯(lián)動(dòng)《圣斗士星矢(騰訊)》手游推出圣斗士系列玩法。通過(guò)黃金圣斗士鎧甲換裝的玩法,在騰訊微視APP內(nèi)落地。用戶可參與“圣斗士集結(jié)”活動(dòng),即可一鍵穿上圣斗士們的黃金圣衣。用戶可通過(guò)搜索“圣斗士集結(jié)”關(guān)鍵詞進(jìn)入活動(dòng)頁(yè)面,或者點(diǎn)擊首頁(yè)底部+號(hào)進(jìn)入拍攝界面,也能找到活動(dòng)入口。

(圖:騰訊微視“圣斗士集結(jié)”活動(dòng)主界面)

　　用戶可上傳或拍攝一張正面照片,系統(tǒng)即可自動(dòng)識(shí)別照片姿勢(shì),給人物全身?yè)Q裝黃金圣斗士鎧甲?；蛘咴谂臄z頁(yè)面選擇圣斗士相關(guān)特效,全身入鏡即可變身圣斗士,即使在拍攝過(guò)程中處于運(yùn)動(dòng)狀態(tài),黃金盔甲特效也會(huì)實(shí)時(shí)計(jì)算跟蹤。在拍攝特效界面,可召喚多個(gè)星座的圣斗士,如黃金射手座、雙子座撒加、處女座沙加等。

(圖:騰訊微視“圣斗士集結(jié)”體驗(yàn)步驟)

　　動(dòng)捕技術(shù)移動(dòng)端首秀,微視自研手機(jī)3D Mesh算法

　　現(xiàn)如今短視頻領(lǐng)域的諸多玩法,背后的技術(shù)能力主要分為四種:人臉2D關(guān)鍵點(diǎn)檢測(cè)、人體2D關(guān)鍵點(diǎn)檢測(cè)、人臉/頭3D Mesh重建、人體3D關(guān)鍵點(diǎn)檢測(cè)。但想要實(shí)現(xiàn)上傳一張照片,或拍攝運(yùn)動(dòng)狀態(tài)下的人物都穿上黃金圣斗士鎧甲的效果,則需要實(shí)現(xiàn)從普通圖像中重建出人體3D Mesh,才能將人體的身材用鎧甲包裹住,并且保證能夠在手機(jī)上實(shí)時(shí)運(yùn)行。

(圖:人體3D Mesh重建效果展示)

　　騰訊微視為了獲取到高質(zhì)量的3D人體Mesh重建數(shù)據(jù),獨(dú)立搭建了一套全新的動(dòng)捕系統(tǒng),使用并基于這套系統(tǒng)開(kāi)發(fā)了相應(yīng)的Mesh重建算法,使其能更高效地進(jìn)行訓(xùn)練數(shù)據(jù)的迭代,解決更多場(chǎng)景和姿態(tài)下的問(wèn)題,增強(qiáng)模型的泛化性能。通過(guò)重建7千多個(gè)頂點(diǎn)和1.5萬(wàn)的面片,還原人體的基本動(dòng)作,甚至預(yù)測(cè)出人體的高矮胖瘦。最終,渲染引擎根據(jù)這些信息給視頻中的人物“穿上”盔甲。

　　在基礎(chǔ)技術(shù)儲(chǔ)備完成后,騰訊微視團(tuán)隊(duì)主要從數(shù)據(jù)集制作、算法流程改進(jìn)、網(wǎng)絡(luò)結(jié)構(gòu)搜索、移動(dòng)端工程優(yōu)化以及算法細(xì)節(jié)打磨等幾個(gè)方面對(duì)算法進(jìn)行了優(yōu)化。比如對(duì)上萬(wàn)個(gè)貼近手機(jī)端用戶拍攝內(nèi)容的視頻數(shù)據(jù)進(jìn)行采集、標(biāo)注、清洗;對(duì)網(wǎng)絡(luò)Backbone結(jié)構(gòu)的設(shè)計(jì)與優(yōu)化等。

(圖:騰訊微視“圣斗士集結(jié)”效果演示)

　　算法渲染設(shè)計(jì)多部門(mén)協(xié)同配合,量身定制優(yōu)化方案

　　從最開(kāi)始的CV技術(shù)研發(fā)、到移動(dòng)端的部署以及渲染,整個(gè)技術(shù)生產(chǎn)鏈條的打通離不開(kāi)各部門(mén)團(tuán)隊(duì)間的多番協(xié)作。該項(xiàng)目調(diào)動(dòng)了騰訊PCG內(nèi)部多個(gè)技術(shù)團(tuán)隊(duì),包括OVBU拍攝算法團(tuán)隊(duì)、應(yīng)?研究中?、光流產(chǎn)品中?和MXD創(chuàng)意平臺(tái)設(shè)計(jì)中?。技術(shù)是第一步,特效的渲染和設(shè)計(jì)打磨也是特效出街前的必然步驟。

　　在特效渲染層面,微視技術(shù)團(tuán)隊(duì)基于重建的人體3D Mesh量身定制了一套AttachToBody的渲染方案,確保高質(zhì)量的渲染效果。此外,技術(shù)團(tuán)隊(duì)開(kāi)發(fā)的自定義材質(zhì)系統(tǒng),也為玩法提供了更自由靈活的材質(zhì)與光照解決方案。在性能方面,為了提升效果整體的覆蓋率,在低端機(jī)上采取了Material Capture材質(zhì)捕捉技術(shù)方案,用較小的計(jì)算成本擬合出近似PBR的真實(shí)感效果。同時(shí)在一些高頻且量大的矩陣計(jì)算中啟用了NEON加速方案,整體降低了數(shù)學(xué)計(jì)算耗時(shí)。

　　在視覺(jué)效果優(yōu)化層面,設(shè)計(jì)團(tuán)隊(duì)通過(guò)對(duì)微視引擎的了解,設(shè)計(jì)出高標(biāo)準(zhǔn)且不超綱的設(shè)計(jì),從研發(fā)、調(diào)整到打磨階段都與技術(shù)團(tuán)隊(duì)強(qiáng)綁定,明確優(yōu)化方向,給出優(yōu)化建議;輔助優(yōu)化引擎渲染能力,對(duì)特效的衣服貼合度與跟隨性,身體比例協(xié)調(diào)性,衣服視效等方面進(jìn)行了多輪打磨,最終達(dá)到較高標(biāo)準(zhǔn)的效果質(zhì)量。

(圖:騰訊微視“圣斗士集結(jié)”視覺(jué)優(yōu)化過(guò)程)

　　一直以來(lái),騰訊微視高度關(guān)注技術(shù)研發(fā),未來(lái)也將持續(xù)圍繞三維人體重建來(lái)進(jìn)行創(chuàng)意特效設(shè)計(jì)與研發(fā),不斷提升3D重建精度,解決更多拍攝場(chǎng)景的需求。在人體形變、人體驅(qū)動(dòng)虛擬角色等方面也將努力有進(jìn)一步的突破,為用戶提供更酷炫好玩的特效新體驗(yàn)。據(jù)了解,騰訊微視發(fā)布器團(tuán)隊(duì)正在大力招聘中,吸納更多技術(shù)創(chuàng)新研發(fā)、創(chuàng)意視覺(jué)玩法等方面的專業(yè)人才進(jìn)入,來(lái)發(fā)掘更優(yōu)質(zhì)的創(chuàng)意玩法,打造行業(yè)一流的短視頻發(fā)布器一體化解決方案。

特別提醒：本網(wǎng)信息來(lái)自于互聯(lián)網(wǎng)，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。本站不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請(qǐng)及時(shí)聯(lián)系我們，本站將會(huì)在24小時(shí)內(nèi)處理完畢。