運動捕捉技術(shù)是借助慣性、光學(xué)傳感器,重建精確的人體三維模型信息的一種特效技術(shù),通常在影視劇及游戲特效制作、運動員動作分析、患者康復(fù)評估等專業(yè)領(lǐng)域被廣泛應(yīng)用。相比高技術(shù)門檻、高成本的專業(yè)操作,騰訊微視近期在手機上實現(xiàn)了運動捕捉技術(shù),國內(nèi)首次在移動端實現(xiàn)人體3D Mesh重建,用戶只需拿起手機拍攝或上傳一張全身照,即可體驗黃金圣斗士的鎧甲實時貼合在人物身上。

(圖:騰訊微視“圣斗士集結(jié)”效果展示)

　　一鍵變身黃金圣斗士,集結(jié)最強戰(zhàn)隊燃燒小宇宙

　　騰訊微視聯(lián)動《圣斗士星矢(騰訊)》手游推出圣斗士系列玩法。通過黃金圣斗士鎧甲換裝的玩法,在騰訊微視APP內(nèi)落地。用戶可參與“圣斗士集結(jié)”活動,即可一鍵穿上圣斗士們的黃金圣衣。用戶可通過搜索“圣斗士集結(jié)”關(guān)鍵詞進入活動頁面,或者點擊首頁底部+號進入拍攝界面,也能找到活動入口。

(圖:騰訊微視“圣斗士集結(jié)”活動主界面)

　　用戶可上傳或拍攝一張正面照片,系統(tǒng)即可自動識別照片姿勢,給人物全身換裝黃金圣斗士鎧甲?；蛘咴谂臄z頁面選擇圣斗士相關(guān)特效,全身入鏡即可變身圣斗士,即使在拍攝過程中處于運動狀態(tài),黃金盔甲特效也會實時計算跟蹤。在拍攝特效界面,可召喚多個星座的圣斗士,如黃金射手座、雙子座撒加、處女座沙加等。

(圖:騰訊微視“圣斗士集結(jié)”體驗步驟)

　　動捕技術(shù)移動端首秀,微視自研手機3D Mesh算法

　　現(xiàn)如今短視頻領(lǐng)域的諸多玩法,背后的技術(shù)能力主要分為四種:人臉2D關(guān)鍵點檢測、人體2D關(guān)鍵點檢測、人臉/頭3D Mesh重建、人體3D關(guān)鍵點檢測。但想要實現(xiàn)上傳一張照片,或拍攝運動狀態(tài)下的人物都穿上黃金圣斗士鎧甲的效果,則需要實現(xiàn)從普通圖像中重建出人體3D Mesh,才能將人體的身材用鎧甲包裹住,并且保證能夠在手機上實時運行。

(圖:人體3D Mesh重建效果展示)

　　騰訊微視為了獲取到高質(zhì)量的3D人體Mesh重建數(shù)據(jù),獨立搭建了一套全新的動捕系統(tǒng),使用并基于這套系統(tǒng)開發(fā)了相應(yīng)的Mesh重建算法,使其能更高效地進行訓(xùn)練數(shù)據(jù)的迭代,解決更多場景和姿態(tài)下的問題,增強模型的泛化性能。通過重建7千多個頂點和1.5萬的面片,還原人體的基本動作,甚至預(yù)測出人體的高矮胖瘦。最終,渲染引擎根據(jù)這些信息給視頻中的人物“穿上”盔甲。

　　在基礎(chǔ)技術(shù)儲備完成后,騰訊微視團隊主要從數(shù)據(jù)集制作、算法流程改進、網(wǎng)絡(luò)結(jié)構(gòu)搜索、移動端工程優(yōu)化以及算法細節(jié)打磨等幾個方面對算法進行了優(yōu)化。比如對上萬個貼近手機端用戶拍攝內(nèi)容的視頻數(shù)據(jù)進行采集、標注、清洗;對網(wǎng)絡(luò)Backbone結(jié)構(gòu)的設(shè)計與優(yōu)化等。

(圖:騰訊微視“圣斗士集結(jié)”效果演示)

　　算法渲染設(shè)計多部門協(xié)同配合,量身定制優(yōu)化方案

　　從最開始的CV技術(shù)研發(fā)、到移動端的部署以及渲染,整個技術(shù)生產(chǎn)鏈條的打通離不開各部門團隊間的多番協(xié)作。該項目調(diào)動了騰訊PCG內(nèi)部多個技術(shù)團隊,包括OVBU拍攝算法團隊、應(yīng)?研究中?、光流產(chǎn)品中?和MXD創(chuàng)意平臺設(shè)計中?。技術(shù)是第一步,特效的渲染和設(shè)計打磨也是特效出街前的必然步驟。

　　在特效渲染層面,微視技術(shù)團隊基于重建的人體3D Mesh量身定制了一套AttachToBody的渲染方案,確保高質(zhì)量的渲染效果。此外,技術(shù)團隊開發(fā)的自定義材質(zhì)系統(tǒng),也為玩法提供了更自由靈活的材質(zhì)與光照解決方案。在性能方面,為了提升效果整體的覆蓋率,在低端機上采取了Material Capture材質(zhì)捕捉技術(shù)方案,用較小的計算成本擬合出近似PBR的真實感效果。同時在一些高頻且量大的矩陣計算中啟用了NEON加速方案,整體降低了數(shù)學(xué)計算耗時。

　　在視覺效果優(yōu)化層面,設(shè)計團隊通過對微視引擎的了解,設(shè)計出高標準且不超綱的設(shè)計,從研發(fā)、調(diào)整到打磨階段都與技術(shù)團隊強綁定,明確優(yōu)化方向,給出優(yōu)化建議;輔助優(yōu)化引擎渲染能力,對特效的衣服貼合度與跟隨性,身體比例協(xié)調(diào)性,衣服視效等方面進行了多輪打磨,最終達到較高標準的效果質(zhì)量。

(圖:騰訊微視“圣斗士集結(jié)”視覺優(yōu)化過程)

　　一直以來,騰訊微視高度關(guān)注技術(shù)研發(fā),未來也將持續(xù)圍繞三維人體重建來進行創(chuàng)意特效設(shè)計與研發(fā),不斷提升3D重建精度,解決更多拍攝場景的需求。在人體形變、人體驅(qū)動虛擬角色等方面也將努力有進一步的突破,為用戶提供更酷炫好玩的特效新體驗。據(jù)了解,騰訊微視發(fā)布器團隊正在大力招聘中,吸納更多技術(shù)創(chuàng)新研發(fā)、創(chuàng)意視覺玩法等方面的專業(yè)人才進入,來發(fā)掘更優(yōu)質(zhì)的創(chuàng)意玩法,打造行業(yè)一流的短視頻發(fā)布器一體化解決方案。

特別提醒：本網(wǎng)信息來自于互聯(lián)網(wǎng)，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實，對本文以及其中全部或者部分內(nèi)容、文字的真實性、完整性、及時性本站不作任何保證或承諾，并請自行核實相關(guān)內(nèi)容。本站不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請及時聯(lián)系我們，本站將會在24小時內(nèi)處理完畢。