共計1000小時、50萬條視頻片段……愛奇藝(NASDAQ:IQ)不久前發(fā)布全球首個多模態(tài)、多角度的明星數據集(iQIYI-VID)。該數據集將提供給愛奇藝與中國模式識與計算機視覺大會(PRCV2018)共同舉辦的“多模態(tài)視頻人物識別挑戰(zhàn)賽”(以下簡稱挑戰(zhàn)賽),通過提供在真實場景下產生的、全角度的視頻素材,愛奇藝為參賽選手進行多模態(tài)人物識別研究提供實景數據與實驗場景。

為了確保此次大賽的權威性,愛奇藝邀請了在計算機視覺研究領域的多位知名學者組成了評委“夢之隊”。評委曠視科技的首席科學家、研究院院長孫劍他表示:”人物識別技術孕育了多家相關的人工智能獨角獸公司,本質上,我們更關心對人全方位的理解,包括對人的檢測、識別、屬性、動作分析。愛奇藝舉行的“多模態(tài)視頻人物識別”可以幫助行業(yè)更好地實現這個目標。”
此外,此次AI競賽還獲得中國科學院自動化研究所研究員、國家杰出青年科學基金獲得者王亮的高度認可。出任評委的他作為電子電氣工程師學會(IEEE)高級會員,國際模式識別學會(IAPR)會士,在主要的國內外學術期刊和國際學術會議上發(fā)表論文200余篇,谷歌引用1萬余次。王亮認為:“多模態(tài)人物識別是個重要的、有趣的、卻又富于挑戰(zhàn)的研究問題。這次大賽開放了全球最大的明星視頻數據集(iQIYI-VID),有助于促進人物識別在智能視頻分析行業(yè)中的實際應用,對參賽選手而言是次同臺競技、交流學習的好機會。只要勇于挑戰(zhàn),一切皆有可能!”同時擔任評委的還包括中國科學院計算所研究員、基金委優(yōu)青、萬人計劃獲得者山世光,愛奇藝CTO劉文峰,愛奇藝副總裁謝丹銘,愛奇藝資深科學家、中國計算機學會視覺專委會副主任王濤等。
截止8月初,該項賽事已經吸引了來自于清華大學、北京大學、紐約大學、新加坡國際大學、瑞典隆德大學、東京工業(yè)大學等全球各地數百家頂尖高校與研究機構的參賽團參與。
與大多數計算機視覺識別領域的競爭集中在人臉識別不同,此次愛奇藝AI大賽是全球范圍內首個“多模態(tài)視頻人物識別”領域的科研競賽。“多模態(tài)識別”是指融合行為識別、人臉識別、聲紋識別、圖片識別等多種識別方式進行綜合分析應用。相比靜態(tài)的圖片識別,實際環(huán)境下識別效果往往受到多姿態(tài)、多表情、多年齡、多光照、多分辨率、不同角色化妝、局部遮擋等影響。目前海量的影視視頻數據中,人物識別技術遠未達到應用所需的滿意精度,在研究上仍具有很大的挑戰(zhàn)性。
此前,這一領域研究主要依據學術機構開放的人臉數據集,其中廣泛受到認可的為華盛頓大學的MegaFace數據集以及馬薩諸塞大學安姆斯特分校的LWF數據集。此次AI大賽中,愛奇藝發(fā)布全球首個多模態(tài)、多角度的明星數據集(iQIYI-VID)也是目前全球規(guī)模最大的視頻數據集,而且所有數據都經過人工標注與質量檢測,其中包含5000位明星藝人,以及長達1000小時、50萬條視頻片段。
在視頻領域,AI對于影音數據的理解和學習,對于情感信號的細致分析有助于實現更好的內容理解、分發(fā)乃至創(chuàng)造和加工內容的能力。愛奇藝近年來不斷將多種技術應用于提升用戶體驗和運營效率。在最近熱播的《延禧攻略》、《蕓汐傳》等愛奇藝熱門自制劇中,愛奇藝已將人物智能識別技術應用在了“只看TA”功能中,通過智能識別劇中人物,用戶選擇“只看TA”功能就可以只觀看自己喜歡的演員的視頻片段;在大型綜藝節(jié)目《中國新說唱》的后期制作中,人物識別實現了精彩畫面查找功能,后期制作人員通過特定標簽,可以在數秒內調出特定表演者的視頻素材,以往這個過程需要數小時。
今年愛奇藝世界•大會上,愛奇藝CEO龔宇表示,內容創(chuàng)作者和內容分發(fā)平臺根據每個用戶的需求,為用戶創(chuàng)作和分發(fā)內容,這將是娛樂行業(yè)的質變。
愛奇藝正在云計算+大數據+AI的基礎上建立起開放服務平臺,構造了“AI+軟件+硬件”開放生態(tài)圈。愛奇藝AI挑戰(zhàn)賽繼續(xù)探索前沿技術與娛樂行業(yè)深度結合,在推動前沿技術向前發(fā)展的同時,實現AI技術在娛樂生態(tài)中的落地應用,整體推動娛樂行業(yè)積極向前發(fā)展。
此次大賽參賽報名截止至9月17日,愛奇藝當日發(fā)布測試集,并開始動態(tài)排名參賽隊的提交結果,提交結果截止時間為10月15日。11月1日,愛奇藝將正式公布AI競賽結果,并于11月23日舉辦的中國模式識別與計算機視覺大會(PRCV2018)為獲獎隊伍頒發(fā)獎項。了解更多,請登錄愛奇藝AI競賽官網:http://challenge.ai.iqiyi.com。