視覺常識推理VCR (Visual Commonsense Reasoning )是人工智能領域的前沿熱點問題，我國《新一代人工智能發(fā)展規(guī)劃》中也將從處理類型單一的數據到跨媒體認知、學習和推理的“跨媒體智能”納入五大智能方向。

　　近日，騰訊微視視頻理解團隊在多模態(tài)理解領域最權威排行榜之一VCR任務中榮登榜首。該團隊提出的BLENDer(BimodaL ENcoDer)模型超越百度、谷歌、微軟、Facebook等多家研究機構的模型效果，一舉成為單、多模型的三項指標第一，值得注意的是，BLENDer僅憑單模型效果便超越了此前榜單上的多模型最好效果，賦予了機器更強大的理解和認知能力，并深度應用到短視頻領域。

　　趕超百度、谷歌等，騰訊微視AI團隊登頂VCR榜首

　　VisualCommonsense Reasoning (VCR)任務于2018年由華盛頓大學的研究人員首次提出，任務旨在將圖像和自然語言理解二者結合，驗證多模態(tài)模型高階認知和常識推理的能力，讓機器擁有“看圖說話”的能力, 例如VCR能夠通過圖片中人物的行為，進一步推理出其動機、情緒等信息。VCR榜單是多模態(tài)理解領域最權威的排行榜之一，也是當前圖像理解和多模態(tài)領域層次最深、門檻最高的任務之一，吸引了微軟、谷歌、Facebook、百度、UCLA等國內外公司和研究機構紛紛參與。

　　此次拔得頭籌的單模型BLENDer來自于騰訊微視視頻理解團隊，超越上一屆榜首百度團隊的多模態(tài)預訓練模型 ERNIE-ViL-large成為新的VCR榜單霸主。

　　據相關負責人介紹，BLENDer模型已經應用到騰訊微視產品中，賦予了平臺更強大的認知能力，使得包含文本、音頻、視頻等多種媒體信息在內的短視頻內容，能夠更好的做到分類和識別，更加精準理解和挖掘這些海量的跨媒體信息。例如當騰訊微視用戶創(chuàng)作視頻后平臺可識別內容并精準推薦適合的話題，也能根據內容屬性快速推薦給感興趣的用戶，增強創(chuàng)作內容的曝光。

　　騰訊微視視頻理解團隊提出的單模型BLENDer，是基于前沿的視覺語言Bert模型，將整個學習過程分成三個階段，最終將任務的三項問答準確率一舉提高到了81.6, 86.4, 70.8的水平，僅是BLENDer單模型上的表現已經超過此前各業(yè)界公司和研究機構的多模型融合效果。

　　在BLENDer模型中，第一階段以NLP中的Bert模型為起點，結合海量數據中抽取得到的數百萬張圖片和對應描述文本作為BLENDer的輸入進行多模態(tài)訓練;第二階段，在視覺常識推理數據集上學習電影中的場景和情節(jié)，使模型在新數據上獲得更好的遷移能力;第三階段，引入最終問答任務，讓BLENDer利用已有的知識和常識對現有問題進行人物-人物、人物-場景之間關系的挖掘和關聯(lián)進行推理，得到最終的答案。

　　騰訊微視將人工智能技術賦能短視頻

　　一直以來，騰訊微視高度關注技術研發(fā)，騰訊微視視頻理解團隊更是長期深耕多模態(tài)語義理解領域，持續(xù)進行技術突破和落地，將相關技術應用在海量圖像、視頻、文本等跨媒體信息的認知推理中。

　　同時，騰訊微視團隊也不斷從業(yè)務出發(fā)探索前沿領域，并將人工智能技術應用到短視頻生態(tài)中，貫穿內容創(chuàng)作、內容審核以及內容分發(fā)的各個環(huán)節(jié)。

　　在內容創(chuàng)作環(huán)節(jié)，騰訊微視將3D人臉、人體、GAN等AI技術結合AR技術輔助用戶進行內容創(chuàng)作，讓創(chuàng)作過程更加便捷、有趣和普惠;在視頻審核環(huán)節(jié)，騰訊微視借助圖像檢測、分類、多模態(tài)理解等AI技術精準識別視頻內容，提升審核效率，使得用戶生產的內容最快時間觸達消費者，目前騰訊微視內容處理效率已取得業(yè)界領先水平;而在視頻分發(fā)環(huán)節(jié)，騰訊微視借助AI技術從非結構化的圖像、音頻、文本數據中提取結構化信息輸出，如標簽、特征等，支撐分發(fā)精準匹配用戶。

　　未來，人工智能將具備更加多元、深度的交流學習能力，而技術的創(chuàng)新和精進將進一步推動AI技術在短視頻業(yè)務中智能交互場景的落地。

特別提醒：本網內容轉載自其他媒體，目的在于傳遞更多信息，并不代表本網贊同其觀點。其原創(chuàng)性以及文中陳述文字和內容未經本站證實，對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾，并請自行核實相關內容。本站不承擔此類作品侵權行為的直接責任及連帶責任。如若本網有任何內容侵犯您的權益，請及時聯(lián)系我們，本站將會在24小時內處理完畢。