近日，大規(guī)模視頻分類比賽ACM MM LSVC公布了本年度最佳成績(jī)，阿里巴巴iDST團(tuán)隊(duì)?wèi){借平均準(zhǔn)確率87.41%奪得冠軍。

　　ACM MM是全球頂級(jí)的機(jī)器視覺(jué)會(huì)議，LSVC作為ACM MM的重要一部分，全稱為L(zhǎng)arge-Scale Video Classification Challenge，主要考驗(yàn)參賽隊(duì)伍在大規(guī)模視頻分類算法方面的能力。

　　比賽數(shù)據(jù)集包含了來(lái)自Youtube的大約16萬(wàn)的視頻，一共8000個(gè)小時(shí)。需要參賽隊(duì)伍對(duì)視頻中的500類內(nèi)容做出識(shí)別，包含社會(huì)事件(如：橄欖球比賽)、物體(如：熊貓)、場(chǎng)景(如海灘)、動(dòng)作(如：制作蛋糕)。

　　視頻分類算法涉及到非常多的技術(shù)，包括視頻幀特征提取(frame feature extraction)、視頻幀特征集成(frame feature aggregation)、多模態(tài)的視頻信息提取(視頻畫(huà)面、語(yǔ)音、物體運(yùn)動(dòng)、場(chǎng)景等模態(tài))等方面。

　　iDST官網(wǎng)上的“視頻標(biāo)簽預(yù)測(cè)”DEMO

　　阿里巴巴iDST團(tuán)隊(duì)采用了inception-resnet-v2 和 Squeeze-and-Excitation Networks 對(duì)視頻幀特征進(jìn)行提取，并且采用NetVLAD對(duì)提取到的視頻幀特征進(jìn)行集成。結(jié)合多模態(tài)信息的融合之后，單模型在驗(yàn)證集上的平均準(zhǔn)確率達(dá)到了84.85%，融合多模型達(dá)到87.41%。

　　此外，大規(guī)模的視頻處理能力也是比賽考驗(yàn)的重要方面。阿里巴巴iDST擁有一個(gè)強(qiáng)大的視頻分析平臺(tái)，可處理來(lái)自優(yōu)酷土豆的百萬(wàn)量級(jí)的視頻。這為高效地對(duì)LSVC數(shù)據(jù)集提取特征進(jìn)行實(shí)驗(yàn)提供了幫助。

　　iDST官網(wǎng)上的“目標(biāo)檢測(cè)”DEMO

　　據(jù)阿里巴巴iDST視頻算法高級(jí)專家劉揚(yáng)介紹，這些視頻分析算法目前已應(yīng)用在包括優(yōu)酷、土豆、UC、閑魚(yú)等在內(nèi)的多個(gè)業(yè)務(wù)中，有效改善了用戶在視頻搜索、推薦、編輯等方面的體驗(yàn)。“我們正在將這樣的能力集成到阿里云ET上對(duì)外服務(wù)”。

　　作為阿里巴巴對(duì)外技術(shù)輸出的窗口，阿里云目前提供了從計(jì)算能力、開(kāi)發(fā)框架、基礎(chǔ)AI能力到行業(yè)全局智能在內(nèi)的整套服務(wù)。

　　iDST全稱Institute of Data Science & Technologies，是阿里巴巴內(nèi)部的尖端研究機(jī)構(gòu)，專注于AI領(lǐng)域的前沿性研究。由金榕、任小楓、華先勝、司羅等知名科學(xué)家領(lǐng)導(dǎo)。在ACM MM中，阿里巴巴亦有三篇論文入選。

特別提醒：本網(wǎng)內(nèi)容轉(zhuǎn)載自其他媒體，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。本站不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請(qǐng)及時(shí)聯(lián)系我們，本站將會(huì)在24小時(shí)內(nèi)處理完畢。