近日，大規(guī)模視頻分類比賽ACM MM LSVC公布了本年度最佳成績，阿里巴巴iDST團(tuán)隊?wèi){借平均準(zhǔn)確率87.41%奪得冠軍。

　　ACM MM是全球頂級的機(jī)器視覺會議，LSVC作為ACM MM的重要一部分，全稱為Large-Scale Video Classification Challenge，主要考驗參賽隊伍在大規(guī)模視頻分類算法方面的能力。

　　比賽數(shù)據(jù)集包含了來自Youtube的大約16萬的視頻，一共8000個小時。需要參賽隊伍對視頻中的500類內(nèi)容做出識別，包含社會事件(如：橄欖球比賽)、物體(如：熊貓)、場景(如海灘)、動作(如：制作蛋糕)。

　　視頻分類算法涉及到非常多的技術(shù)，包括視頻幀特征提取(frame feature extraction)、視頻幀特征集成(frame feature aggregation)、多模態(tài)的視頻信息提取(視頻畫面、語音、物體運動、場景等模態(tài))等方面。

　　iDST官網(wǎng)上的“視頻標(biāo)簽預(yù)測”DEMO

　　阿里巴巴iDST團(tuán)隊采用了inception-resnet-v2 和 Squeeze-and-Excitation Networks 對視頻幀特征進(jìn)行提取，并且采用NetVLAD對提取到的視頻幀特征進(jìn)行集成。結(jié)合多模態(tài)信息的融合之后，單模型在驗證集上的平均準(zhǔn)確率達(dá)到了84.85%，融合多模型達(dá)到87.41%。

　　此外，大規(guī)模的視頻處理能力也是比賽考驗的重要方面。阿里巴巴iDST擁有一個強(qiáng)大的視頻分析平臺，可處理來自優(yōu)酷土豆的百萬量級的視頻。這為高效地對LSVC數(shù)據(jù)集提取特征進(jìn)行實驗提供了幫助。

　　iDST官網(wǎng)上的“目標(biāo)檢測”DEMO

　　據(jù)阿里巴巴iDST視頻算法高級專家劉揚(yáng)介紹，這些視頻分析算法目前已應(yīng)用在包括優(yōu)酷、土豆、UC、閑魚等在內(nèi)的多個業(yè)務(wù)中，有效改善了用戶在視頻搜索、推薦、編輯等方面的體驗。“我們正在將這樣的能力集成到阿里云ET上對外服務(wù)”。

　　作為阿里巴巴對外技術(shù)輸出的窗口，阿里云目前提供了從計算能力、開發(fā)框架、基礎(chǔ)AI能力到行業(yè)全局智能在內(nèi)的整套服務(wù)。

　　iDST全稱Institute of Data Science & Technologies，是阿里巴巴內(nèi)部的尖端研究機(jī)構(gòu)，專注于AI領(lǐng)域的前沿性研究。由金榕、任小楓、華先勝、司羅等知名科學(xué)家領(lǐng)導(dǎo)。在ACM MM中，阿里巴巴亦有三篇論文入選。

特別提醒：本網(wǎng)內(nèi)容轉(zhuǎn)載自其他媒體，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實，對本文以及其中全部或者部分內(nèi)容、文字的真實性、完整性、及時性本站不作任何保證或承諾，并請自行核實相關(guān)內(nèi)容。本站不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請及時聯(lián)系我們，本站將會在24小時內(nèi)處理完畢。