CVPR 上誕生的技術(shù)正在逐漸「出圈」。

　　啤酒、燒烤、歐洲杯是很多球迷今年夏天的消暑利器。但你可能想不到的是，那些精彩的進(jìn)球集錦、球星慢動(dòng)作回放說(shuō)不定是 AI 做的。

　　在今年的 CVPR 大會(huì)上，百度向我們確認(rèn)了這一點(diǎn)。

　　他們的 AI 可以在無(wú)人工介入的條件下，精準(zhǔn)、實(shí)時(shí)地切分出進(jìn)球、射門、犯規(guī)等動(dòng)作片段。基于此項(xiàng)能力，團(tuán)隊(duì)開發(fā)出了一系列應(yīng)用工具并成功落地，包括：

　　1. 自定義足球精彩集錦生成工具。只需輸入球員并選定比賽場(chǎng)次，AI 就能自動(dòng)生成這個(gè)球員的精彩瞬間視頻集錦以及慢動(dòng)作回放。相關(guān)產(chǎn)品已經(jīng)在百度百科 400 多個(gè)足球球員和球隊(duì)頁(yè)面落地。

　　2. 足球圖文戰(zhàn)報(bào)一鍵轉(zhuǎn)換視頻平臺(tái)。只需要輸入文字直播內(nèi)容或者直播間地址，AI 就能智能聚合生成對(duì)應(yīng)的視頻內(nèi)容。

　　3. 基于圖像場(chǎng)景識(shí)別的智能視頻生產(chǎn)線。該生產(chǎn)線可以快速理解上傳的長(zhǎng)視頻，檢測(cè)是否有進(jìn)球、精準(zhǔn)定位視頻中的進(jìn)球瞬間，并完成自動(dòng)剪輯。

　　最近，這些技術(shù)還幫他們拿到了一個(gè)重量級(jí)賽事的雙料冠軍。

　　在剛剛閉幕的 CVPR 2021 大會(huì)上，百度取得了 SoccerNet-v2 足球視頻理解競(jìng)賽的全部?jī)身?xiàng)任務(wù)的冠軍，這是全球首個(gè)以足球比賽視頻的全方位理解為目標(biāo)的競(jìng)賽。

　　而且，這還只是百度今年 CVPR 成績(jī)單的一部分。

　　作為「中國(guó)軍團(tuán)」多年出征 AI 頂會(huì)的一員「老兵」，百度在今年的 CVPR 上再次創(chuàng)下新紀(jì)錄：不僅入選了 22 篇優(yōu)質(zhì)論文，還連獲 10 個(gè)挑戰(zhàn)賽冠軍，在去年 8 個(gè)冠軍基礎(chǔ)上實(shí)現(xiàn)新突破。

　　此外，百度還主辦了一場(chǎng)重量級(jí)學(xué)術(shù) Workshop 和一場(chǎng) Tutorial，并受邀在大會(huì)上做同聲傳譯特邀報(bào)告和 PaddleCV 技術(shù)分享演講。

　　這種全方位的發(fā)聲方式不僅讓我們看到了百度在 CV 領(lǐng)域的研究、落地成果，還展示了該公司在 NLP、AutoDL 等領(lǐng)域的前沿探索以及多個(gè)領(lǐng)域的融合創(chuàng)新。

　　在這篇文章中，我們就來(lái)盤點(diǎn)一下這些內(nèi)容。

十項(xiàng) CV 冠軍，聚焦自動(dòng)駕駛、智能交通、智慧城市、智能創(chuàng)作等多個(gè)賽道

　　CVPR 2021 覆蓋了計(jì)算機(jī)視覺多個(gè)細(xì)分領(lǐng)域，百度此次參與并獲得了七項(xiàng)挑戰(zhàn)賽的十個(gè)冠軍。其中，六項(xiàng)冠軍成果可加速自動(dòng)駕駛、智能交通、智慧城市等落地和應(yīng)用，部分成果可助力智能創(chuàng)作工具的打造。

　　六項(xiàng)冠軍助力自動(dòng)駕駛、智能交通、智慧城市應(yīng)用落地

　　對(duì)于百度來(lái)說(shuō)，自動(dòng)駕駛可以說(shuō)是 CVPR 舞臺(tái)上的一項(xiàng)「?jìng)鹘y(tǒng)藝能」了。早在 2018 年，百度 Apollo 就占據(jù)了 CVPR 自動(dòng)駕駛的主場(chǎng);2019 年，Apollo 又在 CVPR 上公開了國(guó)內(nèi)唯一的自動(dòng)駕駛純視覺城市道路閉環(huán)解決方案——Apollo Lite。這些高光時(shí)刻在今年的多項(xiàng)競(jìng)賽中得到了延續(xù)。

　　在今年取得的十項(xiàng)冠軍中，「語(yǔ)義分割、高分辨率人體解析、霧天環(huán)境檢測(cè)」賽道的三項(xiàng)冠軍或?qū)Π俣葟?qiáng)化自動(dòng)駕駛能力有直接的助力。

　　以 AutoNUE 2021 挑戰(zhàn)賽的語(yǔ)義分割賽道為例，該賽道聚焦街景圖像的語(yǔ)義分割。與普通語(yǔ)義分割數(shù)據(jù)集不同，街景數(shù)據(jù)集物體更多，場(chǎng)景更為復(fù)雜。針對(duì)該賽道的問(wèn)題，百度提出了基于 CNN 和 Transformer 的融合算法策略，通過(guò)異構(gòu)模型互補(bǔ)方式，實(shí)現(xiàn)了駕駛場(chǎng)景特征的更強(qiáng)表達(dá)能力，從而提升了分割性能。針對(duì)密集目標(biāo)，百度提出了區(qū)域遞進(jìn)算法，將稠密任務(wù)切分為若干稀疏子任務(wù)，降低了模型復(fù)雜度，加速了模型收斂，提升了測(cè)試精度。最終，百度以三項(xiàng)測(cè)評(píng)指標(biāo)均第一的優(yōu)勢(shì)超越其他參賽機(jī)構(gòu)獲得冠軍。比賽代碼也計(jì)劃不久后開源：https://github.com/PaddlePaddle/PaddleSeg

　　除了復(fù)雜的街景，霧霾等極端天氣也是阻礙自動(dòng)駕駛落地的一大難題。本屆 CVPR 就有一個(gè)專門針對(duì)霧霾天氣的檢測(cè)競(jìng)賽——UG2+ (SEMI-)SUPERVISED OBJECT DETECTION IN HAZE CONDITIONS。

　　在這場(chǎng)競(jìng)賽中，百度使用最新的 Swin Transformer 模型配合 cascade-rcnn 結(jié)構(gòu)作為基礎(chǔ)模型并針對(duì)任務(wù)特點(diǎn)優(yōu)化了 anchor 選擇以提高模型的識(shí)別能力，同時(shí)使用去霧和非去霧的數(shù)據(jù)組合進(jìn)行訓(xùn)練，提升了模型的泛化性能。另外，針對(duì)樣本不平衡問(wèn)題，團(tuán)隊(duì)使用了基于樣本分布的采樣平衡方法，有效提升了模型性能。

　　上述競(jìng)賽展現(xiàn)的技術(shù)能力或已逐漸在百度自動(dòng)駕駛落地過(guò)程中得以展現(xiàn)。目前，在早晚高峰交通流密集路口左轉(zhuǎn)禮讓行人，車輛視覺盲區(qū)突然竄出行人、車輛等一系列長(zhǎng)尾場(chǎng)景中，百度 Apollo 自動(dòng)駕駛車均能進(jìn)行良好處置。4 月 13 日，百度 Apollo 拿到了北京市頒發(fā)的中國(guó)首批夜間及特殊天氣測(cè)試資質(zhì)，機(jī)器之心也在上個(gè)月冒雨體驗(yàn)了一次 Apollo GO 自動(dòng)駕駛車的夜間試乘。

Apollo 車輛平緩?fù)ㄟ^(guò)車流密集的路口。

　　除了自動(dòng)駕駛，百度在智能交通、智慧城市方向的技術(shù)進(jìn)展更多地在第五屆 AI CITY 智慧城市挑戰(zhàn)賽中得以展現(xiàn)。AI CITY 聚焦交通相關(guān)的車流統(tǒng)計(jì)、再識(shí)別、異常事件分析等應(yīng)用場(chǎng)景，一共 5 個(gè)賽道，是百度多次奪冠的「自留地」，今年百度也在車流統(tǒng)計(jì)、異常事件檢測(cè)兩個(gè)賽道拿到冠軍。

　　在車流統(tǒng)計(jì)任務(wù)中，比賽要求在端上設(shè)備上實(shí)現(xiàn)整體技術(shù)方案，并對(duì)端上的速度與效果指標(biāo)進(jìn)行綜合打分。百度基于復(fù)雜場(chǎng)景下路口車輛多目標(biāo)檢測(cè)、跟蹤技術(shù)，實(shí)現(xiàn)了分車道的車流統(tǒng)計(jì)，并通過(guò)模型小型化以及流水線并行化處理流程，實(shí)現(xiàn)了性能 + 效果綜合提升，最終取得冠軍。

　　在異常事件檢測(cè)賽道中，百度使用雙向多粒度融合的異常檢測(cè)算法，配合視頻穩(wěn)像、區(qū)域特取、背景建模等預(yù)處理，經(jīng)過(guò)車輛檢測(cè)及后續(xù)跟蹤判斷異常，并融合撞車判斷邏輯找到準(zhǔn)確的異常開始時(shí)間，最終取得第一。

　　百度表示，此次獲得 AI CITY 挑戰(zhàn)賽冠軍的技術(shù)已應(yīng)用于百度自研的智能交通和智慧城市系統(tǒng)中，系統(tǒng)整合了檢測(cè)、跟蹤、3D 定位、分割、身份重識(shí)別、事件分析在內(nèi)的多項(xiàng)視覺技術(shù)，是保障業(yè)務(wù)落地的堅(jiān)實(shí)基礎(chǔ)。

　　SoccerNet-v2 挑戰(zhàn)賽冠軍支持足球視頻創(chuàng)作

　　前段時(shí)間，百度智能云曾攜云智一體的智能媒體產(chǎn)品和方案亮相第 28 屆中國(guó)國(guó)際廣播電視信息網(wǎng)絡(luò)展覽會(huì)(CCBN 2021)，展現(xiàn)了一站式智能創(chuàng)作平臺(tái)等媒體智能化解決方案和創(chuàng)新應(yīng)用。百度的智能創(chuàng)作平臺(tái)基于自然語(yǔ)言處理、知識(shí)圖譜、視覺、語(yǔ)音的整合技術(shù)能力，為創(chuàng)作者提供多項(xiàng)能力，助力新聞資訊生產(chǎn)的策、采、編、審、發(fā)全流程。在今年 CVPR 的 SoccerNet-v2 足球視頻理解競(jìng)賽上，該平臺(tái)的相關(guān)技術(shù)再次亮相。

　　SoccerNet-v2 下設(shè)事件定位(action spotting)和回放溯源(replay grounding)兩個(gè)任務(wù)。事件定位的難點(diǎn)在于有些事件難以分辨(如犯規(guī)、越位、射正、射偏)，還有一部分事件并未被直接拍攝到，需要根據(jù)上下文來(lái)推測(cè)?；胤潘菰吹碾y點(diǎn)則在于回放和原始事件之間可能會(huì)相隔長(zhǎng)達(dá)上百秒，拍攝視角也經(jīng)常不同，因此不容易匹配。

　　為了解決這些難題，百度研究院圖文轉(zhuǎn)視頻 VidPress 團(tuán)隊(duì)設(shè)計(jì)了一個(gè)兩階段的系統(tǒng)：首先讓特征提取器提取足球視頻特征，再將提取出的特征作為第二階段具體任務(wù)模塊的輸入，進(jìn)行事件定位或者回放溯源。其中，事件定位和回放溯源階段采用了 Transformer 架構(gòu)。該架構(gòu)在兩個(gè)任務(wù)中體現(xiàn)了對(duì)視覺語(yǔ)義特征的精確的時(shí)序處理能力，優(yōu)于基線算法中 Siamese 網(wǎng)絡(luò)的學(xué)習(xí)能力和訓(xùn)練速度。

　　基于 SoccerNet-v2 挑戰(zhàn)賽拿下雙料冠軍的 AI 技術(shù)能力，百度已支持開頭提到的自定義足球精彩集錦生成、足球圖文戰(zhàn)報(bào)一鍵轉(zhuǎn)換視頻等應(yīng)用工具。這項(xiàng)技術(shù)能力也已基于智能創(chuàng)作平臺(tái)進(jìn)行落地。

　　PaddleCV：優(yōu)秀方案都到碗里來(lái)

　　作為中國(guó)人工智能的「頭雁」，百度的計(jì)算機(jī)視覺方向技術(shù)研究早在十一年前成立多媒體部時(shí)就已經(jīng)開始了。這幫助百度積累了全方位的技術(shù)能力，也為飛槳視覺模型庫(kù) PaddleCV 提供了強(qiáng)大的核心動(dòng)力。

　　PaddleCV 中，既包含經(jīng)過(guò)產(chǎn)業(yè)實(shí)踐長(zhǎng)期打磨的主流模型，也包含百度在國(guó)際競(jìng)賽中的奪冠模型。在 CVPR 2021 的一場(chǎng)技術(shù)分享中，百度資深算法工程師為參會(huì)者詳細(xì)分享了 PaddleCV 的技術(shù)報(bào)告。PaddleCV 作為飛槳重點(diǎn)研發(fā)的視覺模型庫(kù)，為開發(fā)者提供了面向圖像分類(PaddleClas)、目標(biāo)檢測(cè)(PaddleDetection)、圖像分割(PaddleSeg)、文本識(shí)別(PaddleOCR)、圖像生成(PaddleGAN)等視覺場(chǎng)景的多種端到端開發(fā)套件和海量視覺方向模型，其中 PaddleOCR 和 PaddleDetection 開發(fā)套件更是在能源、金融、工業(yè)、農(nóng)業(yè)能眾多領(lǐng)域被企業(yè)廣泛使用。本屆 CVPR 各項(xiàng)比賽結(jié)束后，部分成果也將在 PaddleCV 中開源。

飛槳全景圖與 PaddleCV

演講、Workshop、Tutorial，全方位展示 AI 前沿探索

　　作為計(jì)算機(jī)視覺和模式識(shí)別領(lǐng)域的世界級(jí)學(xué)術(shù)頂會(huì)，CVPR 不僅是業(yè)界展示領(lǐng)先科技成果的平臺(tái)，也是探索學(xué)術(shù)前沿的平臺(tái)。在 CVPR 舉辦的同時(shí)，百度不僅積極參與了各項(xiàng)競(jìng)賽，還主辦了一場(chǎng)重量級(jí)學(xué)術(shù) Workshop 和一場(chǎng) Tutorial，并受邀在大會(huì)上做同聲傳譯特邀報(bào)告。

　　Workshop 的主題是 AutoDL 的核心方向——NAS(神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索)。在之前的 WAVE SUMMIT 2019 深度學(xué)習(xí)開發(fā)者峰會(huì)上，百度曾為在內(nèi)存緊張、功耗受限、存儲(chǔ)有限的設(shè)備上進(jìn)行深度學(xué)習(xí)研究的開發(fā)者提供了一份重磅驚喜——一個(gè)名為 PaddleSlim 的開源模型壓縮工具庫(kù)。除了支持傳統(tǒng)的網(wǎng)絡(luò)剪枝、參數(shù)量化和知識(shí)蒸餾等方法外，PaddleSlim 還可以通過(guò) NAS + 蒸餾 + 量化一站式模型壓縮產(chǎn)出業(yè)界領(lǐng)先的小模型。這些創(chuàng)新方法囊括了很多百度自研的 NAS 算法。借助這些方法，百度視覺團(tuán)隊(duì)近兩年先后七次在 CVPR 與 ECCV 等國(guó)際比賽中奪得世界冠軍，并全線應(yīng)用在各條業(yè)務(wù)上。這體現(xiàn)了 NAS 這一方向的研究?jī)r(jià)值。

　　為了推動(dòng) NAS 的進(jìn)一步發(fā)展，百度聯(lián)合悉尼科技大學(xué)和美國(guó)北卡羅來(lái)大學(xué)舉辦了 CVPR 2021 NAS workshop，還舉辦了首屆輕量級(jí) NAS 國(guó)際競(jìng)賽，探討了 NAS 的現(xiàn)狀和未來(lái)。大賽從 NAS 研究的關(guān)鍵問(wèn)題出發(fā)，設(shè)置了超網(wǎng)絡(luò)一致性、模型性能預(yù)測(cè)、未知數(shù)據(jù)三大賽道，吸引了全球 59 個(gè)國(guó)家和地區(qū)、超過(guò) 600 支隊(duì)伍在 AI Studio 上參賽。比賽征集到眾多優(yōu)質(zhì)的 NAS 解決方案，其中，清華大學(xué)基于飛槳的方案已在 AI Studio 和 GitHub 平臺(tái)開源。本次 workshop 不僅有獲勝隊(duì)伍宣講技術(shù)方案，還邀請(qǐng)了馬毅、紀(jì)榮嶸、黃高、徐暢、Alan Yullie 和 Sara Sabour 等國(guó)內(nèi)外著名學(xué)者進(jìn)行演講，分享了神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索技術(shù)(NAS)領(lǐng)域最新進(jìn)展和未來(lái)動(dòng)向。

來(lái)自百度的 CVPR 2021 NAS workshop 主席開場(chǎng)致辭

　　Tutorial 的主題是「基于能量的生成模型的理論與應(yīng)用」。提到生成式建模，我們總是第一時(shí)間想到生成對(duì)抗網(wǎng)絡(luò)。但近年來(lái)，人們對(duì) ConvNet-parametrized EBM(基于能量的生成模型)越來(lái)越感興趣。該框架解決了生成模型在表示、生成、效率和可伸縮性方面的需求。具體來(lái)說(shuō)，與當(dāng)前流行的生成模型(如生成對(duì)抗網(wǎng)絡(luò)、變分自動(dòng)編碼器)不同，基于能量的生成模型可以將自下而上的表示和自上而下的生成統(tǒng)一為一個(gè)框架，并可以通過(guò)「analysis by synthesis」進(jìn)行訓(xùn)練，不需要引入額外的輔助模型。這使得其在算法上更容易直接優(yōu)化。在這些優(yōu)勢(shì)的加持下，該框架已被應(yīng)用于許多計(jì)算機(jī)視覺任務(wù)中。

　　這場(chǎng) Tutorial 由百度美國(guó)研究院認(rèn)知計(jì)算實(shí)驗(yàn)室主辦，并邀請(qǐng)加州大學(xué)洛杉磯分校統(tǒng)計(jì)學(xué)系教授 Ying Nian Wu 共同主講，全面介紹了計(jì)算機(jī)視覺中基于能量的生成式建模和學(xué)習(xí)，還列出了基于能量的生成框架所成功解決的不同類型的計(jì)算機(jī)視覺任務(wù)，旨在幫助研究人員將基于能量的學(xué)習(xí)原理應(yīng)用于計(jì)算機(jī)視覺的其他環(huán)境。

Tutorial 目錄。地址：https://energy-based-models.github.io/

　　同聲傳譯特邀報(bào)告的主講人是百度美國(guó)研究院深度學(xué)習(xí)實(shí)驗(yàn)室主任黃亮。報(bào)告的內(nèi)容來(lái)源于他在 ACL 2019 大會(huì)上作的同名主題報(bào)告，其核心是百度研究院在 2018 年取得的同聲傳譯重大突破。這個(gè)突破使得低延遲、高質(zhì)量的同傳第一次成為可能，并將同傳從一個(gè)冷門難題變成了自然語(yǔ)言處理中的一大熱門課題。在這次的演講中，黃亮教授介紹了他所在的團(tuán)隊(duì)在此基礎(chǔ)上取得的新的進(jìn)展。

　　演講地址：https://www.youtube.com/watch?v=QojanA1pZ1o

　　如今，CVPR 2021 已經(jīng)正式落下帷幕，會(huì)議中誕生的 idea 也在陸續(xù)走進(jìn)現(xiàn)實(shí)世界。百度表示，在修煉好 AI 技術(shù)「內(nèi)功」的同時(shí)，他們將通過(guò)搭建起的飛槳和智能云為代表的 AI 平臺(tái)不斷向各行業(yè)場(chǎng)景輸出技術(shù)能力與解決方案，進(jìn)一步推動(dòng)產(chǎn)業(yè)智能化升級(jí)發(fā)展，在中國(guó)乃至全球 AI 領(lǐng)域持續(xù)領(lǐng)跑。

特別提醒：本網(wǎng)信息來(lái)自于互聯(lián)網(wǎng)，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。本站不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請(qǐng)及時(shí)聯(lián)系我們，本站將會(huì)在24小時(shí)內(nèi)處理完畢。