隨著 4K 修復(fù)技術(shù)普及，每過(guò)一段時(shí)間，人們就能重溫高清版的「回憶」。

2019 年北京國(guó)際電影節(jié)，4K 修復(fù)版《2001 太空漫游》開(kāi)票，5 秒售罄；2020 年，《哈利波特與魔法石》4K 版上映，4 日票房突破了 1 億元。

大銀幕上的光影僅是回憶的一部分。葫蘆娃、黑貓警長(zhǎng)、哪吒、大頭兒子和小頭爸爸、舒克和貝塔……這些形象已定格成表情包和網(wǎng)絡(luò)梗。

不久后，這些童年回憶，也同樣會(huì)以 4K 高清的模樣，重新出現(xiàn)在你的手機(jī)屏幕上。

這是西瓜視頻在 4K 修復(fù)上的「大動(dòng)作」，背后的技術(shù)承擔(dān)方是字節(jié)跳動(dòng)面向企業(yè)的技術(shù)服務(wù)平臺(tái)：火山引擎。

簡(jiǎn)單理解，經(jīng)過(guò)了多年 to C 服務(wù)的積累，火山引擎要把字節(jié)跳動(dòng)最好的技術(shù)開(kāi)放出去，服務(wù)企業(yè)的數(shù)字化升級(jí)。

視頻技術(shù)是字節(jié)跳動(dòng)多年來(lái)積累的重要內(nèi)容。「經(jīng)典中視頻 4K 修復(fù)計(jì)劃」，是西瓜視頻與火山引擎共同發(fā)布的公益計(jì)劃。

這個(gè)計(jì)劃將在一年內(nèi)用技術(shù)手段，4K 修復(fù)百余部經(jīng)典中視頻。

修復(fù)后，人們可以免費(fèi)在西瓜視頻 App 上觀看這些動(dòng)畫(huà)片。目前，已經(jīng)有《葫蘆兄弟》、《黑貓警長(zhǎng)》、《大頭兒子小頭爸爸》等 6 部修復(fù)過(guò)的動(dòng)畫(huà)上線。

首批合作伙伴有央視動(dòng)漫和上海美術(shù)電影制片廠。

名單內(nèi)的動(dòng)畫(huà)除了葫蘆娃、舒克和貝塔這樣 80、90 后的童年回憶公約數(shù)，還有中國(guó)動(dòng)畫(huà)史中值得反復(fù)凝視的經(jīng)典：中國(guó)第一部水墨畫(huà)風(fēng)動(dòng)畫(huà)片《小蝌蚪找媽媽》（1960），帶有敦煌畫(huà)風(fēng)的《九色鹿》（1981），小眾的木偶動(dòng)畫(huà)片《鏡花緣》（1991）……

字節(jié)跳動(dòng)多年技術(shù)沉淀如何發(fā)揮最大的效用？

火山引擎或許可以給出一種答案：一邊將技術(shù)服務(wù)企業(yè)實(shí)現(xiàn)商業(yè)價(jià)值，一邊服務(wù)公益計(jì)劃實(shí)現(xiàn)社會(huì)價(jià)值。

4K 修復(fù)經(jīng)典動(dòng)畫(huà)片更有一層「醉翁之意」，讓原先「潤(rùn)物細(xì)無(wú)聲」的中臺(tái)技術(shù)獲得展示。

4K修復(fù)技術(shù)秀「肌肉」

人們口中常說(shuō)的 4K 解析度，是指顯示屏幕達(dá)到 4096×3112 的像素級(jí)別。它的分辨率是 2K 的四倍。2003 年，加拿大一家公司推出首個(gè)商業(yè)用途的電影攝像機(jī)，從此 4K 逐漸普及。

老動(dòng)畫(huà)片受限于制作年代，清晰度早已不適應(yīng)人們的觀看習(xí)慣。

幾十年前的老動(dòng)畫(huà)片，像《小蝌蚪找媽媽》、《九色鹿》還是用膠片進(jìn)行拍攝。將年代久遠(yuǎn)的膠片修復(fù)到 4K 的清晰度，其中的難度可想而知。

從膠片的物理修復(fù)做起，先要對(duì)原始膠片上的污垢、劃痕、掉色等部分進(jìn)行修復(fù)，再將膠片轉(zhuǎn)錄為磁帶，才能進(jìn)行數(shù)字修復(fù)。

數(shù)字修復(fù)的過(guò)程中，增加清晰度、補(bǔ)上缺失幀數(shù)等技術(shù)之外，還需要匹配原片的藝術(shù)風(fēng)格，以保持「修舊如舊」的效果。這樣才不僅實(shí)現(xiàn)了「修」，還做到了「復(fù)」

動(dòng)畫(huà)片《布谷鳥(niǎo)》修復(fù)效果對(duì)比

面對(duì)這樣的勞動(dòng)密集型工作，火山引擎提供的 AI 功能可以幫助修復(fù)師減輕不少勞力，甚至能夠比傳統(tǒng)的修復(fù)方式更有優(yōu)勢(shì)。

火山引擎品牌在今年 6 月份正式發(fā)布，4K 修復(fù)用到的技術(shù)都屬于視頻云產(chǎn)品。

作為中臺(tái)技術(shù)，比起前端的推薦算法、定制內(nèi)容，視頻云一般都隱藏在后方，支持內(nèi)容傳輸和播放，鮮少為人感知。

借由「經(jīng)典中視頻 4K 修復(fù)計(jì)劃」中的具體環(huán)節(jié)，人們可以一瞥這些技術(shù)讓視覺(jué)體驗(yàn)升華的能力。

影片常見(jiàn)的信息損耗就是噪點(diǎn)和劃痕，其來(lái)源方式也各不相同。

一方面，膠片存放過(guò)程中會(huì)有物理?yè)p耗，這會(huì)帶來(lái)噪點(diǎn)；一方面，轉(zhuǎn)錄到磁帶過(guò)程中也可能增加新噪點(diǎn)和劃痕。

對(duì)于這些瑕疵，火山引擎結(jié)合了傳統(tǒng)信號(hào)處理和機(jī)器學(xué)習(xí)算法，讓修復(fù)更為高效。

老膠片的第一道工序是物理修復(fù)。即使經(jīng)過(guò)物理修復(fù)，膠片上的劃痕依然會(huì)對(duì)畫(huà)面有損傷。傳統(tǒng)人工修復(fù)能夠保證質(zhì)量，但是成本極高，速度也很慢。

火山方案采用算法+人工兩道工序。算法能夠?qū)?95% 的瑕疵進(jìn)行修改，對(duì)藝術(shù)效果或者視頻內(nèi)容的困難部分，則通過(guò)人工來(lái)進(jìn)行判斷。

分辨率升到 4K 之后，原有的畫(huà)質(zhì)一定會(huì)信息量不夠。比如細(xì)節(jié)不足，幀數(shù)偏少而不夠流暢，暗景畫(huà)面模糊。

火山引擎的「智能超分」和「智能插幀」功能在提升畫(huà)面質(zhì)感上可以發(fā)揮所長(zhǎng)。

人工修復(fù)中，如果遇到油污、劃痕、變形等問(wèn)題，修復(fù)師可能一天只能修 24 幀，也就是一秒。

如果是夜戲、煙霧戲等模糊的畫(huà)面，畫(huà)面信息本身不足，修復(fù)困難極大。用深度學(xué)習(xí)，能夠根據(jù)已有圖像建模，做到「修舊如舊」。

像《葫蘆兄弟》，人物近景是剪紙風(fēng)格，遠(yuǎn)景是水墨筆觸。算法可以智能分辨不同的風(fēng)格來(lái)進(jìn)行處理，提升前景的清晰度的同時(shí)，又能保留遠(yuǎn)景的朦朧感。

應(yīng)用端打磨技術(shù)

「智能超分」、「智能插幀」屬于標(biāo)準(zhǔn)化功能，已封裝成可調(diào)用的產(chǎn)品，向企業(yè)客戶開(kāi)放。

除此之外，西瓜視頻也提供了內(nèi)測(cè)，個(gè)人賬號(hào)可以在「視頻剪輯」菜單中點(diǎn)擊體驗(yàn)。

修復(fù)中也會(huì)遇到新問(wèn)題。比如，在老影片掃描轉(zhuǎn)數(shù)字化的過(guò)程中，由于采樣算法欠佳，導(dǎo)致畫(huà)面中的線條出現(xiàn)鋸齒。

由于這個(gè)問(wèn)題是數(shù)字化掃描階段帶來(lái)的，常見(jiàn)算法和修復(fù)工具不能很好地處理，火山引擎就針對(duì)這種場(chǎng)景單獨(dú)設(shè)計(jì)了算法。

這種處理問(wèn)題的能力，與火山引擎對(duì)抖音、西瓜視頻進(jìn)行技術(shù)支持的歷練有關(guān)。

在視頻云產(chǎn)品負(fù)責(zé)人 Keith 看來(lái)，視頻技術(shù)中臺(tái)的最大優(yōu)勢(shì)，就是與生俱來(lái)的視頻播放經(jīng)驗(yàn)。簡(jiǎn)單說(shuō)，就是「同一套人馬做 to B 和 to C」。這讓技術(shù)團(tuán)隊(duì)對(duì) C 端的需求更敏感。

經(jīng)過(guò)疫情催化，音視頻企業(yè)級(jí)服務(wù)的市場(chǎng)更加成熟。

企業(yè)級(jí)服務(wù)商中，除了騰訊、阿里云這樣的老牌互聯(lián)網(wǎng)大廠之外，聲網(wǎng)這樣專注音視頻實(shí)時(shí)互動(dòng)的技術(shù)商得到更多關(guān)注。

在此背景下，火山引擎在 C 端的歷練，成為了獨(dú)特的服務(wù)能力。

比如，在打磨播放體驗(yàn)時(shí)，團(tuán)隊(duì)意識(shí)到播放第一幀「滑順感」的重要性，于是率先開(kāi)發(fā)了「零首幀」技術(shù)。

首幀即是視頻播放的第一幀。當(dāng)你被一個(gè)視頻封面吸引，點(diǎn)擊播放到首幀渲染出來(lái)的耗時(shí)小于 200ms 時(shí)，基本就沒(méi)有延時(shí)和卡頓感。

視頻云團(tuán)隊(duì)在這個(gè)指標(biāo)上的追求是小于 100ms。

人類(lèi)無(wú)感的 100ms 的背后，技術(shù)程序上需要完成「頁(yè)面創(chuàng)建」、「網(wǎng)絡(luò)連接」、「視頻解碼」、「播放器策略建立」四個(gè)環(huán)節(jié)。

技術(shù)團(tuán)隊(duì)針對(duì)每一個(gè)環(huán)節(jié)都做了技術(shù)優(yōu)化，才實(shí)現(xiàn)了播放體驗(yàn)上的「零首幀」。

這項(xiàng)技術(shù)已經(jīng)運(yùn)用在客戶服務(wù)上。

火山引擎與足球社區(qū) App「懂球帝」共同建立了視頻云解決方案，幫助「懂球帝」解決了播放中首屏卡頓的問(wèn)題。球迷在瀏覽 App 中的視頻時(shí)，首幀時(shí)間降低 30% 以上。

音視頻技術(shù)能夠縮短時(shí)空距離，因此，遠(yuǎn)程會(huì)議、在線課堂、電商直播是更具潛力的應(yīng)用領(lǐng)域。

在 2020 年疫情尚未消退期間，財(cái)新傳媒年度峰會(huì)在北京線下舉辦。

這是一次多時(shí)空串聯(lián)的任務(wù)，4 天議程中有 50 多場(chǎng)直播，其中既涉及海內(nèi)外嘉賓連線，又涉及峰會(huì)全程的線上直播。

火山引擎技術(shù)團(tuán)隊(duì)做到了高清視頻連線，全程無(wú)卡頓。這背后的技術(shù)，是實(shí)時(shí)通訊技術(shù)（RTC Real-times comunication)。

各種趨勢(shì)表明，RTC 將會(huì)成為下一代互聯(lián)網(wǎng)通信標(biāo)準(zhǔn)的基礎(chǔ)和模式。

未來(lái)的視頻：流量少，更清晰

如今語(yǔ)音和視頻功能，已經(jīng)基本滿足日常實(shí)時(shí)通訊，但是未來(lái)各種場(chǎng)景下的時(shí)空串聯(lián)，對(duì)技術(shù)提出更高要求。

同步與清晰度的提升帶來(lái)更大的帶寬，與之匹配的下一代的編碼壓縮技術(shù)也被需要。

視頻編碼的最主要目的是數(shù)據(jù)壓縮，讓存儲(chǔ)和傳輸更便捷。目前，新一代國(guó)際視頻編解碼標(biāo)準(zhǔn)（H.266/VVC）已正式公布。

標(biāo)準(zhǔn)貢獻(xiàn)者排行榜上，字節(jié)跳動(dòng)排名第三。排行榜前五的企業(yè)中，字節(jié)跳動(dòng)是唯一一家沒(méi)有參與上一代標(biāo)準(zhǔn)開(kāi)發(fā)的公司。

這份成績(jī)來(lái)源于「火山引擎多媒體實(shí)驗(yàn)室」，這個(gè)團(tuán)隊(duì)至今已經(jīng)研發(fā)了基于 H.266 的編碼器 2.0 版本——BVC2.0。

使用這個(gè)編碼器，同樣質(zhì)量的視頻內(nèi)容，可以節(jié)約 8%-15% 的帶寬和存儲(chǔ)成本。

這意味著，同樣網(wǎng)速和帶寬的條件下，在手機(jī)上能用更少的流量享受更清晰的視頻。未來(lái)的云游戲、VR 應(yīng)用如果想成為現(xiàn)實(shí)，也需要依靠新編碼技術(shù)

自研 H.266 的歷史

除了參與標(biāo)準(zhǔn)制定、開(kāi)發(fā)編碼器，火山引擎還站在全鏈路傳播的角度來(lái)思考技術(shù)。

比如，在抖音 App 上，生產(chǎn)端和播放端可以按照不同的需求處理。

為了照顧投稿率，生產(chǎn)端需要降低碼率；為了照顧觀看體驗(yàn)，播放端需要提升碼率。為了實(shí)現(xiàn)全局的最優(yōu)解，各個(gè)環(huán)節(jié)的不同策略配合，需要更豐富的方案。

應(yīng)用場(chǎng)景是視頻技術(shù)的催化劑。MR、VR 已經(jīng)想象了豐富的場(chǎng)景，但這尚是遠(yuǎn)景。

從眼下直播、連線、點(diǎn)播的不同需求開(kāi)始，技術(shù)也會(huì)在實(shí)戰(zhàn)中反復(fù)被打磨，走到創(chuàng)新的場(chǎng)景中去。（來(lái)源于：極客公園）

特別提醒：本網(wǎng)信息來(lái)自于互聯(lián)網(wǎng)，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。本站不承擔(dān)此類(lèi)作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請(qǐng)及時(shí)聯(lián)系我們，本站將會(huì)在24小時(shí)內(nèi)處理完畢。