人工智能為電影修復(fù)帶來了什么

原標(biāo)題：人工智能為電影修復(fù)帶來了什么

近日啟動(dòng)的“經(jīng)典香港電影修復(fù)計(jì)劃”，計(jì)劃將100部香港老電影修復(fù)至4K版本。

(資料圖片僅供參考)

電影修復(fù)流程繁雜瑣碎。過去，一位經(jīng)驗(yàn)豐富的修復(fù)師需要1個(gè)月的時(shí)間，才可以修復(fù)完成一部影片，而這次修復(fù)百部香港老片將使用深度學(xué)習(xí)等人工智能技術(shù)，這將極大地提升電影修復(fù)效率，同時(shí)進(jìn)一步優(yōu)化影片的畫質(zhì)，為觀眾帶來超高清的觀影沉浸感。

傳統(tǒng)的修復(fù)方法更多關(guān)注光影、色彩、美學(xué)等，而人工智能修復(fù)，可以從清晰度、流暢度等方面提升老片的畫面質(zhì)量。那么，人工智能是如何介入電影修復(fù)的？

由于拍攝設(shè)備、存儲(chǔ)方式等方面的限制，老電影往往帶有嚴(yán)重的膠片噪聲且分辨率較低。此外，由于拍攝年代和拍攝方式等的不同，老電影的畫面質(zhì)量也參差不齊，很多畫面模糊不清。

提升影片的清晰度，須修復(fù)模糊的畫面。去模糊的難點(diǎn)在于，模糊的類型多種多樣。在拍攝、儲(chǔ)存、拷貝翻印、膠片數(shù)字化以及壓制導(dǎo)出的過程中，都可能產(chǎn)生模糊損傷，這導(dǎo)致模糊問題成因復(fù)雜，修復(fù)人員通常難以獲得精準(zhǔn)的“模糊核”。

利用人工智能技術(shù)，可以從低質(zhì)數(shù)據(jù)中抽取不同程度的模糊視頻，利用相關(guān)統(tǒng)計(jì)方法進(jìn)行真實(shí)的“模糊核”估計(jì)，并通過主觀驗(yàn)證進(jìn)一步篩選“模糊核”的類型。同時(shí)，在自建的高清影視數(shù)據(jù)集上，生成“模糊—清晰”匹配數(shù)據(jù)對(duì)來訓(xùn)練機(jī)器學(xué)習(xí)從低質(zhì)到高清的潛在的映射關(guān)系。這樣就能快速分辨出不同影片、不同畫面模糊的原因，進(jìn)而提升修復(fù)效率。

在老電影修復(fù)中，電影中的人像需要重點(diǎn)關(guān)注和優(yōu)化。利用人工智能技術(shù)，使用基于生成式的人像修復(fù)模塊，在保持人像真實(shí)特征的前提下，可以進(jìn)行高清五官重建。對(duì)低分辨率、多次壓縮損傷以及拍攝環(huán)境（如暗場(chǎng)景和拍攝過程抖動(dòng)）等造成的模糊、失焦、噪聲、馬賽克等畫質(zhì)損傷，都能有效解決。

在這次100部經(jīng)典港片的修復(fù)中，人工智能還為我們提供了老舊人像修復(fù)和人像超清化等不同的人像解決方案。對(duì)于低質(zhì)量的人像，我們優(yōu)化了人像模型在時(shí)域上的清晰度和穩(wěn)定性，對(duì)不同大小的人臉（近景/中景/遠(yuǎn)景）、不同姿態(tài)角度的人臉（側(cè)臉/俯視/仰視）、不同遮擋程度的人臉都有較好的修復(fù)增強(qiáng)效果。對(duì)于一些中高質(zhì)量的人像，我們使用人像超清模塊，優(yōu)化五官清晰度，最大限度還原睫毛、眉毛、發(fā)絲和膚質(zhì)等臉部細(xì)節(jié)，修復(fù)結(jié)果更有質(zhì)感。

很多老電影由于膠片保存不當(dāng)出現(xiàn)褪色情況，畫面存在色偏。為解決這一問題，需要對(duì)其進(jìn)行色彩校正，還原符合電影美學(xué)風(fēng)格的色彩。借助人工智能技術(shù)，修復(fù)人員可以設(shè)計(jì)出符合電影美學(xué)標(biāo)準(zhǔn)的色彩校正方案。具體做法是，對(duì)影片內(nèi)容進(jìn)行場(chǎng)景分割，使用深度學(xué)習(xí)方案逐幀學(xué)習(xí)其色彩校正矩陣；針對(duì)幀間一致性問題，則按場(chǎng)景計(jì)算出色彩校正矩陣的均值；對(duì)同一場(chǎng)景，使用同一套色彩校正矩陣進(jìn)行處理，從而得到穩(wěn)定的校正結(jié)果。

利用人工智能技術(shù)還能提升老電影的流暢度。比如，一些武打片中，有很多人物快速運(yùn)動(dòng)的場(chǎng)景。當(dāng)畫面幀與幀間運(yùn)動(dòng)較大，超過一定范圍時(shí)，光流就會(huì)估計(jì)不準(zhǔn)確，容易產(chǎn)生拖影。利用智能插幀算法，通過對(duì)前后幀的內(nèi)容進(jìn)行光流估計(jì)，并根據(jù)光流信息將前后幀像素都轉(zhuǎn)換到中間幀，然后進(jìn)行整合，生成中間幀，提升視頻幀率，這樣就可以減少觀眾觀看時(shí)的卡頓感。

一些老電影的膠片，由于保存不當(dāng)，容易出現(xiàn)臟點(diǎn)、污漬和霉斑，呈現(xiàn)在畫面上就是大塊不規(guī)則形狀的陰影，既破壞了畫面的完整性，也會(huì)影響觀眾的觀影體驗(yàn)。對(duì)于這些瑕疵，可以首先用去噪點(diǎn)和去劃痕等算法批量處理，同時(shí)輔以人工二次校驗(yàn)，對(duì)誤傷畫面的部分進(jìn)行優(yōu)化，這既提高了修復(fù)處理的速度，同時(shí)也保證了修復(fù)的精準(zhǔn)性。

此外，受限于拍攝時(shí)的設(shè)備和技術(shù)，早期的香港武打片會(huì)有不少穿幫鏡頭，如畫面出現(xiàn)威亞線。以往這種情況，只能依賴手工逐幀消除，而人工智能算法可以自動(dòng)識(shí)別到威亞的位置并進(jìn)行擦除。

值得一提的是，在這次100部港片修復(fù)項(xiàng)目中，我們首次使用了AIGC（生成式人工智能)視覺大模型。在更廣闊的數(shù)據(jù)規(guī)模、更龐大的模型參數(shù)、更豐富的算力的加持下，大模型顯示出遠(yuǎn)超以往算法的生成能力，生成內(nèi)容的紋理細(xì)節(jié)更逼真、效果更自然。

針對(duì)老片修復(fù)的具體場(chǎng)景，我們還對(duì)AIGC視覺大模型進(jìn)行了生成質(zhì)量、視頻任務(wù)和推理效率方面的算法優(yōu)化，有效提升了修復(fù)質(zhì)量。相信隨著大模型技術(shù)的持續(xù)發(fā)展，人工智能將在老電影修復(fù)以及經(jīng)典文化傳承方面發(fā)揮更大作用。

（作者：趙世杰，系火山引擎多媒體實(shí)驗(yàn)室研究員）

標(biāo)簽：