繼 GauGAN2 之后，英偉達(dá)推出了一個(gè) GAN 的“超級(jí)縫合體”——PoE GAN。PoE GAN 可以接受多種模態(tài)的輸入，文字描述、圖像分割、草圖、風(fēng)格都可以轉(zhuǎn)化為圖片。

　　而且它可以同時(shí)接受以上幾種輸入模態(tài)的任意兩種組合，這便是 PoE 的含義。

　　所謂 PoE 是 Hinton 在 2002 年提出的“專家乘積”(product of experts)概念，每個(gè)專家(單獨(dú)模型)被定義為輸入空間上的一個(gè)概率模型。

　　而每種單獨(dú)的輸入模態(tài)都是合成圖像必須滿足的約束條件，因此滿足所有約束的一組圖像是滿足每個(gè)約束集合的交集。

　　假設(shè)每種約束的聯(lián)合條件概率分布都服從高斯分布，就用單條件概率分布的乘積來(lái)表述交集的分布。

　　在此條件下，為了使乘積分布在一個(gè)區(qū)域具有高密度，每個(gè)單獨(dú)的分布需要在該區(qū)域具有高密度，從而滿足每個(gè)約束。而 PoE GAN 的重點(diǎn)是如何將每種輸入混合在一起。

　　PoE GAN 的設(shè)計(jì)

　　PoE GAN 的生成器使用全局 PoE-Net 將不同類型輸入的變化混合起來(lái)。

　　我們將每個(gè)模態(tài)輸入編碼為特征向量，然后使用 PoE 匯總到全局 PoE-Net 中。解碼器不僅使用全局 PoE-Net 的輸出，還直接連接分割和草圖編碼器，以此來(lái)輸出圖像。

　　全局 PoE-Net 的結(jié)構(gòu)如下，這里使用一個(gè)潛在的特征矢量 z0 作為樣本使用 PoE，然后由 MLP 處理以輸出特征向量 w。

　　在鑒別器部分，作者提出了一種多模態(tài)投影鑒別器，將投影鑒別器推廣到處理多個(gè)條件輸入。與計(jì)算圖像嵌入和條件嵌入之間單個(gè)內(nèi)積的標(biāo)準(zhǔn)投影鑒別器不同，這里要計(jì)算每個(gè)輸入模態(tài)的內(nèi)積，并將其相加以獲得最終損失。

　　隨意變換輸入的 GAN

　　PoE 可以在單模態(tài)輸入、多模態(tài)輸入甚至無(wú)輸入時(shí)生成圖片。

　　當(dāng)使用單個(gè)輸入模態(tài)進(jìn)行測(cè)試時(shí)，PoE-GAN 的表現(xiàn)優(yōu)于之前專門為該模態(tài)設(shè)計(jì)的 SOTA 方法。

　　例如在分割輸入模態(tài)中，PoE-GAN 優(yōu)于此前的 SPADE 和 OASIS。

　　在文本輸入模態(tài)中，PoE-GAN 優(yōu)于文本到圖像模型 DF-GAN、DM-GAN+CL。

　　當(dāng)以模式的任意子集為條件時(shí)，PoE-GAN 可以生成不同的輸出圖像。下面展示了 PoE-GAN 的隨機(jī)樣本，條件是兩種模式(文本 + 分割、文本 + 草圖、分割 + 草圖)在景觀圖像數(shù)據(jù)集上。

　　PoE-GAN 甚至還能沒有輸入，此時(shí) PoE-GAN 就會(huì)成為一個(gè)無(wú)條件的生成模型。以下是 PoE-GAN 無(wú)條件生成的樣本。

　　團(tuán)隊(duì)介紹

　　論文通訊作者是英偉達(dá)著名工程師劉洺堉，他的研究重點(diǎn)是深度生成模型及其應(yīng)用。英偉達(dá) Canvas 和 GauGAN 等有趣的產(chǎn)品均出自他手。

　　論文一作是黃勛，北京航空航天大學(xué)本科畢業(yè)，康奈爾大學(xué)博士，現(xiàn)在在英偉達(dá)工作。

　　論文地址：

　　https://arxiv.org/abs/2112.05130

　　PoE：

　　https://www.cs.toronto.edu/~hinton/absps/icann-99.pdf

　　投影鑒別器：

　　https://arxiv.org/abs/1802.05637

特別提醒：本網(wǎng)信息來(lái)自于互聯(lián)網(wǎng)，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。本站不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請(qǐng)及時(shí)聯(lián)系我們，本站將會(huì)在24小時(shí)內(nèi)處理完畢。