如果只是作為駕駛模擬器，可能很平庸，但對電子遊戲畫面來說，這可能是一場偉大的革命。

圖|真實視頻（左）和 AI 生成的渲染視頻（右）之間的對比。（圖源：英偉達）

最近人工智慧的繁榮給圖像和視頻生成領域帶來了一系列令人印象深刻的成果。最新成果來自晶元製造商英偉達

，該公司12月3日發布了一份研究報告，展示了 AI 生成的畫面如何與傳統的視頻遊戲引擎相結合。這種混合圖形系統有望應用到視頻遊戲，電影和虛擬現實等方面。

「這是使用深度學習渲染視頻內容的一種新方式，」 英偉達應用深度學習副總裁 Bryan Catanzaro 表示。「顯然，英偉達非常關心圖形生成，並且我們正在思考如何利用人工智慧徹底改變這一領域。」

英偉達的生成的圖片並沒有達到真實照片級的畫面，他們展示了在 AI 生成的圖像中發現的一些水印狀的模糊。並且這一工作也不是完全創新的。在一篇研究論文中，該公司的工程師解釋了他們如何基於一些現有方法，包括一個有影響力的開源系統 pix2pix。此外英偉達的工作中還應用到了生成對抗網路（GAN）。這些方法已經廣泛用於 AI 圖像生成。

但是英偉達還是在新產品中引入很多創新，這是世界上首個利用 AI 生成圖形畫面的視頻遊戲演示。這個產品是一個簡單的駕駛模擬器，玩家可以在 AI 生成的幾個城市街區中穿行，但不能離開他們的汽車，也不能以其他方式與世界互動。並且這一演示僅使用一個 GPU 即可實現，對於這樣的前沿工作來說，這是一個顯著的成就。

英偉達的系統利用如下幾個步驟生成圖形畫面：首先，研究人員必須收集訓練數據，一般這些數據來自於自動駕駛研究的開源數據集。然後將這些視頻數據中的每一個鏡頭做分割，即每一幀畫面被分成不同類別的區域：如天空，汽車，樹木，道路，建築物等。然後，用這些分割的數據訓練生成對抗網路，用來生成這些對象的新畫面。

接下來，工程師們使用傳統的遊戲引擎創建了虛擬環境的基本拓撲結構。在該遊戲演示中，使用的系統是虛幻引擎 4，這是一種流行的引擎，被用於諸如堡壘之夜，絕地求生，戰爭機器 4 等多種遊戲中。工程師們使用此引擎作為框架，然後利用深度學習演算法實時生成每個類別的圖形畫面，並將它們顯示到遊戲引擎的模型上。

「被創造的世界的結構還是用傳統方法製作的，」Catanzaro 解釋說，「人工智慧產生的唯一東西就是圖形畫面。」他補充說，演示本身很基礎，主要由一名工程師負責完成。「這主要是用來做概念驗證遊戲，而不是開發了一個真正的遊戲。」

圖|不同 AI 模型生成的畫面對比。左上是經語義分割的圖像；右上是 pix2pixHD 生成的畫面；左下是 COVST 生成的畫面；右下是本文英偉達的系統生成的畫面。（圖源：英偉達）

為了創建這個系統，英偉達的工程師克服了許多挑戰，其中最大的挑戰是對象持久性（object permanence）。也就是說，如果深度學習演算法以每秒 25 幀的速率為這一虛擬世界生成圖形，它們如何保持每一區域的對象看起來大致相同？Catanzaro 這個問題曾導致這個系統的初始結果「看起來很痛苦」，因為圖形的顏色和紋理「每幀都會改變」。

而解決的方案就是給系統一個短期記憶，讓系統生成的每個新幀的時候與之前的幀進行比較。試圖去預測這些圖像之間運動的東西，併產生與屏幕上的內容一致的新幀。但是這些計算都很昂貴，因此遊戲只能以每秒 25 幀的速度運行。

Catanzaro 強調，這項技術還處於早期階段，想要讓人工智慧生成的畫面出現在消費者遊戲中可能還需要幾十年的時間。他將這種情況與光線追蹤的發展進行了比較，光線跟蹤是當前圖形渲染中的熱門技術，它可以實時生成單獨的光線，在虛擬環境中創建逼真的反射，陰影和不透明度。Catanzaro 表示：「第一次互動式光線追蹤演示已經是很久很久以前的事了，但直到幾周前我們還沒有在遊戲中成功應用光線跟蹤技術」。

不過，人工智慧生成的畫面工作確實在機器人和自動駕駛汽車等研究領域有潛在的應用前景，可以用來生成虛擬訓練環境。例如，在大部分遊戲中，結構仍使用傳統方法渲染，而 AI 用於創建其中的人或物體。消費者可以使用智能手機自己捕捉素材，然後將這些數據上傳到雲端，演算法將通過學習將其插入到各種遊戲中。比如說，將其用來創建更像真人玩家的頭像。

然而，這種技術帶來了一些明顯的問題。近年來，專家越來越擔心有些人會使用 AI 生成的足以亂真的假情報進行虛假宣傳。研究人員展示，現在很容易製作一些虛假的政治家和名人的鏡頭，利用這些視頻散播一些的虛假消息，這將會是不法之徒一個很強大的武器。如果推進這項技術的發展並將這一研究成果發布，英偉達在一定程度上可以說是這一潛在負面問題的推動者。

不過，英偉達表示，這並不是一個新問題。「這一技術可以用於製作具有誤導性的內容嗎？是。但是任何渲染技術都可以用來做到這一點，」Catanzaro 表示，英偉達正在與合作夥伴一起研究檢測 AI 贗品的方法，這種所謂的虛假信息的問題本質上是一個「信任問題」。就像之前許多的「信任問題」一樣，它必須通過一系列方法來解決，而不僅僅是通過技術。

Catanzaro 反問道：「電力公司創造的電力可以為製作假視頻的電腦供電，你覺得他們需不需要負責？」。

不過歸根結底，對於英偉達來說，推動人工智慧生成的圖形有一個明顯的好處：它將有助於英偉達銷售更多的硬體。自從深度學習熱潮在 2010 年初興起以來，英偉達的股價飆升，很明顯英偉達的計算機晶元非常適合機器學習研究和開發。

對於計算機圖形學的人工智慧革命是否會有利於英偉達公司的收入，Catanzaro 笑著說，至少不會帶來傷害。「任何能夠提高生成更逼真和更具吸引力的圖形的能力，都會對英偉達有利。」

參考：theverge.com/2018/12/3/


推薦閱讀：
相關文章