GAN 之父身份遭質疑！一篇 2010 年的博客挑戰 Ian Goodfellow
【新智元導讀】一般認為 GAN 是 2014 年由 Ian Goodfellow 等人提出的，但有人發現同樣的想法早在 2010 年，就被一位芬蘭的電氣工程師提出了，引發關於 「怎樣纔算是第一個發明者」 的討論。
Ian Goodfellow 於 2014 年提出的 GAN，至今已經是計算機視覺領域最重要、使用最廣泛的概念之一。
學術界流傳的一則 GAN 誕生的傳說。據說是因為一天晚上 Ian Goodfellow 在酒吧在喝高的狀態下與同事討論學術問題，突然靈光一閃，提出了 GAN 初步的想法，當時並沒有得到同事的認可。
後來從酒吧回去發現女朋友已經睡了，於是熬夜寫了代碼，發現還真有效果。經過一番研究後，GAN 就誕生了。
GAN 的主要靈感來源於博弈論中零和博弈的思想，由一個生成網路與一個判別網路組成，二者不斷博弈：生成網路從潛在空間（latent space）中隨機採樣作為輸入，其輸出結果需要盡量模仿訓練集中的真實樣本。判別網路的輸入則為真實樣本或生成網路的輸出，其目的是將生成網路的輸出從真實樣本中儘可能分辨出來。而生成網路則要儘可能地欺騙判別網路。兩個網路相互對抗、不斷調整參數，最終目的是使判別網路無法判斷生成網路的輸出結果是否真實。
有人比 Ian Goodfellow 早 4 年就提出了 GAN？
正當大家都已經認為 GAN 等於 Ian Goodfellow 的時候，Reddit 上有人挖墳，稱其實早在 Ian 提出 GAN 這一概念的 4 年前，就已經有人提出了非常類似的概念。
Reddit 討論地址：
https://www.reddit.com/r/MachineLearning/comments/bnqm0p/d_gans_were_invented_in_2010/這位叫做 Olli Niemitalo 的芬蘭電氣工程師，會在自己的博客上記錄他時不時冒出的一些想法。2010 年 2 月 24 日，他記錄了一種訓練人工神經網路以在可變上下文內、生成缺失數據的方法。
博客鏈接：
Ideas " iki.fi/o
在博客中他寫到：圖像可能丟失像素，那麼如何通過周圍已知的像素，去恢復丟失的像素呢？
他提出的方法是一種叫做 「生成器」 的神經網路，在給定周圍像素作為輸入的情況下，生成缺失像素。（看，在 2010 年，Olli 就已經提到了 generator 這個概念！）
那麼接下來的問題就是，該如何訓練這樣的網路呢？
比如一個草原的照片上有一塊污漬，我們知道被蓋住的部分（缺失的數據）也是草，那麼我們就可以訓練神經網路用草去修復，並可以根據生成的草，與原始數據之間的均方根差（RMSD），對神經網路的成果進行評分。
但如果生成器遇到不屬於訓練集的圖像，那麼神經網路就不可能將所有葉子（尤其是缺失部分的中心位置的數據）放在恰當的位置。如果生成器的結果看起來不理想，就會遭受懲罰。
看，生成 / 對抗，都有了！接下來，他還畫了一個流程圖：
解釋一下上圖。給定一個分類器網路，使之同時和生成器進行訓練。分類器網路以隨機、或交替順序給出生成的原始數據。
接著，分類器需要猜測在周圍圖像上下文的上下文中，輸入是原始數據 or 生成數據，並給猜測結果打分。原始數據給 1 分，生成數據給 0 分。
生成器網路的目的就是獲得儘可能高的分數。隨著生成器網路不斷學會獲得高分，最終能夠生成逼真的、人眼區分不出真假的圖像。
看到這裡，很多 Reddit 網友不淡定了，紛紛感慨 「這個人是誰？」「可惜他不出名，要不然 blahblah」：
MasterSama：Olli 是數百萬領先他們時代卻籍籍無名的例子之一。但我仍然認為雖然 Ian 可能不是第一個提出 GAN 的人，卻是第一個讓 GAN 火起來的。
whymauri：同意 MasterSama。我上課的時候聽過一個說法，沒有任何一個科學發明是以最早發現它的那個科學家命名的。
alexmlamb：先入為主的感情來說，我並不想承認兩者是相同的。但我可能不得不承認兩者的相似度高的讓人不可思議。
GAN 之父的頭銜從來不缺質疑，其中就包括 LSTM 之父
中國古話說，文無第一武無第二。在學術領域，永遠不缺乏爭論。
比如今年圖靈獎的歸屬，包括南京大學人工智慧學院院長周志華教授在內的許多學界人士，均發出質疑為什麼圖靈獎得主不是 LSTM 之父 Jürgen Schmidhuber？他也是深度學習領域的大家啊。
LSTM 之父 Jürgen Schmidhuber 聲稱，他在 92 年提出了一種 PM（Predictability Minimization）模型，其與 GAN 有一些相似之處，所以稱 Ian Goodfellow 的 「GAN 之父」 的說法是站不住腳的。
最後，無奈之下的 Goodfellow 只好在論文的最終版本里加入了 GAN 和 PM 不同之處的比較，這纔有了第一篇 GAN 論文的誕生。
為此，Schmidhuber 和 Ian 不僅在郵件中展開了激烈的爭論，甚至在 2016 NIPS 大會上，趁 Ian 正在做 GAN 的 tutorial 的時候，Schmidhuber 站起來打斷演講。首先介紹了一下自己 92 年提出的 PM 模型，介紹了 PM 模型的原理和實現過程等等，然後反問 Ian 如何看待 GAN 和 PM 的相似點。
Ian 當場直接明說他們之前已經在郵件裏討論了這個問題，不想牽扯到 NIPS 大會上來浪費廣大聽眾的時間。
Ian 的言論贏得了在場大佬的多次掌聲。一位五十多歲的長者試圖碾壓三十齣頭的小夥子，但被小夥子反殺，場面一度十分尷尬。
點子一文不值，做出成果的人才有話語權？
人工智慧、機器人、空間科學工程師 John Cooper 在 Twitter 闡述了他對此事的觀點：點子一文不值，做出成果的人才有話語權。
Ian 也在下面回復，從側面認可 「做永遠比說有價值」：如果你有確切的想法可行，並且領域知識能夠認識到它應該有效，那實際上就確實有價值。製作第一個能運作的 GAN 只花了大約 1 個小時，寫論文只花了 2 個星期。這絕對是一個 「99％靈感，1％汗水」 的故事。
言外之意就是 「我做出來了，就這麼一點工作量，你呢？」
Keras 之父 Fran?ois Chollet 回復說：這對學術界來說是一個大問題。通常需要數十人（如果不是數百人），花費很多年心血才能正確地發展一個想法。然而，榮譽要歸功於第一篇學術論文的第一作者（無論學術界之外的現有技術如何）。
事實上，如果我們翻開維基百科對 GAN 的定義，就會看到其實 Wiki 提到了 Olli Niemitalod 在 2010 年的博客。不僅如此，還列舉了從 1990 年到 2017 年，所有和 GAN 相似的概念。
比如 92 年 Schmidhuber 的可預測性最小化；2012Yan Zhou 等將對抗原理應用於 SVM；2013 年 Li、Gauci 和 Gross 採用了在競爭環境中推斷模型提出 「圖靈學習」；直到 2014 年，Ian Goodfellow 向公眾介紹了 GAN 的概念，對今後的人工智慧領域產生了巨大影響。
大神的成就總會被人記住。而即使一個默默無聞的人，也可能會在 10 年後被人提到進行熱議。
Ian 也好，Schmidhuber 也好，科學家做出的成果的重要性和原創性，總會有人認可、有人質疑。但無論如何，大神們總有相似之處，那就是堅持！
正如 Ian 所說：我把整個 GAN 理念放在一起只需要大約 30 秒鐘。但這是建立在我花了 4 年時間攻讀相關領域的博士學位，加上在攻讀博士學位之前、用了 2 年作為業餘愛好的基礎之上。
臺上 30 秒，臺下需 6 年！
新智元 · AI_era
每日推送 AI 領域前沿學術解讀、AI 產業最新資訊
戳右上角【+ 關注】↗↗
喜歡請分享、點贊吧
推薦閱讀：
