開源最前線（ID：OpenSourceTop） 猿妹編譯
鏈接：https://blog.openai.com/better-language-models/、Twitter等

上個月，OpenAI發佈了一個“逆天”的AI模型——GPT2，整個模型包含15億個參數。你給它一句話，它能給你編出一篇文章來。

OpenAI的研究主管Dario Amodei表示，GPT2是在一個包含大約1000萬篇文章的數據集上進行培訓的，比之前最先進的AI模型大12倍，數據集大15倍。

有這麼厲害？看看他的實力水平不就知道了，OpenAI給出了這麼一個開頭：

在一項研究中，科學家們發現了一羣獨角獸，它們生活在安第斯山脈一個偏遠的還沒被開發山谷中，更令人驚訝的是這些獨角獸會說一口流利的英語

就這麼一句話，GPT-2能寫出以下這麼一大段故事：

因爲它們獨特的角，科學家們將他們命名爲Ovid’s Unicorn，這些四角、銀色角的獨角獸是原來科學家所不曾見過的。
......中間還編寫了，這些獨角獸是如何被發現的，以及業內權威人士認爲這些生物是如何出現的，最後還表明要驗證這羣獨角獸是否爲外星種族，唯一的方法可能就是通過DNA。

這一本正經的胡說八道，說的猿妹我都信以爲真

能有這樣出色的表現，不是沒有原因的，GPT-2各種特定領域的語言建模任務中都取得了很好的分數。作爲一個沒有經過任何領域數據專門訓練的模型，它的表現，比那些專爲特定領域數據集（例如維基百科，新聞，書籍）上訓練的模型。有圖有真相：

除了能用於語言建模，GPT-2在問答、閱讀理解、摘要生成、翻譯等等任務上也都有非常好的成績，openAI在博客上也給出了示例，感興趣的可以前往查看（地址：https://blog.openai.com/better-language-models/）

除了以上提到的這些優異表現，最主要的是GPT-2還學習幾種編程語言的語法模型，比如PHP和JavaScript。

它寫出來的JavaScript長這樣：

還有PHP語言：

就連Facebook AI研究院的Tim Rocktäschel看了GPT-2寫出來的代碼都表示：我們要有大麻煩了

話雖如此，該博客下面也有人表示其實，GPT-2寫的代碼不夠嚴謹，容易把js、C++、Python等語言混爲一談。但實力依然不可小覷

目前，GPT-2已經在GitHub上獲得4116個Star，674個Fork（地址：https://github.com/openai/gpt-2），喜歡的人可以嘗試一下

不過，OpenAI 的研究人員們決定不發佈訓練模型的數據、也不發佈最大那個模型預訓練後的參數，因爲他們認爲如此強力的模型有遭到惡意濫用的風險。最後，你們如何看待這個項目呢？