曉查 發自 凹非寺

量子位 報道 | 公眾號 QbitAI

輸入一張女性的照片,就能得到果體照,一件脫衣的DeepNude火了。但也因為面臨巨大的道德爭議,這款軟體的開發者選擇了將它下架。

而且DeepNude本身也不開源,我們只能從開發者零星的介紹中知道,它用到了pix2pix。

在巨大的求知慾驅動下,來自四川大學計算機學院在讀碩士袁宵在自己的GitHub探究了DeepNude背後原理,研究圖像生成和圖像修復相關的技術和論文。

據他的分析,其實DeepNude只是「站在巨人的肩上」,裡面用到的技術都是近兩年CV領域的重大研究成果,而且都已經開源。

當然,作者本身對這項技術是持批判態度的。

原理

DeepNude主要使用了2018年發表的文章《Image Inpainting for Irregular Holes Using Partial Convolutions》中提出的圖像到圖像技術。

它可以把簡筆畫

變成色彩豐富的圖像,感興趣的同學可以去Demo網站在瀏覽器中試玩。

具體來說,DeepNude主要使用了計算機視覺領域的3項技術。

1、圖像修復

即上面提到的文章,這是來自英偉達Guilin Liu等人的團隊在2018年發表的研究。

當畫面被嚴重塗抹後,模型仍然能夠恢復出「原來」的圖像,可以說是「毫無PS痕迹」。

Image Inpainting除了能修復受損的圖像,還能去掉圖像中的某些物品,比如把草地中的石頭塗抹一下,恢復的後圖片中不再有石頭。

DeepNude用它除掉了圖片里的衣服。

2、Pix2Pix

這是加州大學伯克利分校在2017年發表的文章,使用條件對抗網路作為圖像到圖像轉換問題的通用解決方案。

從語義分割到原圖、從黑白到彩色、補全簡筆畫等等,Pix2Pix幾乎無所不能。

3、CycleGAN

這是來自朱俊彥本人的博士論文,曾獲得2018年ACM SIGGRAPH最佳博士論文獎。

CycleGAN使用循環一致性損失函數來實現訓練,而無需配對數據。換句話說,它可以從一個域轉換到另一個域,而無需在源域和目標域之間進行一對一映射。這開啟了執行許多有趣任務的可能性,例如照片增強,圖像著色,風格遷移等。您只需要源和目標數據集。

它可以在普通的馬和斑馬之間進行轉換,也能把夏天的景色變成冬天的景色。

以上3種工具的代碼都已經開源。

DeepNude文件

DeepNude軟體包中所有的文件如下:

袁宵認為DeepNude軟體還是存在一些缺點可以改進的:

1、軟體體積太大:一個pyqtlib.rar文件的體積就高達1.9GB。

2、轉換速度慢:處理一張圖片需要30秒;

3、內容不尊重女性:這是對深度學習技術的錯誤使用。

他認為,DeepNude可以使用TensorFlow來實現,壓縮模型的體積。軟體本身也應該改變目前不尊重女性的做法,把這項技術用在正途上。

研究人員應努力為人類謀福祉,而不是通過違法軟體獲取收入。

求種現場

雖然袁宵本人的願望很美好,但是這個項目的討論頁面還是不可避免地成為了求種現場。

隨著DeepNude下架,有人希望作者能提供原版軟體下載地址,或者提供一些代碼之類的。

作者本人當然是嚴詞拒絕,不光關乎道德,因為在中國傳播色情軟體是違法的。

最後插播一條最新消息,另一款」羞羞」的軟體也被視為非法了,那就是可以把愛情動作片女主角換成任意女神的Deepfake

在美國弗吉尼亞州,未經本人同意,製造虛假的裸露圖片或視頻將視作犯罪,可處以罰款乃至監禁。

傳送門

原文鏈接:

yuanxiaosc/DeepNude-an-Image-to-Image-technology?

github.com
圖標

Image-to-Image Demo:

Image-to-Image Demo - Affine Layer?

affinelayer.com

其他涉及的論文地址:

Image Inpainting for Irregular Holes Using Partial Convolutions

Image Inpainting for Irregular Holes Using Partial Convolutions?

arxiv.org

Image-to-Image Translation with Conditional Adversarial Networks

https://phillipi.github.io/pix2pix/?

phillipi.github.io

Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks?

arxiv.org

量子位 · QbitAI

?? ? 追蹤AI技術和產品新動態

戳右上角「+關注」獲取最新資訊↗↗

如果喜歡,請分享or點贊吧~比心?

推薦閱讀:

相关文章