曉查 發自 凹非寺量子位 報道 | 公眾號 QbitAI
曉查 發自 凹非寺
輸入一張女性的照片,就能得到果體照,一件脫衣的DeepNude火了。但也因為面臨巨大的道德爭議,這款軟體的開發者選擇了將它下架。
而且DeepNude本身也不開源,我們只能從開發者零星的介紹中知道,它用到了pix2pix。
在巨大的求知慾驅動下,來自四川大學計算機學院在讀碩士袁宵在自己的GitHub探究了DeepNude背後原理,研究圖像生成和圖像修復相關的技術和論文。
據他的分析,其實DeepNude只是「站在巨人的肩上」,裡面用到的技術都是近兩年CV領域的重大研究成果,而且都已經開源。
當然,作者本身對這項技術是持批判態度的。
原理
DeepNude主要使用了2018年發表的文章《Image Inpainting for Irregular Holes Using Partial Convolutions》中提出的圖像到圖像技術。
它可以把簡筆畫變成色彩豐富的圖像,感興趣的同學可以去Demo網站在瀏覽器中試玩。
具體來說,DeepNude主要使用了計算機視覺領域的3項技術。
1、圖像修復
即上面提到的文章,這是來自英偉達Guilin Liu等人的團隊在2018年發表的研究。
當畫面被嚴重塗抹後,模型仍然能夠恢復出「原來」的圖像,可以說是「毫無PS痕迹」。
Image Inpainting除了能修復受損的圖像,還能去掉圖像中的某些物品,比如把草地中的石頭塗抹一下,恢復的後圖片中不再有石頭。
DeepNude用它除掉了圖片里的衣服。
2、Pix2Pix
這是加州大學伯克利分校在2017年發表的文章,使用條件對抗網路作為圖像到圖像轉換問題的通用解決方案。
從語義分割到原圖、從黑白到彩色、補全簡筆畫等等,Pix2Pix幾乎無所不能。
3、CycleGAN
這是來自朱俊彥本人的博士論文,曾獲得2018年ACM SIGGRAPH最佳博士論文獎。
CycleGAN使用循環一致性損失函數來實現訓練,而無需配對數據。換句話說,它可以從一個域轉換到另一個域,而無需在源域和目標域之間進行一對一映射。這開啟了執行許多有趣任務的可能性,例如照片增強,圖像著色,風格遷移等。您只需要源和目標數據集。
它可以在普通的馬和斑馬之間進行轉換,也能把夏天的景色變成冬天的景色。
以上3種工具的代碼都已經開源。
DeepNude文件
DeepNude軟體包中所有的文件如下:
袁宵認為DeepNude軟體還是存在一些缺點可以改進的:
1、軟體體積太大:一個pyqtlib.rar文件的體積就高達1.9GB。
2、轉換速度慢:處理一張圖片需要30秒;
3、內容不尊重女性:這是對深度學習技術的錯誤使用。
他認為,DeepNude可以使用TensorFlow來實現,壓縮模型的體積。軟體本身也應該改變目前不尊重女性的做法,把這項技術用在正途上。
研究人員應努力為人類謀福祉,而不是通過違法軟體獲取收入。
求種現場
雖然袁宵本人的願望很美好,但是這個項目的討論頁面還是不可避免地成為了求種現場。
隨著DeepNude下架,有人希望作者能提供原版軟體下載地址,或者提供一些代碼之類的。
作者本人當然是嚴詞拒絕,不光關乎道德,因為在中國傳播色情軟體是違法的。
最後插播一條最新消息,另一款」羞羞」的軟體也被視為非法了,那就是可以把愛情動作片女主角換成任意女神的Deepfake。
在美國弗吉尼亞州,未經本人同意,製造虛假的裸露圖片或視頻將視作犯罪,可處以罰款乃至監禁。
傳送門
原文鏈接:
Image-to-Image Demo:
Image-to-Image Demo - Affine Layer?affinelayer.com
其他涉及的論文地址:
Image Inpainting for Irregular Holes Using Partial Convolutions
Image-to-Image Translation with Conditional Adversarial Networks
Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks
— 完 —
量子位 · QbitAI
?? ? 追蹤AI技術和產品新動態
戳右上角「+關注」獲取最新資訊↗↗
如果喜歡,請分享or點贊吧~比心?
推薦閱讀: