會的。前陣子我所在的一個動畫創作的羣裏有位原畫師分享了一篇論文,是關於二維動畫中割的自動化的。 雖然只有數學原理和一部分計算機上的設想,但是隻要有人做出來程序就可以加入動畫製作的工業化流程裏,對於一個可以改變行業效率的進程來說是一個優異的開端。眾所周知,在資本的介入下,動畫製作比起藝術創作更多的在向工業化方向發展,這其中少不了科技進步的紅利。除了這篇中割自動化的論文以外,我還找到了其他的例證比如安彥良和對於新海誠的觀念中關於紙繪動畫和板繪動畫的觀點 圖源:《新海誠Walker-光之輝跡》在part2的部分有提到,新海誠創作的部分畫面跳出了「我們這些手繪動畫師的常識範圍」這裡體現的就是作畫的數字化發展對畫面的發展起到的作用。Etc. 只談漫畫一、簡要回答:必然是有利的,但目前體現得不明顯。二、對生產的幫助,現在體現在什麼地方?分兩方面:製作和管理1.製作分為二維和三維。二維:CSP是目前漫畫數字化製作在二維方面的頂點,完全稱得上漫畫引擎。本質是傳統漫畫製作流程的全面數字化。也包含了一部分製作管理的數字化升級。三維方面:除了CSP也包含了少量三維功能,使用三維場景或作為繪畫輔助的功能也已經被逐漸使用,但沒有完全普及,使用程度也不深入。三維更具體的方面後面談。2.管理:團隊合作的製作溝通、進度跟蹤;文件交換、備份和整理;稿費統計和結算;稿件上傳和審核。雖然有些漫畫軟體提供了協作和管理的內置方案,但大都比較初級。目前最常用的仍是Bridge等照片管理軟體,或單純用系統文件管理器配合Teambition等團隊協作工具。期待有人針對性研發一套解決方案。三、為什麼體現得不明顯。這是我重點想說的。因為很多人無法像對其他行業的迅猛發展那般,體感到技術升級對漫畫製作的影響,說明漫畫的技術升級速度確實相對緩慢。在我看來,漫畫行業的技術升級確實非常緩慢,且卡在了一個關鍵節點沒跳過去——三維。此時或許有漫畫婆羅門勃然大怒並列舉一些國產三維製作的漫畫來嘲諷,請忍耐片刻看完我的解釋。 1.CSP把二維漫畫製作流程數字化,但很快進入了技術進步瓶頸期,整體效率未能和紙筆拉開決定性的差距。在CSP的家鄉日本,黑白漫畫仍是主流,扁平化的製作流程決定了數字化對效率影響有限。(因為作者的能力直接作用到成品)而在全面轉彩的中國,數字化的比例相對更高,但並不能直接影響到CSP的研發傾向。這意味著在目前節點,二維製作流程的技術升級缺乏壓力,進化速度不會太快。從市場上CSP缺乏像樣的挑戰者也能看出來。2.二維製作在圖形技術上有侷限性:二維圖形的信息不及三維完整(Z軸深度信息),素材難以復用和計算。打個比方,一個場景裏需要一個複雜的房子,場景助理繪製後,以後基本只能沿用這張場景圖片輔以簡單的變形和加筆,如果有大幅度視角變化只能重新畫。而一個房子的模型卻能任意角度,材質、光影、渲染風格都可以為新的需求做調整。這意味著二維製作技術的效率天花板比三維低。機器學習在改善這一點,但遠未能實用化。自動上色和自動切割陰影是最有希望的方向。CSP帶的自動上色功能是實驗性質的。Project HAT的自動切割陰影工具尚未正式上線。這些功能完善後可以協助無法接受三維的作者平滑過渡,但沒有從根本上解決製作時缺少圖形Z軸信息的問題。既然三維對製作流程有質的影響,為何至今沒有全面推開呢?3.步入三維時代受到產品定位的制約。日本市場如1中所言,由於主流仍是黑白所以數字化的優勢不明顯,使用三維的比例就更低(奧浩哉和浜田義一在這點上走比較遠)。所以這點我想針對國內的漫畫市場談談。回顧一下三維的核心價值:增加Z軸信息,使得圖像的信息更為完整,以便復用和運算。三維不是呈現效果的顛覆,而是製作邏輯的顛覆。這個核心價值會在什麼情境爆發?——在實現高細節的畫面時,三維可以大幅提升製作效率。素材可以復用意味著節省掉大量重複工作,可以計算意味著自動化。這點在遊戲、動畫、電影行業都已經體現過。 同樣,遊戲、動畫、電影行業都證明瞭一點:在商業領域,優勢巨大的技術突破是不會被少數人的匠人情懷阻擋的。那漫畫行業為什麼尚未普及三維,就需要從三維的優勢倒推行業的訴求。三維是為了提高精度,精度是為了討好讀者,讀者為高精度付費,所有人皆大歡喜。便可以整理出行業技術演化的邏輯:——A.從業者進行市場分析後,選定目標受眾——B.受眾重視畫面精度以及伴隨而來的重複閱讀價值,且體現為付費意願——D.為了在市場中獲勝,製作方競相提供更多的畫面細節——E.三維技術研發,高精度下提供高產能——F.技術優勢轉化為市場回報,全行業不可避免地走向三維問題是不是很易見了?定位即選擇受眾和產品情景,但如果產品的定位決定了讀者不關心畫面細節,那後面的邏輯就不成立。 倘若僅僅為了提升產出效率,技術研發是沒有優勢的。性價比最高的選擇是降低製作標準。簡單點說就是砍環節,砍要求。少一次審稿和修正換來的效率優勢,不知技術研發投入多少錢才比得上。技術研發成本高還有失敗的風險。有誰願意往後者靠攏呢?要知道對於周更甚至周雙更、三更的製作週期而言,縮短一天就是效率當場提升了1/7甚至1/3。額外的技術研發投入,反而可能當場影響到連載的更新效率。當然必須聲明一下,這是一個很極端的假設,現實中多數讀者對畫面要求還是有底線的。畫面精度的提升當然還是能提升讀者好感的。但在這個「降低標準——全面三維」的區間裏,產品的定位確實決定了大多數作品往哪個方向靠。很多人談到三維首先想到畫面效果問題。其實風格化、呈現效果反而不是問題。如果行業必須走向三維化,三維的回報又足夠高,自然有人去針對三維的效果進行研發作為團隊競爭力。理想狀態下,大型漫畫工作室還需要配有自己的研發部門。現在的問題並不在於是不是所有人、所有環節都要使用三維。我承認有些環節保留傳統製作工藝又快又好,完全可以針對情況進行二者配合。真正的問題在於,市場的定位如果沒有變動的話,我們需要三維嗎?需要的時候能用上嗎?如果用不上的話,漫畫以後是不是就這樣了?製作效率也好,更新週期也好,精度上限也好,是不是永遠就這樣了?上一個期待自己永遠就這樣的行業,我已經忘了它的名字了。 當然是有利於的。其實不應該糾結這些,而是應該關注它會推動內容生產的哪些方面呢?未來會有哪些可能? 舉個栗子,就拿動畫來說。最近就有一個黑科技,可以一邊動,一邊畫,自己可以變成二次元。 動畫,動畫,就是你動你的,我畫我的。就像下面這張GIF,左邊是張靜態圖片,隨著畫者一點一點為其勾勒色彩,右邊的動圖也在實時地變換顏色。 這就是來自布拉格捷克理工大學和Snap研究所的黑科技——只需要2個特定的幀,就能實時變換視頻中對象的顏色、風格甚至是樣式。當然,更厲害的還在後面。拿一張你的卡通頭像圖片,隨意對其修改,頂著這張頭像,坐在鏡頭前的你,也會實時發生改變。 甚至,你還可以一邊畫自己,一邊欣賞自己慢慢變成動畫效果的過程。 真可謂是這邊動著,那邊畫著,動畫就出來了。而且整個過程無需冗長的訓練過程,也不需要大規模訓練數據集,研究也提交至SIGGRAPH 2020。那麼,這麼神奇的效果到底是如何做到的呢? 互動式視頻風格化 首先,輸入一個由 N 幀組成的視頻序列 I。如下圖所示,對於任何一幀 Ii,可以選擇用蒙版 Mi來劃定風格遷移的區域,或者是對整一幀進行風格遷移。 用戶需要做的是提供風格化的關鍵幀 Sk,其風格會被以在語義上有意義的方式傳遞到整個視頻序列中。與此前方法不同的是,這種風格遷移是以隨機順序進行的,不需要等待順序靠前的幀先完成風格化,也不需要對來自不同關鍵幀的風格化內容進行顯式合併。也就是說,該方法實際上是一種翻譯過濾器,可以快速從幾個異構的手繪示例 Sk 中學習風格,並將其「翻譯」給視頻序列 I 中的任何一幀。這個圖像轉換框架基於 U-net 實現。並且,研究人員採用基於圖像塊(patch-based)的訓練方式和抑制視頻閃爍的解決方案,解決了少樣本訓練和時間一致性的問題。 基於圖像塊的訓練策略 關鍵幀是少樣本數據,為了避免過擬合,研究人員採用了基於圖像塊的訓練策略。從原始關鍵幀(Ik)中隨機抽取一組圖像塊(a),在網路中生成它們的風格化對應塊(b)。然後,計算這些風格化對應塊(b)相對於從風格化關鍵幀(Sk)中取樣對應圖像塊的損失,並對誤差進行反向傳播。這樣的訓練方案不限於任何特定的損失函數。本項研究中,採用的是L1損失、對抗性損失和VGG損失的組合。 超參數優化 解決了過擬合之後,還有一個問題,就是超參數的優化。不當的超參數可能會導致推理質量低下。 研究人員使用網格搜索法,對超參數的4維空間進行採樣:Wp——訓練圖像塊的大小;Nb——一個batch中圖像塊的數量;α——學習率;Nr——ResNet塊的數量。對於每一個超參數設置:(1)執行給定時間訓練;(2)對不可見幀進行推理;(3)計算推理出的幀(O4)和真實值(GT4)之間的損失。而目標就是將這個損失最小化。 提高時間一致性 訓練好了翻譯網路,就可以在顯卡上實時或並行地實現視頻風格遷移了。不過,研究人員發現在許多情況下,視頻閃爍仍很明顯。第一個原因,是原始視頻中存在時態雜訊。為此,研究人員採用了在時域中運行的雙邊濾波器的運動補償變體。第二個原因,是風格化內容的視覺歧義。解決方法是,提供一個額外的輸入層,以提高網路的判別能力。該層由一組隨機2維高斯分佈的稀疏集合組成,能幫助網路識別局部上下文,並抑制歧義。 不過,研究人員也提到了該方法的侷限性:當出現新的沒有被風格化的特徵時,該方法通常不能為其生成一致的風格化效果。需要提供額外的關鍵幀來使風格化一致。處理高解析度(如4K)關鍵幀比較困難使用運動補償的雙邊濾波器,以及隨機高斯混合層的創建,需要獲取多個視頻幀,對計算資源的要求更高,會影響實時視頻流中實時推理的效果。(Demo的實時捕獲會話中,沒有採用提高時間一致性的處理方法)項目地址:https://ondrejtexler.github.io/patch-based_training/好了,這只是列舉了一個栗子。還是前面的那句話,科技的進步帶來各行業的發展,這是肯定的。我們思考的,應該是會帶來什麼樣的發展。對於動畫、漫畫的內容生產,你覺得會有什麼樣的可能性呢?—完—@量子位 · 追蹤AI技術和產品新動態深有感觸的朋友,歡迎贊同、關注、分享三連?? ? ? 動畫的話三維CG動畫比較明顯,電腦軟體技術發展帶動作品發展。像迪士尼皮克斯夢工廠等三維動畫已經可以以假亂真,高質量國產三維動畫特效場面也很出色。定格動畫瞭解不多二維動畫,如很多日本動畫,還是高度依賴手繪。雖然電腦技術大量運用,但畫人物動作等還是要耗費大量人力,對於製作者要求很高。不知道未來技術如AI人工智慧會不會發展,人類只需要設計劇本,角色設計,配色,分鏡頭等關鍵,剩下的交給機器電腦。 科技進不進步跟漫畫動畫內容沒關係吧科技應該和製作有關 推薦閱讀:
會的。
前陣子我所在的一個動畫創作的羣裏有位原畫師分享了一篇論文,是關於二維動畫中割的自動化的。
雖然只有數學原理和一部分計算機上的設想,但是隻要有人做出來程序就可以加入動畫製作的工業化流程裏,對於一個可以改變行業效率的進程來說是一個優異的開端。
眾所周知,在資本的介入下,動畫製作比起藝術創作更多的在向工業化方向發展,這其中少不了科技進步的紅利。
除了這篇中割自動化的論文以外,我還找到了其他的例證
比如安彥良和對於新海誠的觀念中關於紙繪動畫和板繪動畫的觀點
圖源:《新海誠Walker-光之輝跡》
在part2的部分有提到,新海誠創作的部分畫面跳出了「我們這些手繪動畫師的常識範圍」
這裡體現的就是作畫的數字化發展對畫面的發展起到的作用。
Etc.
只談漫畫
一、簡要回答:必然是有利的,但目前體現得不明顯。
二、對生產的幫助,現在體現在什麼地方?
分兩方面:製作和管理
1.製作分為二維和三維。二維:CSP是目前漫畫數字化製作在二維方面的頂點,完全稱得上漫畫引擎。本質是傳統漫畫製作流程的全面數字化。也包含了一部分製作管理的數字化升級。三維方面:除了CSP也包含了少量三維功能,使用三維場景或作為繪畫輔助的功能也已經被逐漸使用,但沒有完全普及,使用程度也不深入。三維更具體的方面後面談。
2.管理:團隊合作的製作溝通、進度跟蹤;文件交換、備份和整理;稿費統計和結算;稿件上傳和審核。雖然有些漫畫軟體提供了協作和管理的內置方案,但大都比較初級。目前最常用的仍是Bridge等照片管理軟體,或單純用系統文件管理器配合Teambition等團隊協作工具。期待有人針對性研發一套解決方案。
三、為什麼體現得不明顯。
這是我重點想說的。因為很多人無法像對其他行業的迅猛發展那般,體感到技術升級對漫畫製作的影響,說明漫畫的技術升級速度確實相對緩慢。
在我看來,漫畫行業的技術升級確實非常緩慢,且卡在了一個關鍵節點沒跳過去——三維。
此時或許有漫畫婆羅門勃然大怒並列舉一些國產三維製作的漫畫來嘲諷,請忍耐片刻看完我的解釋。
1.CSP把二維漫畫製作流程數字化,但很快進入了技術進步瓶頸期,整體效率未能和紙筆拉開決定性的差距。在CSP的家鄉日本,黑白漫畫仍是主流,扁平化的製作流程決定了數字化對效率影響有限。(因為作者的能力直接作用到成品)而在全面轉彩的中國,數字化的比例相對更高,但並不能直接影響到CSP的研發傾向。
這意味著在目前節點,二維製作流程的技術升級缺乏壓力,進化速度不會太快。從市場上CSP缺乏像樣的挑戰者也能看出來。
2.二維製作在圖形技術上有侷限性:二維圖形的信息不及三維完整(Z軸深度信息),素材難以復用和計算。打個比方,一個場景裏需要一個複雜的房子,場景助理繪製後,以後基本只能沿用這張場景圖片輔以簡單的變形和加筆,如果有大幅度視角變化只能重新畫。而一個房子的模型卻能任意角度,材質、光影、渲染風格都可以為新的需求做調整。
這意味著二維製作技術的效率天花板比三維低。
機器學習在改善這一點,但遠未能實用化。自動上色和自動切割陰影是最有希望的方向。CSP帶的自動上色功能是實驗性質的。Project HAT的自動切割陰影工具尚未正式上線。這些功能完善後可以協助無法接受三維的作者平滑過渡,但沒有從根本上解決製作時缺少圖形Z軸信息的問題。
既然三維對製作流程有質的影響,為何至今沒有全面推開呢?
3.步入三維時代受到產品定位的制約。
日本市場如1中所言,由於主流仍是黑白所以數字化的優勢不明顯,使用三維的比例就更低(奧浩哉和浜田義一在這點上走比較遠)。所以這點我想針對國內的漫畫市場談談。
回顧一下三維的核心價值:增加Z軸信息,使得圖像的信息更為完整,以便復用和運算。三維不是呈現效果的顛覆,而是製作邏輯的顛覆。
這個核心價值會在什麼情境爆發?——在實現高細節的畫面時,三維可以大幅提升製作效率。素材可以復用意味著節省掉大量重複工作,可以計算意味著自動化。這點在遊戲、動畫、電影行業都已經體現過。
同樣,遊戲、動畫、電影行業都證明瞭一點:在商業領域,優勢巨大的技術突破是不會被少數人的匠人情懷阻擋的。
那漫畫行業為什麼尚未普及三維,就需要從三維的優勢倒推行業的訴求。
三維是為了提高精度,精度是為了討好讀者,讀者為高精度付費,所有人皆大歡喜。便可以整理出行業技術演化的邏輯:
——A.從業者進行市場分析後,選定目標受眾
——B.受眾重視畫面精度以及伴隨而來的重複閱讀價值,且體現為付費意願
——D.為了在市場中獲勝,製作方競相提供更多的畫面細節
——E.三維技術研發,高精度下提供高產能
——F.技術優勢轉化為市場回報,全行業不可避免地走向三維
問題是不是很易見了?
定位即選擇受眾和產品情景,但如果產品的定位決定了讀者不關心畫面細節,那後面的邏輯就不成立。
倘若僅僅為了提升產出效率,技術研發是沒有優勢的。性價比最高的選擇是降低製作標準。簡單點說就是砍環節,砍要求。少一次審稿和修正換來的效率優勢,不知技術研發投入多少錢才比得上。技術研發成本高還有失敗的風險。有誰願意往後者靠攏呢?
要知道對於周更甚至周雙更、三更的製作週期而言,縮短一天就是效率當場提升了1/7甚至1/3。額外的技術研發投入,反而可能當場影響到連載的更新效率。
當然必須聲明一下,這是一個很極端的假設,現實中多數讀者對畫面要求還是有底線的。畫面精度的提升當然還是能提升讀者好感的。但在這個「降低標準——全面三維」的區間裏,產品的定位確實決定了大多數作品往哪個方向靠。
很多人談到三維首先想到畫面效果問題。
其實風格化、呈現效果反而不是問題。如果行業必須走向三維化,三維的回報又足夠高,自然有人去針對三維的效果進行研發作為團隊競爭力。理想狀態下,大型漫畫工作室還需要配有自己的研發部門。
現在的問題並不在於是不是所有人、所有環節都要使用三維。我承認有些環節保留傳統製作工藝又快又好,完全可以針對情況進行二者配合。真正的問題在於,市場的定位如果沒有變動的話,我們需要三維嗎?需要的時候能用上嗎?
如果用不上的話,漫畫以後是不是就這樣了?製作效率也好,更新週期也好,精度上限也好,是不是永遠就這樣了?
上一個期待自己永遠就這樣的行業,我已經忘了它的名字了。
當然是有利於的。
其實不應該糾結這些,而是應該關注它會推動內容生產的哪些方面呢?未來會有哪些可能?
舉個栗子,就拿動畫來說。
最近就有一個黑科技,可以一邊動,一邊畫,自己可以變成二次元。
動畫,動畫,就是你動你的,我畫我的。就像下面這張GIF,左邊是張靜態圖片,隨著畫者一點一點為其勾勒色彩,右邊的動圖也在實時地變換顏色。
這就是來自布拉格捷克理工大學和Snap研究所的黑科技——只需要2個特定的幀,就能實時變換視頻中對象的顏色、風格甚至是樣式。
當然,更厲害的還在後面。
拿一張你的卡通頭像圖片,隨意對其修改,頂著這張頭像,坐在鏡頭前的你,也會實時發生改變。
甚至,你還可以一邊畫自己,一邊欣賞自己慢慢變成動畫效果的過程。
真可謂是這邊動著,那邊畫著,動畫就出來了。
而且整個過程無需冗長的訓練過程,也不需要大規模訓練數據集,研究也提交至SIGGRAPH 2020。
那麼,這麼神奇的效果到底是如何做到的呢?
首先,輸入一個由 N 幀組成的視頻序列 I。
如下圖所示,對於任何一幀 Ii,可以選擇用蒙版 Mi來劃定風格遷移的區域,或者是對整一幀進行風格遷移。
用戶需要做的是提供風格化的關鍵幀 Sk,其風格會被以在語義上有意義的方式傳遞到整個視頻序列中。
與此前方法不同的是,這種風格遷移是以隨機順序進行的,不需要等待順序靠前的幀先完成風格化,也不需要對來自不同關鍵幀的風格化內容進行顯式合併。
也就是說,該方法實際上是一種翻譯過濾器,可以快速從幾個異構的手繪示例 Sk 中學習風格,並將其「翻譯」給視頻序列 I 中的任何一幀。
這個圖像轉換框架基於 U-net 實現。並且,研究人員採用基於圖像塊(patch-based)的訓練方式和抑制視頻閃爍的解決方案,解決了少樣本訓練和時間一致性的問題。
關鍵幀是少樣本數據,為了避免過擬合,研究人員採用了基於圖像塊的訓練策略。
從原始關鍵幀(Ik)中隨機抽取一組圖像塊(a),在網路中生成它們的風格化對應塊(b)。
然後,計算這些風格化對應塊(b)相對於從風格化關鍵幀(Sk)中取樣對應圖像塊的損失,並對誤差進行反向傳播。
這樣的訓練方案不限於任何特定的損失函數。本項研究中,採用的是L1損失、對抗性損失和VGG損失的組合。
解決了過擬合之後,還有一個問題,就是超參數的優化。不當的超參數可能會導致推理質量低下。
研究人員使用網格搜索法,對超參數的4維空間進行採樣:Wp——訓練圖像塊的大小;Nb——一個batch中圖像塊的數量;α——學習率;Nr——ResNet塊的數量。
對於每一個超參數設置:(1)執行給定時間訓練;(2)對不可見幀進行推理;(3)計算推理出的幀(O4)和真實值(GT4)之間的損失。
而目標就是將這個損失最小化。
訓練好了翻譯網路,就可以在顯卡上實時或並行地實現視頻風格遷移了。
不過,研究人員發現在許多情況下,視頻閃爍仍很明顯。
第一個原因,是原始視頻中存在時態雜訊。為此,研究人員採用了在時域中運行的雙邊濾波器的運動補償變體。
第二個原因,是風格化內容的視覺歧義。解決方法是,提供一個額外的輸入層,以提高網路的判別能力。
該層由一組隨機2維高斯分佈的稀疏集合組成,能幫助網路識別局部上下文,並抑制歧義。
不過,研究人員也提到了該方法的侷限性:
當出現新的沒有被風格化的特徵時,該方法通常不能為其生成一致的風格化效果。需要提供額外的關鍵幀來使風格化一致。
處理高解析度(如4K)關鍵幀比較困難
使用運動補償的雙邊濾波器,以及隨機高斯混合層的創建,需要獲取多個視頻幀,對計算資源的要求更高,會影響實時視頻流中實時推理的效果。(Demo的實時捕獲會話中,沒有採用提高時間一致性的處理方法)
項目地址:
好了,這只是列舉了一個栗子。
還是前面的那句話,科技的進步帶來各行業的發展,這是肯定的。我們思考的,應該是會帶來什麼樣的發展。
對於動畫、漫畫的內容生產,你覺得會有什麼樣的可能性呢?
—完—
@量子位 · 追蹤AI技術和產品新動態
深有感觸的朋友,歡迎贊同、關注、分享三連?? ? ?
動畫的話
三維CG動畫比較明顯,電腦軟體技術發展帶動作品發展。像迪士尼皮克斯夢工廠等三維動畫已經可以以假亂真,高質量國產三維動畫特效場面也很出色。
定格動畫瞭解不多
二維動畫,如很多日本動畫,還是高度依賴手繪。雖然電腦技術大量運用,但畫人物動作等還是要耗費大量人力,對於製作者要求很高。
不知道未來技術如AI人工智慧會不會發展,人類只需要設計劇本,角色設計,配色,分鏡頭等關鍵,剩下的交給機器電腦。
科技進不進步跟漫畫動畫內容沒關係吧
科技應該和製作有關