利益相關,程序輔助作畫的美術內容生產者。
基於一直都在做相關的東西,並且實際應用的經歷,我認為繪畫中的部分工作會有越來越多的可依靠機器,但是取代插畫師是不太可能的,被取代的主要為底層的重複勞動工作者。
這個問題和幾個概念有關,設計、藝術、插畫師(美術職業方向)。首先對於設計和藝術,不太瞭解的可以查詢下相關的回答,有很多答案都説得很好。出於部分人對藝術的定義,人工智能是沒法達成超越人的,因為這違反其定義,所以我個人也認為藝術家是不會被人工智能取代的。不過,目前的大部分美術相關的職業其實設計的部分會更多些。對於插畫師,廣義的定義是畫畫為職業的人,但是目前的插畫師,更多的工作主要是完成一種叫插畫的美術品,其是純藝術和設計的結合,是有包含甲方的設計的需求的,需要對主題、構圖進行個人意向之外的控制。再狹義些,主要就是完成書籍中的配圖,將文字通過畫面進一步表達,而對於這種情況裝飾性(美不美),個人風格,與文字的匹配度(是一種設計)都有要求。我個人認為插畫師在眾多美術相關職業裏,藝術性是偏多的,個人風格對於目前的插畫師很重要,因此在未來,插畫師並不會被人工智能取代。前段時間微博上有有關插畫畫風重要性的討論,有興趣瞭解的可以查看。
不過插畫和各種繪畫的製作,隨着這個工具的出現,製作可以進一步簡化。每次工具的革新,實際上都可能是一次解放,讓我們可以更好的表達自我。
概念設計師 / 原畫可以更專注於設計,而細化部分程序可以完成,貼素材的工作程序做難道不更好?pix2pix phillipi/pix2pix 已經展現了這樣的潛力。有可能,未來只需要完成部分輪廓和剪影的設計,計算機就可以自動生成細化的畫面,完成黑白的光影就可以塗畫大體的顏色,我想這是可以讓工作者更專注於他們的設計工作的。
美術素材工作者(遊戲 / 動畫素材),工作量更少,因為素材們可以被程序生成或修飾。比如,下圖根據需求基於例子生成畫面(紋理)alexjc/neural-doodle,有關 neural style transfer 更多的實現(包含近期的文章)titu1994/Neural-Style-Transfer;或是通過人工智能對畫面進行變化(比如變笑臉的 Faceapp,其基本方法也可以應用於材質舊化 [1611.05507] Deep Feature Interpolation for Image Content Changes)。值得一提的是,紋理生成和舊化(Time-varying weathering in texture space)都已有很多傳統算法,效果也很好。
對於繪畫自動的清線稿和上色(不需要清稿和上色助手了,清稿 シモセラ・エドガー ラフスケッチの 自動線畫化,上色 初心者が chainer で 線畫着色してみた。わりとできた。 - Qiita | 飯塚裏志 - ディープネットワークを用いた大域特徴と局所特徴の學習による白黒寫真の自動色付け,這 3 個例子都是最近非常火的,就不詳細展望了)。其實對於自動上色來説,Paintschainer 與傳統的算法相比的優勢是,其一它可以進行一定的色彩設計。傳統算法主要是獨立解決了上色的分區問題(一開始需要封閉圖形,目前實用的也可以允許非封閉圖形瞭如 ComicStudio 系列軟件),和色彩設計的問題,其實解決得比 Paintschainer 好。
Manga Colorization(個人認為效果上還是比 Paintschainer 的半自動算法好的)
Color Compatibility From Large Datasets(其實廣義上來説這種手段也是屬於目前的人工智能的,Data Driven 嘛)
但是,Paintschainer 的另個優點是(或是目前這些神經網絡算法),它的製作相對簡單很多,對於製作者(研究人)的先驗知識要求少了很多,特徵都由神經訓練自行得到,會使得各種輔助功能的工具開發和應用的速度快得多。開發的難點反而可能是特定領域的數據的準備。(自動補間也有傳統的算法,不過目前好像未見對於 2D 動畫的基於神經網絡的實現)
未來,畫面構成可以自動化嗎?大部分人畫畫用的設計套路一定會被計算機學會的,它會學的更好,目前已經有對攝影的構圖和色彩的例子了,所以不説完全的自動設計畫面,半自動肯定是會來到的。至於全自動呢?GAN 相關的研究也有看圖説話的例子。不過,基於設計需要理解和交流的情況,我認為全自動的用處並不是很大。
總結,我們有了新的更好的工具,可以將寶貴的時間做更多更美好的事了(包括進一步優化工作),部分低級重複勞動工作者會被取代。
(説個很個人看法的東西,Adobe 贊助了很多相關的研究,但是出現在 Photoshop 的寥寥無幾,所以可能大部分重複勞動者也是不必要擔心的。)
對 Paintschainer 的額外看法
個人認為線並不能完全提供着色所需要的信息,其實從線稿開始的着色是兩個部分構成的,一個是光影,另一個是色彩。很多時候線稿給出的物體大概輪廓信息,但是對物體的細緻結構信息不足夠的,而大部分情況下對於光的信息也是不足夠的(值得一提的是,訓練該網絡的例子線稿是帶有一部分光影信息的)。所以在用一般線稿的處理結果上,着色的風格偏扁平一點。個人觀點,光影對風格的影響更大。希望實現陰影着色的效果,可以在線稿上進一步繪畫明暗交界線。如果真的需要作為工具使用,該應用還學結合些傳統算法,如基本的平滑。
類似的工作,https://arxiv.org/abs/1612.00835v2
(加入陰影指示的結果。含有陰影指示更符合數據集。copyright weibo@ZE_LE)
此外基於上述對線稿的描述,如果作為工具設計,實現上我可能分兩步執行,線 -》光影 -》色彩,下面是灰度圖用 Automatic Image Colorization · 白黒畫像 の 自動色付け(在線 demo)處理的結果,我認為效果是挺不錯的,不過既然都上了光影,色彩也是很快的事了。
(comixwave 新海誠)
(吉卜力)
(Dao Dao [pixiv])
自動着色作者 Edgar Simo-Serra 的另個研究,線稿簡化的在線 demo Sketch Simplification · ラフスケッチの 自動線畫化
個人應用示例
基於各種前人的和我個人的研究,應用了新的工具,的確大幅提升了美術工業品的生產效率(用時為行業平均時間的 1/4~1/2,助手可以失業了,或是我可以做的更多,但是這種美術外包市場本來就不大,所以是助手要失業了。),以下是一些舉例,部分是基於神經網絡的,部分是傳統算法。
畫風識別,通過深度學習構建畫風識別應用,對工作室的製作內容進行粗審,目前測試中。圖中訓練了識別新海誠繪畫風格的卷積神經網絡,即使在未將時光相冊 / 網絡上流行的新海誠合成圖片作為反例的情況下,也能夠將其識別。
雲的基於照片生成,應用一些紋理生成算法或基於神經網絡的算法,可以完成自動生成部分素材的需求。左照片,中例子(copyright comixwave,新海誠),右生成。
樹的自動生成,方法同上。上例子,下生成。已用於生產。
基於各種的圖像處理算法構成的工具集對圖像的半自動處理。其中雲為手繪,樹和建築主體主要由算法完成,已用於生產。
3D 的 NPR 渲染,可以根據需要對參數調整得到不同風格的畫面,已用於生產。下圖 Copyright 高考戀愛一百天。其中下圖的下左右中的樹為 3D 生成。