中華IT最新事情

中国を中心にしたアジアのテック最新事情

下手くそな似顔絵から、リアルな顔写真を生成するDeepFaceDrawing

北京市の中国科学院の研究チームが、手書きの似顔絵からリアルな顔写真を生成する人工知能DeepFaceDrawingを開発した。今年2020年7月にオンラインで開催されたSIGGRAPH2020で論文が発表されたと十輪網が報じた。

 

素人が描いた下手くそな似顔絵から顔写真を生成

このDeepFaceDrawingは、手書きの似顔絵からリアルな顔写真を生成する。

このような線画からリアルな写真を生成する技術は、以前にもPix2Pixなどがあった。Pix2Pixは、線画などからリアルな映像を生成したり、モノクロ写真をカラー化する、昼の風景写真から夜の風景写真を生成するなどということができた。しかし、問題は、正確な元画像を用意しなければならない点だった。素人が描いた歪んだスケッチを元画像とした場合、その歪みまでもリアルに再現されてしまう。

DeepFaceDrawingは、素人が描いた下手くそな似顔絵でも、それらしくリアルな形状に変換をして生成してくれる。この点が大きなポイントになっている。

f:id:tamakino:20200824091839p:plain

▲DeepFaceDrawingの実例。上の手書きの似顔絵から、下のリアルな顔写真を生成する。似顔絵の中には、明らかにトレーニングを受けていない素人の絵も混ざっていることに注目していただきたい。

 


DeepFaceDrawing: Deep Generation of Face Images from Sketches

▲DeepFaceDrawingのリアルタイムセッションの動画。手書きスケッチから顔のパーツの輪郭線を抽出し、それにあった顔パーツ映像を合成していく。輪郭線と顔パーツの関係を機械学習させた。

 

パーツごとに似顔絵線と写真の関係を機械学習

DeepFaceDrawingでは、人の顔を、目、鼻、口、輪郭、髪型の5つのパーツに分けて考える。まず、データバンクから、似顔絵に似た写真を選び、それから5つのパーツごとに輪郭線を抽出し、写真の対応するパーツを変形させていく。最後に全体のバランスを整え、写真ができあがる。

ところが、スケッチの輪郭線は不完全なことが多い。手書きであるために歪んでいたり、スケッチを描いた人の技術が不足をして特徴を表現しきれていないことが当たり前のようにある。そこで、DeepFaceDrawingでは、5つのパーツごとに、手書きスケッチとリアルな写真の関係を機械学習させ、不完全な手書きスケッチから、リアルな顔写真を生成することに成功した。

f:id:tamakino:20200824091844p:plain

▲DeepFaceDrawingの機械学習の仕組み。似顔絵の顔を5つのパーツに分解、それぞれの輪郭線を抽出し、その輪郭線とリアルな写真の適合を機械学習させた。

 

「緩やかな拘束」が実現の鍵

従来の画像生成エンジンでは、拘束条件が厳密すぎて、手書きスケッチの歪みがそのまま写真に反映されてしまっていた。しかし、DeepFaceDrawingは機械学習によって「緩やかな拘束」を実現することにより、不完全なスケッチからリアルで自然な顔写真を生成することに成功をしている。

ただし、まだ課題も多い。研究チームでは1万7000件の生成を既に行っているが、生成されるのは、多くは白人かラテン系人種になってしまう。これはアルゴリズムの問題ではなく、学習に使ったデータセットが偏っていたためだ。今後、さらに幅広くデータを収集して、学習を進めていくという。

f:id:tamakino:20200824091847j:plain

▲スケッチから写真を生成する人工知能は、すでにPix2pixなどさまざまある。既存の人工知能と比較をした。既存のものはきれいな顔写真を生成することができず、気味の悪い顔になってしまっている。最下段がDeepFaceDrawingで、自然な顔写真になっている。

 

写真を見ながら、自分のスケッチを直していける

このDeepFaceDrawingが面白いのは、手書きスケッチからリアルな顔写真を生成して、その顔写真を見て、元のスケッチを修正し、再び新たな顔写真を生成するということを繰り返していくことができる点だ。つまり、スケッチだけを見て、上手く描けているのかを確かめるのではなく、リアルな写真を見て、スケッチがうまく描けているかどうかを確かめることができる。

スケッチが上手くない素人というのは、精密に表現できる「線」を見つけることができない。スケッチが上手な人は、線を描いてみて、その線のどこが問題であるかを瞬時に発見し、修正ができる。このDeepFaceDrawingを使うと、素人でも自分の描いた線の評価が、生成されたリアルな写真でできるようになり、線を修正していくことができるようになる。お絵かきの学び方ががらりと変わることになる。

また、生成される画像の精度があがれば、写真のレタッチ、修正、合成、あるいは現実には存在しない風景の生成などが、ペンタブレットで簡単にできるようになる。応用範囲は広い。

f:id:tamakino:20200824091850j:plain

▲DeepFaceDrawingは他の画像にも応用できる。モノクロ写真のカラー化、グラフィックから写真の生成、昼の風景写真から夜の風景写真を生成など、さまざまな画像加工に応用ができる。