中華IT最新事情

中国を中心にしたアジアのテック最新事情

80年代の中国アニメをAIで修復。鮮やかに蘇る中国の黎明期アニメたち

バイトダンス傘下の動画配信プラットフォーム「西瓜視頻」(シーグワ)と「火山エンジン」は、協働して、中国の80年代から90年代を中心とした国産アニメを100本、4K修復をする計画を発表した。すでに、西瓜視頻で4K修復済みの「小鯉魚歴険記」などを無料で見ることができるようになっていると隔壁的小蜘蛛が報じた。

 

アニメのレベルも高かった中国

中国のアニメのレベルは、他の伝統工芸品と同じように、非常に高い。1961年には劇場用長編アニメ「大鬧天宮」(大暴れ孫悟空)が公開され、数々の国際的な賞を受賞している。

当時、米国のディズニープロダクションは「101匹わんちゃん」が公開された時代で、日本で初のテレビアニメ「鉄腕アトム」が放映されるのは2年後のことになる。「大鬧天宮」はフルカラーであり、動きも滑らかで、特に京劇仕立てのアクションシーンには目を見張るものがある。


www.youtube.com

▲1961年の劇場用長編アニメ「大鬧天宮」。日本の「鉄腕アトム」の放映よりも2年早いことを考えると、当時としては驚きのできばえ。アクションシーンは現在でもじゅうぶんに鑑賞に耐える。

 

文化大革命で途絶えた技術の継承

しかし、その後の文化大革命により、この素晴らしい技術が途絶えてしまった。80年代から、再び国産アニメの制作が始まるようになり、失われた技術を取り戻していく過程が始まったが、そこに、高度に進化した日本アニメが流入をしてきた。多くの子どもが熱中をし、第1世代のオタクを生むことになる。その流れの中で、国産アニメは次第に忘れ去られていったが、近年の国潮(中国文化を再発見する動き)の中で、当時のまだ拙い国産アニメに注目が集まるようになっている。中国アニメ史の歴史的資料として、そして中高年にとっては子どもの時にテレビで見た懐かしいアニメとして再評価がされるようになっている。

 

バイトダンスが進める100本修復計画

その中で、「西瓜視頻」と「火山エンジン」の修復プロジェクトが始まった。しかし、100本のアニメを修復するというのは途方もない作業量になる。

多くのアニメが、フィルムとして保存をされているため、脱色、傷、汚れなどがある。まず、このフィルム上での修復をしていかなければならない。これはすべて手作業となる。

その後、2Kデジタル撮影をし、データ化をした後、ソフトウェア上で自動修復を行い、細部に関してはレタッチをして修復をしていく。ここまでの作業で、1シリーズあたり2週間の時間がかかり、30万元(約540万円)程度の費用がかかる。しかも、ここまでの作業は、修復の前段階であり、ここからが修復の本番なのだ。

最終的に4K修復を行うのに、2Kでデジタル撮影をするのは、コストの問題だ。4Kで撮影をし、手作業修復をしていてくと、作業量が4倍以上に増え、作業時間は3ヶ月から半年になり、経費も4倍以上が必要となる。

f:id:tamakino:20211201114316g:plain

f:id:tamakino:20211201114245g:plain

▲修復前と修復後の「黒猫警長」。傷や汚れがなくなるだけでなく、色彩も本来の色に修復されている。

 

2Kで撮影し、4Kへアップコンバートしてコストを抑える

デジタルデータが揃ったら、まずは2Kから4Kへのアップコンバートを行わなければならない。アップコンバートをすると、細部に粗が出る。線の輪郭はガタガタになる。これを修復するためにディープラーニングモデルが使われる。

また、一般のアニメは毎秒15フレーム以下で描かれているが、動きをスムースにするためにこれを60フレーム以上に増やさなければならない。これもディープラーニングモデルを使って、前後のフレームから中間フレームを生成する。前後のフレームの中間点になる映像を作ればいいというものではなく、動きを理解して、動きを滑らかに見せる、いわゆる「中割り」をする必要がある。

さらに、細かい傷、ノイズなどを自動除去していく。

f:id:tamakino:20211201114331j:plain

▲修復コストと修復時間を抑えるために、フィルムからは2Kでスキャンし、それを4Kにアップコンバートして修復が行われる。ジャギーはAIにより自動修復される。

f:id:tamakino:20211201114337p:plain

▲動きを滑らかにするために、補間フレームをAIが生成をする。毎秒15フレーム程度のアニメが60フレーム以上に修正された。

 

最後は人手が必要になる表現に関わる修復

修復はこれで終わらない。色彩を再現することと、細部のタッチを明確にする必要がある。しかし、これは自動化ができない。なぜなら、どの色が使われているかは、演出とも関わることであり、資料や証言などから類推をしていく必要があるからだ。色指定の記録が残っているラッキーな場合であっても、そのスタジオが当時使っていた絵の具を入手し、それがスクリーン上でどのような色合いで表現されるかを確認する必要がある。信号処理とAIだけでできる修復ではなく、研究者や当時関わっていた人を招いて、調査を進めながら修復作業をしていく必要がある。

f:id:tamakino:20211201114326j:plain

f:id:tamakino:20211201114329j:plain

f:id:tamakino:20211201114342j:plain

f:id:tamakino:20211201114345j:plain

▲4K修復が行われ、西瓜視頻で無料効果された80年代の中国アニメ。残念がら視聴に関しては地域制限があるために、日本からは視聴することができない。

 

背景とキャラを分離して、修復後に再合成

「胡蘆兄弟」(ひょうたん童子)では、大きな問題が発生をした。このアニメは、背景画が水墨画風で、キャラクターは切り絵を動かすことで表現されている。そのため、全体をAI修復すると、キャラクターが鮮明になると背景のデティールが失われ、背景を鮮明にしようとするとキャラクターがぼやけるという問題が起きた。それぞれが異なるタッチで描かれているため、両方を同時に鮮明化することができないのだ。

そこで、背景とキャラクターを分離するAIモデルが開発された。これで背景とキャラクターを分離し、それぞれをAI修復し、最終的に合成して修復を完成させる。

f:id:tamakino:20211201114333j:plain

▲「胡蘆兄弟」は、背景が水墨画風、キャラクターが切り絵風であるため、同時に修復をすることが難しく、いったん背景とキャラクターをAIが分離を行い、それぞれで修復を行い、再合成するという手法が使われた。

 

1年間で100本のアニメを修復する大プロジェクト

AI修復といっても、ボタンを押せば、古いアニメがきれいになるというものではなく、手作業の部分は多く、さらにAIモデルを新規に開発をする必要にも迫られる。これを1年で100本の修復をし、西瓜視頻で無料で公開していく計画だ。すでに修復済みの数本が視聴できるようになっている(ただし、地域制限があるため、日本からは見ることができない)。

視聴者からは「懐かしい」との声が、研究者からは「資料価値が高く、アニメ研究が大きく前進する」という評価を受けている。