Preferred NetworksがCrypkoを含む深層学習活用のデジタル素材生成システムをクリエイティブ産業向けに開発

今回は「Preferred NetworksがCrypkoを含む深層学習活用のデジタル素材生成システムをクリエイティブ産業向けに開発」についてご紹介します。

関連ワード （AI / 人工知能（用語）、Crypko（製品・サービス）、Preferred Networks（企業）、アニメーション（用語）、ディープラーニング / 深層学習（用語）、日本（国・地域）等） についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、TechCrunch様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。

Crypkoで自動生成したキャラクターの例

Preferred Networks（プリファードネットワークス。PFN）は3月10日、クリエイティブ産業向けとして、好みのキャラクターや高精細な3Dモデルを生成できるデジタル素材生成システムを発表した。

また同システムを利用した映像作品の第1弾として、PFNは、バーチャルシンガーHACHI（RK Music所属）の楽曲「20」をフィーチャーした短編動画（企画・制作：PFN、キングレコード、ポリゴン・ピクチュアズ）を公開した。

同デジタル素材自動生成システムは、キャラクターの自動生成を行うプラットフォーム「Crypko」（クリプコ）、「高精細3Dモデル生成」の2機能で構成している。

Crypkoは深層学習を利用し、制作者が定義した顔のパーツ、表情、髪の色などに合ったキャラクターのCG（立ち絵）を自動生成可能。これまでCrypkoは顔を生成対象としていたが、より高い解像度で上半身まで生成可能となった。

高精細3Dモデル生成機能では、実物のアイテムを専用3Dスキャナーに配置し撮影するだけで、高精細な3Dモデルを自動生成できる。様々な材質や大きさの被写体に対応しており、小型アイテムであれば、約6時間の撮影作業で当日中に200点以上の3Dモデル化が可能という。生成した高精細3Dモデルは市販の編集ソフトで自由に加工・複製し、映像作品やゲームなどで使用できる。

実物の写真

3Dスキャンで生成した高精細モデル

回転させた3Dモデル（低解像度）

3Dモデルのメッシュ構造

PFNが公開した短編動画では、キャラクター自動生成システムが生成したキャラクターを基に主人公のデザインを行ったほか、スマートフォンや背景の文房具などのアイテムは高精細3Dモデル生成機能を用いて実物から生成したデータを基にしているという。

また、動画に登場するギターのCG制作過程では細部の質を上げるため外部クリエイターと共同作業しており、精細なデジタル素材を作成できたとしている。

短編動画で使われたギターと家具の3D CG

なお、同デジタル素材自動生成システムは、経済産業省の令和元年度補正予算「コンテンツグローバル需要創出促進・基盤整備事業費補助金」（J-LOD）第4弾の採択事業として開発したもの。

同システムをはじめとして、PFNは今後もクリエイティブ産業向けに先端技術を活用した制作手法を提案し、新しい表現・体験の実現を目指すとしている。

関連記事
・KDDIがバーチャル人間「coh」発表、5Gの超低遅延技術を活用したリアルタイムクラウドレンダリング採用
・リコーが3Dコンテンツを全方位立体映像として現実空間に映し出せる投影装置を開発、裸眼で視認可能
・高さ2mの65型有機ELディスプレイで等身大のAIキャラによる接客実現、Gateboxが法人向け大型召喚装置
・Epic Gamesが超リアルなキャラを柔軟に制作できるUnreal Engineの3Dツール「MetaHuman」披露
・フォトリアルな3D CGによるバーチャルヒューマンのプロデュースを展開するAwwが1億円を調達

・Preferred Networksと鹿島建設が建築現場用ロボ向けAI搭載自律移動システム開発、GNSS計測不可の屋内も対応
・Preferred NetworksがAI・高度IT人材育成に向け機械学習・深層学習コンテンツ4種を公開
・Preferred Networksが教育事業第2弾、子ども向けタイピング練習ウェブアプリのベータ版
・トヨタがAIスタートアップのPreferred Networksと提携　支援サービスロボット開発へ
・Preferred Networksが中外製薬と東京エレクトロンから9億円を調達、深層学習技術を用いた共同研究へ
・乳がんの早期発見精度を99％以上に向上させた、日本発のAI開発スタートアップ