“歩きスマートグラス”でビデオ会議　横顔の映像を正面顔にリアルタイム変換：Innovative Tech

今回は「“歩きスマートグラス”でビデオ会議　横顔の映像を正面顔にリアルタイム変換：Innovative Tech」についてご紹介します。

関連ワード（変換、微妙、自撮等）についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、It Media News様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。

Innovative Tech：

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

　マックス・プランク情報学研究所とミュンヘン工科大学によるドイツの研究チームが開発した「」は、眼鏡型デバイスのフレームに取り付けたカメラから横顔の映像を撮影し、正面から見た顔の映像をリアルタイムに生成する、深層学習を用いたシステムだ。イヤフォンとマイク付きスマートグラスに搭載すれば、歩きながらハンズフリーでビデオ会議も可能という。

　ビデオ会議では通常、PC、タブレット、スマートフォンなどで正面方向から顔を撮影しながら行わなければならない。歩きながら会議に参加する場合は、手持ちしたスマートフォンで自撮りし続ける必要がある。これは手が疲れるだけでなく危険でもある。

　今回の手法では、眼鏡フレームに取り付けた魚眼レンズ搭載カメラで横顔映像を撮影し、正面の顔画像を生成する。

　カメラから撮影した横顔は、Conditional GAN（条件付き敵対的生成ネットワーク）を用いて訓練したネットワークで正面の顔に変換する。顔の造作と髪型などは、あらかじめ用意しておいた中立的な表情を持つ顔の3Dモデルを変化させる。

　このシステムでは正面から見た頭部と上半身をリアルな品質で合成し、頭や口の動き、視線、まばたき、舌、微妙な表情まで細部にわたってレンダリングする。さまざまな照明条件下でも合成可能で、音声と同期した唇の動きを出力する。

変換とは - Weblio辞書

「変換」の意味は入れ変わること。Weblio国語辞典では「変換」の意味や使い方、用例、類似表現などを解説しています。

https://www.weblio.jp/content/%E5%A4%89%E6%8F%9B

変換とは - コトバンク

ASCII.jpデジタル用語辞典 - 変換の用語解説 - ある情報を異なる形式に変える処理。扱う対象に応じて、さまざまな形で実現されている。たとえば、アナログデータとデジタルデータとの間の変換、ある形式から他の形式への変換、日本語入力における、かなから漢字への変換などがある。また、...

https://kotobank.jp/word/%E5%A4%89%E6%8F%9B-8685

変換（へんかん）の意味 - goo国語辞書

変換（へんかん）とは。意味や解説、類語。［名］(スル)１入れ変わること。また、変えること。「交流を直流に変換する」「仮名を漢字に変換する」２数学で、点を他の点に移したり、式を他の式に変えたり、座標を取り替えたりすること。 - goo国語辞書は30万3千件語以上を収録。政治・経済・医学・ITなど、最新用語の追加も定期的に行っています。

https://dictionary.goo.ne.jp/word/%E5%A4%89%E6%8F%9B/