富士通とカーネギーメロン大学、単眼カメラの2次元画像から物体を3次元化する技術

今回は「富士通とカーネギーメロン大学、単眼カメラの2次元画像から物体を3次元化する技術」についてご紹介します。

関連ワード (CIO/経営等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 富士通と米国のカーネギーメロン大学は、固定設置の1台の単眼カメラから得られる画像に映る物体を、AIによって3次元に変換しデジタル化し、人や物体の3次元形状や位置を高精度かつ動的に再構築する技術を開発した。

 開発した技術を活用することで、例えば交差点など人や車が密集する場面を撮影した画像を、匿名化した上で3次元上へ動的に復元し、監視カメラでは捉えきれなかった交通事故の原因などについて可視化できる。

 この技術は、深層学習によって人や物体の形状を学習したAIを用いて、カメラに映る2次元の各物体の3次元形状を推定可能にする「3次元形状推定技術」と、建物や地形などを含む3次元モデル上で人や物体を高精度に位置推定し復元する「3次元プロジェクション技術」の2つのコア技術によって構成されている。

 3次元形状推定技術は、さまざまな角度から撮影した市街の複数の画像を、画像に映り込む建物や人などの物体の種別を判別させた上で深層学習を用いて学習させたモデルを活用する。

 これにより、単眼カメラで撮影した1枚の市街の画像からでも、3次元空間上のVoxelの集合体として、建物や人といったカテゴリも含めて表現することが可能になる。また、事前の機械学習によって、建物の裏側などの画像では隠れて映っていない部分についても、正確な3次元形状の推定が可能になる。

 Voxelは、体積(Volume)とピクセル(Pixel)を組み合わせた用語。ピクセルが2次元画像の単一画素を表すのと同様に、Voxelは3次元空間上で単一点を表示するための立体表現方法として使う。

 3次元プロジェクション技術は、人や車の動きをより現実世界に即した形で復元可能にするほか、物体の特定の部分が障害物によって隠されている場合でも正確な位置推定が可能になる。

 位置推定では、3次元形状推定技術の出力結果に基づいて3次元化されたデジタルツイン上で、既に学習済みの社会人文科学的な人間の行動分析のノウハウを組み込む。これにより例えば人が物体をすり抜けるなど、現実世界では起こり得ない人間の動きを除外しつつ、進行方向や速度情報などを加味して3次元上に高精度に配置可能になる。

 両者は2月22日から、カーネギーメロン大学周辺の交差点を撮影した画像データなどで今回開発した技術について実証実験を開始している。

 実証では、大学内などに単眼カメラを設置し、周辺の交差点を撮影した画像データに映る物体を認識させる。さらに人の顔や車のナンバープレートなどを匿名化してプライバシーを保護した上で、ソーシャルデジタルツイン上で再現する。

 さらに大学周辺の人の往来や交通状況などを分析し、分析結果から、建物や一時的な人ごみにより発生する死角などの潜在的な事故の誘発要素を発見する。さらに発見された可能性に基づいて事故防止策の立案を行い、開発技術の有効性を検証する。

 両者は、2022年2月より、人、モノ、経済、社会の間の複雑な相互作用を3次元上に動的に再現するソーシャルデジタルツインの共同研究を開始している。そして複数角度から撮影された動画を高速で高精細に画像生成する高速3次元シーン復元技術の開発に取り組んできた。

 しかし、共同研究を進める中で、撮影画像を3次元に動的に復元するためには、映像の解析精度が技術的に不十分な部分があった。さらに3次元上で正確に物体の位置や形状を再現するために複数のカメラが必要となり、作業負荷、コストなどに課題が残り社会実装の障壁となっていたという。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
キヤノンITS、メインフレームをオープン系に移行するサービスで富士通に対応
IT関連
2023-12-20 10:08
エクサウィザーズ、第一三共にデータ統合活用プラットフォームを提供
IT関連
2023-02-01 23:29
東京ガス、ボットと人を組み合わせた問い合わせ環境構築–セッション数は前年比約1万件増
IT関連
2022-12-24 12:18
ネットスイート、生成AI/AI機能をスイート全体に組み込み–「SuiteWorld 2023」基調講演
IT関連
2023-10-19 21:57
読売新聞子会社でクレカ情報流出 すでに767万円の金銭的被害も確認
セキュリティ
2021-07-15 04:15
「スマホを離れて何もしないのは意外と楽しい」との研究結果
IT関連
2022-08-21 04:23
Google、「Pixel 5a(5G)」を5万1700円で発売へ 過去最大6.34インチでIP67
製品動向
2021-08-19 08:39
"メガハック"の時代に迫る危機–企業に何ができるか
IT関連
2021-03-23 18:25
「Apple Vision Pro」の機能、外観、価格–アップル初のAR/VRヘッドセットを知る
IT関連
2023-06-10 23:18
Anthropic、「Claude」のiOSアプリと企業向け「Team」プランを発表
IT関連
2024-05-03 05:08
多様なIoT機器通信の最適制御技術を開発–東大、早大、日立、富士通が連携
IT関連
2021-03-27 09:58
コロナ禍終息後の世界でIT支出はどう変わるのか
IT関連
2021-07-28 19:34
取締役会とCISOの間には憂慮すべきセキュリティ認識のずれ–プルーフポイント調査
IT関連
2022-12-08 21:19
新サービスの発表会見で見えたセールスフォースとタブローのユニークな関係
IT関連
2022-06-25 14:47