NVIDIA、ローカルで動く基盤モデルでPCデスクトップ上に表情のあるキャラクターを表示。アプリの使い方や文章の要約などをしてくれる「Project R2X」発表

今回は「NVIDIA、ローカルで動く基盤モデルでPCデスクトップ上に表情のあるキャラクターを表示。アプリの使い方や文章の要約などをしてくれる「Project R2X」発表」についてご紹介します。

関連ワード （参加者、生成、音声等） についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、Publickey様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。

NVIDIAは現在ラスベガスで開催中のイベント「CES 2025」において、PCのデスクトップ画面上にローカルマシン上で稼働する生成AIによるキャラクターが表示され、アプリの使い方指南やドキュメントの要約、オンライン会議への参加などをしてくれるAIエージェント「Project R2X」を発表しました。

Project R2Xのデモ動画から

表情などが生成AIでアニメーション化

Project R2Xのキャラクターは、同社のGPUを搭載した「NVIDIA RTX AI PC」の上で稼働する基盤モデル「NVIDIA NIMマイクロサービス」を用いた生成AIによって実現されています。

自然言語を用いた音声で人間と対話でき、唇や舌の動きなどの表情はNVIDIA Audio2Face-3Dモデルによってアニメーション化されています。

アプリの使い方指南、PDFの内容を解釈して回答

デモ動画ではまず、人間がPhotoshopを使って画像内の人物のジャケットを革ジャンに変換する方法を質問。キャラクターが音声で教えてくれました。

キャラクターの上にPDFファイルをドラッグ＆ドロップして読み込ませた上で、ドキュメントの内容について質問をすると、内容に基づいて答えてくれます。

情報を追加してAIの知識を増やせる

Notionの情報をキャラクター（AIエージェント）に入力することで、キャラクターの知識を増やせることもデモ動画で示されました。

PCに接続されたカメラの映像も認識。これは何？ という問いに、赤と白のカップでスターバックスのもののようだと的確に答えます。

オンライン会議にも参加。ラスベガスの見所などについての質問に、まるで人間の参加者のように答えました。

下記がProject R2Xのデモ動画です。