ロボットにペン回しを教える、NVIDIAのAIエージェント「Eureka」

今回は「ロボットにペン回しを教える、NVIDIAのAIエージェント「Eureka」」についてご紹介します。

関連ワード （ソフトウェア等） についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。

　最近では、人工知能（AI）の古典的な応用分野の1つであるロボット工学に、OpenAIの「ChatGPT」などで有名になった最新技術である「生成AI」を応用する研究が進められている。

　例えば、GoogleのAI部門であるDeepMindは今年、「RT-2」と呼ばれるVLA（Vision-Language-Action）モデルを発表した。RT-2は、画像と命令を入力すると、その命令を実行するために必要な行動計画と座標の両方を出力できるモデルだ。

　しかし、生成AIには超えられない一線がある。生成AIでは、ロボットが目的地にたどり着くまでの経路を計画するような 「高レベル」のタスクをこなすことはできても、モーターを細かく制御してロボットの関節を操作するような「低レベル」のタスクを行うことはできない。

　しかし、NVIDIAが10月に発表した研究成果は、大規模言語モデルにその壁を越えられる可能性があることを示している。この研究で開発された「Eureka」と呼ばれるプログラムは、言語モデルを使用して、ロボットに低レベルの指示を与えるために用いるゴールを設定している。これには、ロボットハンドによる対象物の操作に必要な詳細なモーター制御の指示も含まれる。

　ただし、実際にその壁を越えるには、ほかにも多くの技術が必要になる可能性が高い。今のところEurekaは、ロボットのコンピューターシミュレーションの内部で実行されているだけで、まだ本物のロボットを制御できているわけではないからだ。

　この論文「Eureka: Human-level, reward design via coding large language, models」は、10月にプレプリントサーバーである「arXiv」に投稿された。この論文の第一著者はNVIDIAのYecheng Jason Ma氏で、ほかにもペンシルバニア大学、カリフォルニア工科大学、テキサス大学オースティン校の研究者らが共著者に名を連ねている。この論文では、「大規模言語モデルを利用して、ペン回しのような器用さが必要な低レベルの操作タスクを学習させるという課題は、まだ未解決のままだ」と述べている。

　NVIDIAのブログサイトにもこの研究に関する記事が掲載されている。

　Ma氏らの考えは、ロボット工学に長年携わってきた研究者の見方とも一致している。カリフォルニア大学バークレー校の電気工学准教授であるSergey Levine氏は、言語モデルは「最後の1インチの、ロボットが実際に物理的に物体に触れる部分」を扱うにはあまりよい選択ではないと述べている。その理由は、その種のタスクが意味論とはほとんど関係がないためだ。

　Levine氏は、米ZDNetの取材に対して、「言語モデルを微調整して把持について予測することはできるかもしれないが、それが実際に役に立つかどうかは分からない。物体のどこに指を配置すべきかを指定するのに、どんな言葉を使えばいいかが分からないからだ」と説明した。「そんなことも多少は可能かもしれないが、実際にはそれほど役に立たないのではないか」

　Eurekaの論文では、この問題に間接的に取り組んでいる。この研究では、ロボットシミュレーションに対して何をすべきかを指示するために言語モデルを使うのではなく、ロボットが目指すべき目標状態である「報酬」を生成するために使用している。報酬は、強化学習と呼ばれる機械学習の一形態で使用されている確立された手法であり、Levine氏をはじめとするさまざまなロボット工学者が、ロボットのトレーニングにこの手法を用いている。

　Ma氏らのチームは、大規模言語モデルを使えば、人間の専門家よりも効果的に強化学習に使用する報酬を設定できるのではないかと考えた。