Metaの自己教師あり学習AI「data2vec」の可能性–より汎用的なAIへの布石へ

今回は「Metaの自己教師あり学習AI「data2vec」の可能性–より汎用的なAIへの布石へ」についてご紹介します。

関連ワード (ソフトウェア等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 複数のデータ種類を処理できるニューラルネットワーク(NN)、つまりどのような型のデータであっても、同じ基本構造ですべてを処理できる、より汎用的な人工知能(AI)の開発競争が始まっている。

 NNにおけるマルチモダリティーと呼ばれるこうした分野では現在、画像やテキスト、音声といったさまざまなデータを同一のアルゴリズムで処理し、画像認識や自然言語理解、音声検出といった種々の観点から評価するという取り組みが活発に進められている。

 そしてこうした汎用ネットワークはAIのベンチマークテストで高いスコアをたたき出している。その最新の成果が、Meta Platforms(「Facebook」や「Instagram」「WhatsApp」を擁する旧称Facebook)のAI部門のリサーチャーらによって開発された「data2vec」だ。

 MetaのリサーチャーであるAlexei Baevski氏とWei-Ning Hsu氏、Qiantong Xu氏、Arun Babu氏、Jiatao Gu氏、Michael Auli氏が同社ブログに記しているように、ここで重要なのは、人間が備えているような汎用の学習能力に近づけていくことだ。

 同ブログには「人間は、どのように情報を得るかにかかわらず、例えば目からか、あるいは耳からかにかかわらず、いずれも似たような方法で学習する一方、自己教師あり学習アルゴリズムが画像や音声、テキストといったモダリティーから学習する方法は、現在のところそれぞれ大きく異なっている」と記されている。

 ここでの大事なポイントは、「AIは、まったく精通していない分野のものも含めて数多くのさまざまなタスクをこなせるようになるための学習能力を身に付けなければならない」ということだ。

 Metaの最高経営責任者(CEO)Mark Zuckerberg氏はこの取り組みと、将来のメタバースとの関連について以下のように述べている。

 data2vecという名称は、Googleによって2013年に開発された「単語の埋め込み」プログラム「word2vec」をもじったものだ。word2vecは、単語のまとまりがどのように結合されるのかを予測する、つまりテキストというデータの型でNNを表現するためのプログラムだ。

 一方data2vecは、GoogleのAshish Vaswani氏とその同僚らが2017年に開発した「Transformer」と呼ばれる標準的なNNモデルを基にして、複数のデータ型で使用できるようにBaevski氏らが拡張したものだ。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
IBMが持続可能性に関する初のレポートを公表、見えてきたIT投資の方向性
IT関連
2024-12-20 22:56
日本株急落とロビンフッダー:ここは買い場?–「宴の終わり」を判断する3つのシグナル
IT関連
2021-02-01 13:12
うどん×粒あん×かまぼこ 老舗が共闘、オンラインツアー
IT関連
2021-06-04 11:29
AWSジャパン、生成AIの教育利用を推進–生成AIとデータの利用が教育領域の課題解決に
IT関連
2024-05-01 11:31
アットホーム、不動産情報流通システムにノーコードで操作ナビを実装
IT関連
2022-04-03 01:41
Osaka Metro、ロボットと生成AIで多言語の「おもてなし」–万博控え実証実験
IT関連
2025-01-10 10:58
東急建設、社外秘だった二酸化炭素排出量の算定ツールを公開
IT関連
2023-02-23 16:51
黒人創設者に投資せずにチャンスを逃す投資家たち
VC / エンジェル
2021-03-31 19:34
ウォルマートが(誤って予定より早く)低価格FHDストリーミングスティックと4Kプレイヤーを公開
ハードウェア
2021-06-05 02:18
2週間で3回目、旅行者50万人の個人情報が露出しジャマイカの新型コロナ対策アプリ・サイトがオフラインに
セキュリティ
2021-02-28 15:33
パスワードマネージャの1PasswordがPasskey対応をベータ公開。Passkeyの保存と同期、ログインが可能に
FIDO/WebAuthn
2023-06-09 22:20
「ドラクエ3」リメイク決定 順番を3→1→2にして「驚き」を
くらテク
2021-05-28 01:49
急落の日本株は「買い」!? 米国株最高値でも日経平均が売られる理由
IT関連
2021-07-12 00:07
国内でローコード/ノーコード開発ツールを採用している企業は8.5%、導入の計画や検討は23.9%で今後導入の加速が期待。最大の導入理由は開発スピードの向上。IDC Japan
ローコード/ノーコード開発ツール
2021-04-19 21:52