Metaの自己教師あり学習AI「data2vec」がバージョン2.0に–学習速度が向上

今回は「Metaの自己教師あり学習AI「data2vec」がバージョン2.0に–学習速度が向上」についてご紹介します。

関連ワード (ソフトウェア等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 「Facebook」「Instagram」「WhatsApp」を所有するMetaが米国時間12月13日、2022年1月に発表した自己教師あり学習アルゴリズム「data2vec」の改良版「data2vec 2.0」を発表した。ジェネラリストのように機能して、テキスト、画像、および音声データを含むタスクに対して、基本的にすべて同じアプローチで取り組むというものだ。

 data2vec 2.0で、Metaの科学者らはプログラムを高速化した。さらに複数の事例では、機械学習タスクのベンチマークテストでより高い精度を記録している。

 初代data2vecに関する論文の執筆者に含まれるAlexei Baevski氏とArun Babu氏、Wei-Ning Hsu氏、Michael Auli氏は、「arXiv」に投稿した新たな論文「Efficient Self-supervised Learning with Contextualized Target Representations for Vision, Speech and Language」の中で、「data2vec 2.0は、下流のタスクの精度を損なうことなく、自己教師あり学習の訓練速度を大幅に改善できることを示している」と述べた。

 data2vec 2.0の目覚ましい成果は、訓練にかかる時間を短縮したことだ。ニューラルネットワークの訓練は通常、「エポック」という単位で測定される。エポックは、ニューラルネットワークに訓練用サンプルが与えられる回数を意味する。ニューラルネットワークの訓練は、開始から終了までの実時間でも測定される。

 「実験では、data2vec 2.0が2倍~16倍の訓練速度で、多くの一般的な既存アルゴリズムと同じ精度に到達できることが明らかになっている」(同論文)

 data2vecという名称は、Googleによって2013年に開発された「単語の埋め込み」プログラム「word2vec」をもじったものとみられる。word2vecは、特定の種類のデータ(この場合はテキスト)向けに設計されたニューラルネットワークだ。

 一方、data2vecでは、Baevski氏らはGoogleのAshish Vaswani氏らが2017年に開発したニューラルネットワーク「Transformer」を採用し、複数の種類のデータに使えるよう拡張している。このニューラルネットワークでは、同じ構造で、画像、音声、テキストのすべてを訓練できる。データの種類に合わせて変更する必要がないので、ジェネラリストプログラムと言える。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
チーム内とチーム間での作業を自動化して進めるAsanaの新ワークフローツール群「Asana Flow」
IT関連
2022-02-17 17:05
NTT Comら、AIが化学プラントの運転を支援する新サービス
IT関連
2022-04-14 12:11
リミニストリート、新ソリューション「Rimini Connect」を発表
IT関連
2022-12-08 05:16
肥後銀行、「BtoBプラットフォーム TRADE」導入–月間約1000枚の書類をデジタル化
IT関連
2023-05-25 21:32
恩恵を受けるのは顧客対応部門–先進企業、DXの効果を感じるも人材不足に苦慮
IT関連
2023-01-31 00:24
東急コミュニティー、社員のツール活用状況を数値化–生産性向上を推進
IT関連
2024-05-30 14:47
リコー、CX管理ツールを採用–「サイレントマジョリティー」の意見収集へ
IT関連
2023-01-31 18:21
セールスフォースSVPに聞く–「Einstein Automate」、AIと自動化の可能性(前編)
IT関連
2021-03-12 18:55
京都市内5カ所にポケモンのマンホールふた 「ホウオウ」降臨、「ピチュー」「ピィ」も
くらテク
2021-03-31 03:49
Google Cloud SpannerのPostgreSQL互換インターフェイス、正式版に
Google Cloud
2022-06-27 02:57
AIのバイアスはどうすれば解消できるか–レノボの取り組み
IT関連
2024-02-16 04:45
NTT Comら、スマートグラスを活用した看護を実証–ケアの質向上と負担軽減の両立へ
IT関連
2023-07-16 23:15
AWS、生成AIの「Amazon Q」にこれから作るアプリを説明すると、適切なアーキテクチャのブループリントを提案してくれる新機能
AWS
2024-06-20 06:18
サーバーレスCMSのWebinyがサーバーレス開発フレームワーク提供のために資金調達
IT関連
2021-08-21 21:28