Metaの自己教師あり学習AI「data2vec」がバージョン2.0に–学習速度が向上

今回は「Metaの自己教師あり学習AI「data2vec」がバージョン2.0に–学習速度が向上」についてご紹介します。

関連ワード (ソフトウェア等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 「Facebook」「Instagram」「WhatsApp」を所有するMetaが米国時間12月13日、2022年1月に発表した自己教師あり学習アルゴリズム「data2vec」の改良版「data2vec 2.0」を発表した。ジェネラリストのように機能して、テキスト、画像、および音声データを含むタスクに対して、基本的にすべて同じアプローチで取り組むというものだ。

 data2vec 2.0で、Metaの科学者らはプログラムを高速化した。さらに複数の事例では、機械学習タスクのベンチマークテストでより高い精度を記録している。

 初代data2vecに関する論文の執筆者に含まれるAlexei Baevski氏とArun Babu氏、Wei-Ning Hsu氏、Michael Auli氏は、「arXiv」に投稿した新たな論文「Efficient Self-supervised Learning with Contextualized Target Representations for Vision, Speech and Language」の中で、「data2vec 2.0は、下流のタスクの精度を損なうことなく、自己教師あり学習の訓練速度を大幅に改善できることを示している」と述べた。

 data2vec 2.0の目覚ましい成果は、訓練にかかる時間を短縮したことだ。ニューラルネットワークの訓練は通常、「エポック」という単位で測定される。エポックは、ニューラルネットワークに訓練用サンプルが与えられる回数を意味する。ニューラルネットワークの訓練は、開始から終了までの実時間でも測定される。

 「実験では、data2vec 2.0が2倍~16倍の訓練速度で、多くの一般的な既存アルゴリズムと同じ精度に到達できることが明らかになっている」(同論文)

 data2vecという名称は、Googleによって2013年に開発された「単語の埋め込み」プログラム「word2vec」をもじったものとみられる。word2vecは、特定の種類のデータ(この場合はテキスト)向けに設計されたニューラルネットワークだ。

 一方、data2vecでは、Baevski氏らはGoogleのAshish Vaswani氏らが2017年に開発したニューラルネットワーク「Transformer」を採用し、複数の種類のデータに使えるよう拡張している。このニューラルネットワークでは、同じ構造で、画像、音声、テキストのすべてを訓練できる。データの種類に合わせて変更する必要がないので、ジェネラリストプログラムと言える。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
アクセラレーターUrbanーXは世界がその環境思想に追いついてきたこの機に次期コホートを決定
EnviroTech
2021-01-31 22:36
コラボレーションツール「Notion」日本語版、正式リリース
IT関連
2022-11-12 05:33
長野県、洪水災害に備えるためのデータ連携プラットフォームを構築
IT関連
2023-09-30 13:58
三井情報、沖縄電力へプラントデータの収集分析システム基盤を提供
IT関連
2021-06-01 14:41
UberがドライバーにRosetta Stoneの語学レッスンを無料で提供へ
シェアリングエコノミー
2021-07-31 15:45
ロシアのランサムウェア犯罪グループ、中国製サイバー攻撃ツールを入手・使用–ウィズセキュア調査
IT関連
2023-03-18 00:57
日立、東京都の災害対応を支援する「高所カメラ被害情報収集システム」本格稼働
IT関連
2024-03-08 13:03
重力制御装置やロボットで中枢神経系疾患の完治を目指すスペース・バイオ・ラボラトリーズが約1億円調達
ヘルステック
2021-08-19 12:41
外国人特定技能人材のマッチングプラットフォームtokutyが3000万円のシード調達
IT関連
2022-01-19 06:44
OTシステムや重要インフラを標的としたサイバー攻撃が増加–TXOne Networks
IT関連
2023-04-02 10:52
KotlinのコードからWebAssemblyバイナリを生成可能、Kotlin/Wasmがアルファ版として提供開始
Java
2023-12-11 14:04
「SparkyLinux」–時代遅れのマシンを延命できる高速なLinuxディストロ
IT関連
2024-02-28 03:43
「サイロ化」解消がキーワードに、その課題とソリューションの行方
IT関連
2024-07-24 04:11
トランスコスモス、SAPのクラウドオファリング「RISE with SAP」を採用
IT関連
2022-12-13 18:44