Meta「Llama 3.1」のイノベーション–4050億パラメーターを誇る最新LLM

今回は「Meta「Llama 3.1」のイノベーション–4050億パラメーターを誇る最新LLM」についてご紹介します。

関連ワード (データマネジメント等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 Metaは米国時間7月23日、同社の大規模言語モデル(LLM)ファミリー「Llama」の最新版を発表した。同社によると、「Llama 3.1」は初のオープンソースの「フロンティアモデル」だという。この表現は一般的に、AIコードの模範となる極めて重要な存在に使われるものだ。

 Llama 3.1には複数のサイズがある。最大の「Llama 3.1 405B」は、ニューラルの「重み」、すなわちパラメーター数が4050億個で、これはNVIDIAの「Nemotron 4」やGoogleの「Gemma 2」、そして「Mixtral」といった著名なオープンソースモデルを上回るが、405Bで注目すべきはそのコンピューティングの規模だけではない。Metaのチームによる3つの選択という点においても重要だ。

 総合的に考えると、その3つの決断はニューラルネットワークエンジニアリングの偉業であり、Llama 3.1 405Bの構築と訓練の根幹を成している。これは、Metaが「Llama 2」で示した深層学習の総演算負荷の削減方法という進歩を補完するものだ。

 (「AIモデル」はAIプログラムの一部であり、これに含まれる多数のニューラルネットパラメーターとアクティベーション関数は、AIプログラムが機能する仕組みにおいて重要な役割を果たす)

 第1の選択として、Llama 3.1 405Bはいわゆる「混合専門家」を採用していない。混合専門家はGoogleが同社の最新クローズドソースモデル「Gemini 1.5」で、MistralがMixtralモデルで使用している。

 混合専門家モデルは、ニューラルの重みのさまざまな代替的組み合わせを作り出す。一部を無効にすることで、重みのサブセットを予測のために使用できるようになる。Metaの研究者らは、「標準的なデコーダーのみのトランスフォーマーモデルアーキテクチャー」を選択した。極めて広い範囲で使用されているこの構成要素は、2017年にGoogleの「Transformer」として最初に開発されたものだ。研究者らは、これによってモデルの訓練中の安定性が向上すると主張している。

 第2に、簡素なトランスフォーマーベースのモデルの結果を改善するために、モデルを段階的に訓練する独創的なアプローチを採用した、とMetaの研究者らは説明する。訓練データの量と使用される演算の量の両方を最適な方法で均衡させると、予測の精度を高められることがよく知られている。

 Llama 3.1の公式論文に記されているように、研究者らは既存の「スケーリング則」に注目した。この法則から、モデルのサイズと訓練データの量に応じて、どの程度正確な予測が生成されるかが分かる。一方で、標準化された推論テストなど、「ダウンストリーム」タスクを実行するモデルの能力については、このアプローチで正確に知ることはできない。

 そこでMetaは独自のスケーリング則を考案した。訓練データの量と演算の量の両方を徐々に増やして、複数の反復をチェックし、訓練済みとなったモデルのダウンストリームタスクの実行能力を確認した。

 「結果として得られた演算最適化モデルを使用して、ベンチマークデータセットでのフラッグシップLlama 3モデルのパフォーマンスを予測する」とMetaのチームは記している。

 これはMetaの最近の研究でみられるアプローチだ。次の単語の予測に関する生のスコアだけでなく、最終的な結果に向けてモデルを訓練する。

 重要なのは、連続するデータと演算の組み合わせの検証を繰り返していくプロセスが、スイートスポットとして選択された4050億のパラメーターへとつながることだ。「この観察結果に基づいて、最終的に4050億のパラメーターでフラッグシップモデルを訓練することに決めた」と研究者らは書いている。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
長い歴史を持つ自律走行車用レーダーの機能向上を目指すOculiiが60億円調達
モビリティ
2021-05-18 06:46
ランサムウェア「LockBit 2.0」、FBIが注意喚起–推奨されるリスク軽減策など提示
IT関連
2022-02-10 15:24
荏原製作所に聞く、グローバル経営への変革とIT戦略、コロナ禍の対応
IT関連
2021-04-07 03:50
運転席に誰も乗っていないテスラ車が事故を起こし後部座席と助手席の2名が死亡
モビリティ
2021-04-21 02:03
企業の75%が「ChatGPT」利用を禁止する方向–BlackBerry調査
IT関連
2023-08-17 18:44
東宝、クラウドERP「RISE with SAP」で経営管理基盤を刷新
IT関連
2024-07-28 13:19
ニトリ、法務業務プロセスを刷新–契約の作成からナレッジ化を行うシステムを導入
IT関連
2022-08-14 13:53
PagerDutyに聞く、クラウドストライク障害の影響を最小限にした舞台裏
IT関連
2024-08-30 18:41
今考えるべきAIの安全性–イノベーションを推進する規制の在り方とは
IT関連
2024-08-21 21:16
NTT東日本、ローカル5Gサービスを発表–最低料金は月額30万円台
IT関連
2022-03-03 09:16
「データの地産地消」を日本各地で実現していく取り組みを進める–ダイナトレック・佐伯代表
IT関連
2023-01-11 10:41
Uber Freightが事業を増強、物流管理ネットワークTransplaceを約2475億円で買収
その他
2021-07-24 20:41
FBIが新たに「ランサムウェアの爆発的増加」に対応する暗号資産犯罪ユニット立ち上げ
IT関連
2022-02-20 08:44
大手ECなどかたるフィッシングメール、1年で5倍に 被害に遭わないためには?
くわしく
2021-02-19 23:45