Meta「Llama 3.1」のイノベーション–4050億パラメーターを誇る最新LLM

今回は「Meta「Llama 3.1」のイノベーション–4050億パラメーターを誇る最新LLM」についてご紹介します。

関連ワード (データマネジメント等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 Metaは米国時間7月23日、同社の大規模言語モデル(LLM)ファミリー「Llama」の最新版を発表した。同社によると、「Llama 3.1」は初のオープンソースの「フロンティアモデル」だという。この表現は一般的に、AIコードの模範となる極めて重要な存在に使われるものだ。

 Llama 3.1には複数のサイズがある。最大の「Llama 3.1 405B」は、ニューラルの「重み」、すなわちパラメーター数が4050億個で、これはNVIDIAの「Nemotron 4」やGoogleの「Gemma 2」、そして「Mixtral」といった著名なオープンソースモデルを上回るが、405Bで注目すべきはそのコンピューティングの規模だけではない。Metaのチームによる3つの選択という点においても重要だ。

 総合的に考えると、その3つの決断はニューラルネットワークエンジニアリングの偉業であり、Llama 3.1 405Bの構築と訓練の根幹を成している。これは、Metaが「Llama 2」で示した深層学習の総演算負荷の削減方法という進歩を補完するものだ。

 (「AIモデル」はAIプログラムの一部であり、これに含まれる多数のニューラルネットパラメーターとアクティベーション関数は、AIプログラムが機能する仕組みにおいて重要な役割を果たす)

 第1の選択として、Llama 3.1 405Bはいわゆる「混合専門家」を採用していない。混合専門家はGoogleが同社の最新クローズドソースモデル「Gemini 1.5」で、MistralがMixtralモデルで使用している。

 混合専門家モデルは、ニューラルの重みのさまざまな代替的組み合わせを作り出す。一部を無効にすることで、重みのサブセットを予測のために使用できるようになる。Metaの研究者らは、「標準的なデコーダーのみのトランスフォーマーモデルアーキテクチャー」を選択した。極めて広い範囲で使用されているこの構成要素は、2017年にGoogleの「Transformer」として最初に開発されたものだ。研究者らは、これによってモデルの訓練中の安定性が向上すると主張している。

 第2に、簡素なトランスフォーマーベースのモデルの結果を改善するために、モデルを段階的に訓練する独創的なアプローチを採用した、とMetaの研究者らは説明する。訓練データの量と使用される演算の量の両方を最適な方法で均衡させると、予測の精度を高められることがよく知られている。

 Llama 3.1の公式論文に記されているように、研究者らは既存の「スケーリング則」に注目した。この法則から、モデルのサイズと訓練データの量に応じて、どの程度正確な予測が生成されるかが分かる。一方で、標準化された推論テストなど、「ダウンストリーム」タスクを実行するモデルの能力については、このアプローチで正確に知ることはできない。

 そこでMetaは独自のスケーリング則を考案した。訓練データの量と演算の量の両方を徐々に増やして、複数の反復をチェックし、訓練済みとなったモデルのダウンストリームタスクの実行能力を確認した。

 「結果として得られた演算最適化モデルを使用して、ベンチマークデータセットでのフラッグシップLlama 3モデルのパフォーマンスを予測する」とMetaのチームは記している。

 これはMetaの最近の研究でみられるアプローチだ。次の単語の予測に関する生のスコアだけでなく、最終的な結果に向けてモデルを訓練する。

 重要なのは、連続するデータと演算の組み合わせの検証を繰り返していくプロセスが、スイートスポットとして選択された4050億のパラメーターへとつながることだ。「この観察結果に基づいて、最終的に4050億のパラメーターでフラッグシップモデルを訓練することに決めた」と研究者らは書いている。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
苦手なスピーチの練習、AIで楽しく–アップルやグーグルの出身者が作った「yoodli」とは
IT関連
2022-05-07 07:42
Alphabetの技術を受け継ぐAalyria、空と宇宙の高速インターネットを提供へ
IT関連
2022-09-15 06:07
中国系スマホが日本市場に攻勢 Xiaomiが3万円端末 一方で政治リスクも
IT関連
2021-08-05 14:47
依然として続く「Log4Shell」悪用–日米などのエネルギー企業が標的に
IT関連
2022-09-13 02:20
増えるフィッシング攻撃、その被害は高額に–バラクーダ調査
IT関連
2023-02-14 11:34
中国のハードウェアメーカーたちが世界進出のためにクラウドファンディングを活用
ハードウェア
2021-04-11 07:46
阪神調剤グループ、ゼブラの指輪型スキャナーなど採用–ピッキング作業を効率化
IT関連
2022-04-16 00:51
GitLab、「GitLab Duo Enterprise」を一般提供–エンドツーエンドのAIアドオン
IT関連
2024-08-29 07:23
LIXILトータルサービス、業務デジタル化クラウドを2500人規模で導入
IT関連
2023-02-01 01:54
NFTカードゲームとウォレットのHorizon Blockchain Gamesはブロックチェーンの大衆化を目指す
ブロックチェーン
2021-08-01 16:11
LINE、ユーザー情報移転先の国名を明記 韓国やベトナムで開発運用
セキュリティ
2021-04-02 21:16
フォードと韓国SK Innovationが米国でのEVバッテリー量産に向け合弁会社BlueOvalSKを発表
モビリティ
2021-05-22 02:19
ウィザス、70拠点以上の学習塾に「すらら」導入–家庭学習の定着に寄与
IT関連
2025-02-12 06:15
Linuxを再起動することなくカーネルにパッチを当てる「ライブパッチ」の技術的な仕組みと、その種類とは[PR]
Linux
2023-08-30 05:36