MS、小規模言語モデル「Phi-2」をリリース–最大25倍サイズのモデルの性能に匹敵

今回は「MS、小規模言語モデル「Phi-2」をリリース–最大25倍サイズのモデルの性能に匹敵」についてご紹介します。

関連ワード (ビッグデータ等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 生成人工知能(AI)との関連で言語モデルを考えるとき、真っ先に思い浮かぶのは大規模言語モデル(LLM)だろう。「ChatGPT」「Bard」「Copilot」など、人気のチャットボットを支えているのは、こうしたLLMにほかならない。しかし、Microsoftの新しい言語モデルは、小規模言語モデル(SLM)も生成AIの分野で大きな可能性を秘めていることを示している。

 同社は米国時間12月12日、常識的な推論と言語理解が可能なSLMの「Phi-2」を発表した。現在、「Azure AI Studio」のモデルカタログで利用可能となっている。

 「小規模」という言葉に惑わされてはいけない。Phi-2は27億個のパラメーターを持ち、その数は「Phi-1.5」の13億個から飛躍的に増加している。

 同社によると、Phi-2はパラメーターが130億個以下の言語モデルの中で「最先端の性能」を発揮し、複雑なベンチマークでは最大25倍の言語モデルを上回ったという。

 下図が示すように、Phi-2は、Metaの「Llama-2」やMistral AIの「Mistral」に加え、Googleが提供する高性能LLMの最小バージョンである「Gemini Nano 2」さえも、いくつかのベンチマークで凌駕した。

 MicrosoftはPhiの開発において、より大規模な言語モデルに匹敵する性能と新たな機能を持つSLMを目指しており、この性能結果はその目標と一致している。

 同社はPhi-2のトレーニングにあたり、データを厳選し、まず「教科書品質」のデータを用いたという。その後、学習するに値するかどうかとコンテンツの品質をもとに精選したウェブデータを追加し、言語モデルのデータベースを増強した。

 同社がSLMに注力しているのはなぜだろう。それは、LLMに対するコスト効率の優れた代替となるからだ。SLMはLLMほどのパワーを必要としないタスクで役立つ。LLMよりはるかに少ない計算能力で実行できるため、データの処理要件を満たすために高額なGPUへ投資する必要がなくなる。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
変異株で「換気」はより重要に ダイキンが“緩み”を指摘
くらテク
2021-06-25 08:54
DX人材育成の課題–解決の方向性は「自律的な学び」
IT関連
2024-09-25 10:30
ハッカーに狙われる重要インフラ–被害が起きる前にセキュリティ強化を
IT関連
2022-08-31 22:20
W3C、中央集権的な管理を不要にする「Decentralized Identifiers (DIDs)」(分散型識別子)の仕様が勧告に到達
W3C
2022-07-21 06:52
Cloudflare、Amazon S3互換のオブジェクトストレージ「Cloudflare R2」のオープンベータを開始。10GB以下ならずっと無料
Cloudflare
2022-05-12 11:00
セールスフォース、非営利団体向けクラウドサービスなど開始
IT関連
2021-06-08 07:45
マイクロソフトとNECの協業拡大は何が新しいのか、どんな意味があるのか
IT関連
2021-07-15 20:49
2025年のデータ活用とAIに関するトレンド予測–Amplitudeが発表
IT関連
2024-12-29 10:41
LinkedInがクリエイターモード、動画プロフィール機能、MSとの提携による新しいキャリアトレーニングツールを導入
ネットサービス
2021-04-13 03:33
ジュニパーネットワークス、HPEによる買収合意を正式発表、約2兆円で
HPE
2024-01-11 17:03
第2回:製造業に欠かせない「セキュリティ・バイ・デザイン」のポイント
IT関連
2025-01-11 09:19
WordPressのコア開発チーム、WordPressをWebブラウザで実行する「Client-side WebAssembly WordPress」を開発中
PHP
2022-09-27 01:41
北陸大学、「Tableau」を導入–学生のデータリテラシー定着を支援
IT関連
2022-06-05 13:14
2024年のサイバーセキュリティ予測–AI、クラウド、CISOの変化など
IT関連
2024-01-06 16:18