MS、小規模言語モデル「Phi-2」をリリース–最大25倍サイズのモデルの性能に匹敵

今回は「MS、小規模言語モデル「Phi-2」をリリース–最大25倍サイズのモデルの性能に匹敵」についてご紹介します。

関連ワード (ビッグデータ等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 生成人工知能(AI)との関連で言語モデルを考えるとき、真っ先に思い浮かぶのは大規模言語モデル(LLM)だろう。「ChatGPT」「Bard」「Copilot」など、人気のチャットボットを支えているのは、こうしたLLMにほかならない。しかし、Microsoftの新しい言語モデルは、小規模言語モデル(SLM)も生成AIの分野で大きな可能性を秘めていることを示している。

 同社は米国時間12月12日、常識的な推論と言語理解が可能なSLMの「Phi-2」を発表した。現在、「Azure AI Studio」のモデルカタログで利用可能となっている。

 「小規模」という言葉に惑わされてはいけない。Phi-2は27億個のパラメーターを持ち、その数は「Phi-1.5」の13億個から飛躍的に増加している。

 同社によると、Phi-2はパラメーターが130億個以下の言語モデルの中で「最先端の性能」を発揮し、複雑なベンチマークでは最大25倍の言語モデルを上回ったという。

 下図が示すように、Phi-2は、Metaの「Llama-2」やMistral AIの「Mistral」に加え、Googleが提供する高性能LLMの最小バージョンである「Gemini Nano 2」さえも、いくつかのベンチマークで凌駕した。

 MicrosoftはPhiの開発において、より大規模な言語モデルに匹敵する性能と新たな機能を持つSLMを目指しており、この性能結果はその目標と一致している。

 同社はPhi-2のトレーニングにあたり、データを厳選し、まず「教科書品質」のデータを用いたという。その後、学習するに値するかどうかとコンテンツの品質をもとに精選したウェブデータを追加し、言語モデルのデータベースを増強した。

 同社がSLMに注力しているのはなぜだろう。それは、LLMに対するコスト効率の優れた代替となるからだ。SLMはLLMほどのパワーを必要としないタスクで役立つ。LLMよりはるかに少ない計算能力で実行できるため、データの処理要件を満たすために高額なGPUへ投資する必要がなくなる。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
LEGO、プライド月間に7色+αの「みんなサイコー!!」セットを発売へ
くらテク
2021-05-22 08:01
学習済みAI、演算量小さい機器に応用 高精度な「スケーラブルAI」技術 東芝と理研が開発
ロボット・AI
2021-08-21 03:39
YDC、売場案内サービス「PlaceFinder for Retail」を改良–導入・管理の負荷軽減
IT関連
2022-07-10 01:06
Oculus創業者が起ち上げたAI防衛企業Andurilの評価額が約5000億円超に
ドローン
2021-06-20 17:53
なりふり構わぬ転職先への「手土産」……5G情報流出事件、他業種でも高まる懸念
IT関連
2021-01-30 10:39
「Clop」ランサムウェアの「Linux」亜種が発見–まだ実験段階か
IT関連
2023-02-09 01:39
IBMから分社化したキンドリル、AWSと戦略的契約–クラウド導入を加速へ
IT関連
2022-02-26 12:53
BlackBerry、次世代AIエンジン「Cylance AI」を大幅強化–OT環境の保護に有効とアピール
IT関連
2023-09-07 12:06
マイクロソフトとSAPの提携強化がもたらす新たな市場競争とは
IT関連
2021-01-28 03:06
技術的負債に苦慮–日本企業のITモダナイゼーションの5つの傾向:PwC調査
IT関連
2022-11-11 23:29
NEC、多数のカメラ映像をリアルタイム・高精度に分析する技術–デジタルツインの実現見据え
IT関連
2023-03-04 14:42
別の世界のエイリアンと、別の名前のエイリアス トランプのエイリアン好きをバイデン大統領が正す? :IT基礎英語
トップニュース
2021-02-23 01:34
スーパーマーケットのライフと日本ユニシス、AI需要予測自動発注システムを開発
IT関連
2021-01-20 03:16
2022年はハイブリッドデータクラウドを促進–Cloudera・大澤社長
IT関連
2022-01-19 12:09