MS、小規模言語モデル「Phi-2」をリリース–最大25倍サイズのモデルの性能に匹敵

今回は「MS、小規模言語モデル「Phi-2」をリリース–最大25倍サイズのモデルの性能に匹敵」についてご紹介します。

関連ワード (ビッグデータ等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 生成人工知能(AI)との関連で言語モデルを考えるとき、真っ先に思い浮かぶのは大規模言語モデル(LLM)だろう。「ChatGPT」「Bard」「Copilot」など、人気のチャットボットを支えているのは、こうしたLLMにほかならない。しかし、Microsoftの新しい言語モデルは、小規模言語モデル(SLM)も生成AIの分野で大きな可能性を秘めていることを示している。

 同社は米国時間12月12日、常識的な推論と言語理解が可能なSLMの「Phi-2」を発表した。現在、「Azure AI Studio」のモデルカタログで利用可能となっている。

 「小規模」という言葉に惑わされてはいけない。Phi-2は27億個のパラメーターを持ち、その数は「Phi-1.5」の13億個から飛躍的に増加している。

 同社によると、Phi-2はパラメーターが130億個以下の言語モデルの中で「最先端の性能」を発揮し、複雑なベンチマークでは最大25倍の言語モデルを上回ったという。

 下図が示すように、Phi-2は、Metaの「Llama-2」やMistral AIの「Mistral」に加え、Googleが提供する高性能LLMの最小バージョンである「Gemini Nano 2」さえも、いくつかのベンチマークで凌駕した。

 MicrosoftはPhiの開発において、より大規模な言語モデルに匹敵する性能と新たな機能を持つSLMを目指しており、この性能結果はその目標と一致している。

 同社はPhi-2のトレーニングにあたり、データを厳選し、まず「教科書品質」のデータを用いたという。その後、学習するに値するかどうかとコンテンツの品質をもとに精選したウェブデータを追加し、言語モデルのデータベースを増強した。

 同社がSLMに注力しているのはなぜだろう。それは、LLMに対するコスト効率の優れた代替となるからだ。SLMはLLMほどのパワーを必要としないタスクで役立つ。LLMよりはるかに少ない計算能力で実行できるため、データの処理要件を満たすために高額なGPUへ投資する必要がなくなる。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
AIコミュニケーションツールの活用戦略
IT関連
2024-10-16 16:15
「景気敏感バリュー株」買い増し好機と判断する理由–2021年はオールド産業復活?
IT関連
2021-04-19 17:03
サムスン、2027年までに1.4nmチップの量産を開始へ
IT関連
2022-10-06 16:55
マイクロソフト、Dev Box上の開発環境をコードで構成する「Config-as-code Dev Box Customizations」プライベートプレビュー開始
Microsoft
2023-11-24 11:57
NTTデータら3社、共同利用型の組込型金融基盤を提供–地域DXの推進に寄与
IT関連
2023-06-16 07:17
Otter.ai、会議に「参加」して議論をサポートするAIチャット機能を追加
IT関連
2023-06-23 10:26
企業の成長戦略とテクノロジースタックを整合させるには
IT関連
2023-01-14 05:00
ITやDXへの投資意欲が高まる卸売・小売業界の動き
IT関連
2022-11-30 20:48
MS、中国ハッカー集団によるメール不正アクセスを公表–政府機関も標的
IT関連
2023-07-14 12:05
映画「閃光のハサウェイ」3度目の延期 公開日は未定に
くらテク
2021-05-18 03:20
カラーがシステムエンジニアを募集 「3DCGツールの知識あれば歓迎」
キャリア・しごと
2021-07-06 00:21
中国ネット企業でLLMの開発競争が激化–その裏には学生使い捨ての現実
IT関連
2023-09-23 23:38
米上院議員が「データ保護局」新設を提案、米国人のデータを取り戻せ
パブリック / ダイバーシティ
2021-06-19 20:13
NEC、採用活動の強化に「talentbook」活用–企業の魅力を定期的に発信
IT関連
2024-02-04 03:10