MS、小規模言語モデル「Phi-2」をリリース–最大25倍サイズのモデルの性能に匹敵

今回は「MS、小規模言語モデル「Phi-2」をリリース–最大25倍サイズのモデルの性能に匹敵」についてご紹介します。

関連ワード (ビッグデータ等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 生成人工知能(AI)との関連で言語モデルを考えるとき、真っ先に思い浮かぶのは大規模言語モデル(LLM)だろう。「ChatGPT」「Bard」「Copilot」など、人気のチャットボットを支えているのは、こうしたLLMにほかならない。しかし、Microsoftの新しい言語モデルは、小規模言語モデル(SLM)も生成AIの分野で大きな可能性を秘めていることを示している。

 同社は米国時間12月12日、常識的な推論と言語理解が可能なSLMの「Phi-2」を発表した。現在、「Azure AI Studio」のモデルカタログで利用可能となっている。

 「小規模」という言葉に惑わされてはいけない。Phi-2は27億個のパラメーターを持ち、その数は「Phi-1.5」の13億個から飛躍的に増加している。

 同社によると、Phi-2はパラメーターが130億個以下の言語モデルの中で「最先端の性能」を発揮し、複雑なベンチマークでは最大25倍の言語モデルを上回ったという。

 下図が示すように、Phi-2は、Metaの「Llama-2」やMistral AIの「Mistral」に加え、Googleが提供する高性能LLMの最小バージョンである「Gemini Nano 2」さえも、いくつかのベンチマークで凌駕した。

 MicrosoftはPhiの開発において、より大規模な言語モデルに匹敵する性能と新たな機能を持つSLMを目指しており、この性能結果はその目標と一致している。

 同社はPhi-2のトレーニングにあたり、データを厳選し、まず「教科書品質」のデータを用いたという。その後、学習するに値するかどうかとコンテンツの品質をもとに精選したウェブデータを追加し、言語モデルのデータベースを増強した。

 同社がSLMに注力しているのはなぜだろう。それは、LLMに対するコスト効率の優れた代替となるからだ。SLMはLLMほどのパワーを必要としないタスクで役立つ。LLMよりはるかに少ない計算能力で実行できるため、データの処理要件を満たすために高額なGPUへ投資する必要がなくなる。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
経営管理クラウド「Loglass 経営管理」、「カスタムデータ取込機能」提供
IT関連
2024-02-22 07:05
今週の記事ランキング(2021.8.1〜8.5)
IT関連
2021-08-07 10:52
Stack Overflowが世界6万人以上のITエンジニアにアンケート。最も使われている言語はJavaScript、データベースはPostgreSQLが1位に定着。Stack Overflow 2024 Developer Survey
.NET
2024-07-26 08:44
TikTokがQ&A機能をテスト中、ファンからの質問にクリエイターはテキストと動画で効果的な回答が可能に
ネットサービス
2021-01-22 00:31
富士フイルムホールディングスが実行中の3つのDX
IT関連
2022-07-09 02:07
Google Cloud、クラウドで開発環境を提供する「Cloud Workstations」正式リリース。ゼロトラストのBeyondCorpとの統合など新機能
Google
2023-05-17 12:03
AIで試合のハイライト動画を自動生成 NTTドコモが3人制バスケリーグ参加チームに提供
DX
2021-05-25 13:22
マイクロソフト、欧州で懸念されていたクラウドライセンシングのルールを緩和へ
IT関連
2022-05-21 18:17
最新のITインフラに自信がある企業は2割強–IDC調査
IT関連
2021-03-23 20:34
「ChromeOS」の深刻な脆弱性、マイクロソフトが発見の経緯を発表
IT関連
2022-08-25 11:47
富士通製ツールへの不正アクセスで複数省庁や企業の情報が流出 国交省職員のメールアドレス7.6万件も確認
セキュリティ
2021-05-28 10:27
Salesforceのプレジデント兼CPOにVlocityの元CEOデビッド・シューマイヤー氏が昇格
ソフトウェア
2021-02-03 14:05
VRでドローン操縦を学べるコース、ドローンスクールが提供 「地理的制約の解消に」
企業・業界動向
2021-06-30 14:31
住友大阪セメント、会計システムの基盤構築に「RISE with SAP」を採用
IT関連
2022-03-19 22:38