MS、小規模言語モデル「Phi-2」をリリース–最大25倍サイズのモデルの性能に匹敵

今回は「MS、小規模言語モデル「Phi-2」をリリース–最大25倍サイズのモデルの性能に匹敵」についてご紹介します。

関連ワード (ビッグデータ等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 生成人工知能(AI)との関連で言語モデルを考えるとき、真っ先に思い浮かぶのは大規模言語モデル(LLM)だろう。「ChatGPT」「Bard」「Copilot」など、人気のチャットボットを支えているのは、こうしたLLMにほかならない。しかし、Microsoftの新しい言語モデルは、小規模言語モデル(SLM)も生成AIの分野で大きな可能性を秘めていることを示している。

 同社は米国時間12月12日、常識的な推論と言語理解が可能なSLMの「Phi-2」を発表した。現在、「Azure AI Studio」のモデルカタログで利用可能となっている。

 「小規模」という言葉に惑わされてはいけない。Phi-2は27億個のパラメーターを持ち、その数は「Phi-1.5」の13億個から飛躍的に増加している。

 同社によると、Phi-2はパラメーターが130億個以下の言語モデルの中で「最先端の性能」を発揮し、複雑なベンチマークでは最大25倍の言語モデルを上回ったという。

 下図が示すように、Phi-2は、Metaの「Llama-2」やMistral AIの「Mistral」に加え、Googleが提供する高性能LLMの最小バージョンである「Gemini Nano 2」さえも、いくつかのベンチマークで凌駕した。

 MicrosoftはPhiの開発において、より大規模な言語モデルに匹敵する性能と新たな機能を持つSLMを目指しており、この性能結果はその目標と一致している。

 同社はPhi-2のトレーニングにあたり、データを厳選し、まず「教科書品質」のデータを用いたという。その後、学習するに値するかどうかとコンテンツの品質をもとに精選したウェブデータを追加し、言語モデルのデータベースを増強した。

 同社がSLMに注力しているのはなぜだろう。それは、LLMに対するコスト効率の優れた代替となるからだ。SLMはLLMほどのパワーを必要としないタスクで役立つ。LLMよりはるかに少ない計算能力で実行できるため、データの処理要件を満たすために高額なGPUへ投資する必要がなくなる。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
ソフトバンクが中国の産業用自律型モバイルロボットYouibotの16.9億円のラウンドをリード
ロボティクス
2021-05-08 03:42
独立型GPU「Arc」を開発するインテルの狙い
IT関連
2022-04-02 23:15
バンク・オブ・アメリカがのVR教育を4000の銀行に導入
VR / AR / MR
2021-03-05 23:23
ロシアのハッカー、CentreonのIT監視システム狙った攻撃に関与か–フランス当局
IT関連
2021-02-16 13:55
山九東南アジアHD、言語の壁を越えたマニュアルで業務の標準化へ
IT関連
2022-05-03 16:37
2021~2022年末年始にEC市場で暗躍したボット–日米での動き
IT関連
2022-02-18 11:49
ここまでできる日本語ディクテーション 「句読点自動認識」に「会話文書き起こし」、Microsoftの2つの「日本語認識」を試す (1/3 ページ)
くわしく
2021-04-09 21:45
Hakuhodo DY ONE、「Notion」で3000人規模の情報活用と業務効率化を推進
IT関連
2024-09-21 21:08
Sansan、NECネッツエスアイと共同で自治体向けに営業DXサービスを提供開始
IT関連
2023-02-09 14:54
三菱電機、教師データ作成不要の「行動分析AI」を開発
IT関連
2024-01-27 06:53
NEC、約150テーマで職場受入型インターンシップを募集–「cotomi」体験など拡充
IT関連
2024-06-05 13:46
デロイト「Tech Trends」から読み解く、2024年に生成AIが企業に与える影響
IT関連
2023-12-21 11:23
契約審査「LegalForce」、自動レビュー機能が就業規則に対応–条項の抜け漏れなどを防止
IT関連
2022-12-18 17:35
川田工業、多言語対訳支援サービスを外国人作業員の安全講習などに活用
IT関連
2023-11-30 02:08