PKSHA、「RetNet」活用したLLMを開発–従来モデルの3倍の速度で回答生成

今回は「PKSHA、「RetNet」活用したLLMを開発–従来モデルの3倍の速度で回答生成」についてご紹介します。

関連ワード （ビッグデータ等） についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。

　人工知能（AI）を活用したソリューションやSaaSを提供するPKSHA Technologyは3月28日、日本マイクロソフトの技術支援を受けながら、新たな大規模言語モデル（LLM）を開発すると発表した。今回のLLM開発を通じ、ビジネスにおける生成AIの実用性を高め、コンタクトセンターや社内ヘルプデスクでの生産性向上を支援する。

　PKSHAは、日本マイクロソフトから学習用インフラの提供と技術支援を受け、「Retentive Network（RetNet）」を活用する日英モデル「PKSHA RetNet」を開発。RetNetは、Microsoftの研究開発機関であるMicrosoft Researchによって開発され、現在主流となっている「Transformer」の後継モデルと目されている。学習速度や長文入力時の推論速度、メモリー効率が優れており、従来と同等以上の精度を持つことが示されている。

　PKSHA RetNetのパラメーター数は70億で、コンタクトセンターなどでの実装を視野に入れている。同モデルを活用することで、日本語の新聞紙2ページの情報量を入力した際に、精度を保ちながら従来モデルの約3.3倍の速度で出力することが可能となるとしている。モデルの開発にはMicrosoft Corporationによって研究開発された深層学習フレームワーク「DeepSpeed」を採用し、高い並列分散処理能力を発揮するためのLLM学習ノウハウと「Microsoft Azure」上のGPUサーバー群が日本マイクロソフトから提供されている。

　PKSHAは2012年の創業当初から自然言語処理（NLP）の研究開発に注力し、コミュニケーション領域を中心にAIの社会実装を行ってきた。コンタクトセンターや社内ヘルプデスク領域を中心に6000件以上のAI活用の実績を持ち、その領域のさらなる高度化を実現するために同モデルの活用を進めていく。

　具体的な使用例としては、コンタクトセンターでのリアルタイムの顧客関係管理（CRM）の実現や、社内ヘルプデスクでの従業員問い合せの高度化などが挙げられる。これらの実装により、企業の効率化とサービス品質の向上が見込まれる。

　PKSHAは、さらなる検証と改善を行い、2024年4月ごろから段階的にビジネス現場での実運用を開始する予定だ。最初の対象領域としては、既にAIの導入実績があるコンタクトセンターや社内ヘルプデスクを想定し、領域や活用ケースを広げていくとしている。