NTT、独自LLM「tsuzumi」を商用化–図表や視覚読解でAI活用の拡大に期待

今回は「NTT、独自LLM「tsuzumi」を商用化–図表や視覚読解でAI活用の拡大に期待」についてご紹介します。

関連ワード （ソフトウェア等） についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。

　NTTは11月1日、NTT版の大規模言語モデル（LLM）「tsuzumi」の商用開始に向け、報道機関に対して説明会を開いた。tsuzumiは、NTTグループ発の商用サービスとして2024年3月に提供を開始するという。

　説明会に登壇した代表取締役社長の島田明氏は、tsuzumiについて「当社の40年以上の自然言語処理（NLP）技術研究のノウハウを結集した」と、満を持してのデビューだと明かした。

　tsuzumiは「軽量」「言語性能が高い」「柔軟なカスタマイズ」「マルチモーダル」――の特徴を持つ。執行役員 研究企画部門長の木下真吾氏は、昨今LLMの大規模化により、学習に要するエネルギーやチューニングにかかるコストが膨大であることから、サステナビリティーの問題および企業が学習環境を準備するための経済的な負担があると指摘。

　また島田氏も「当社としてサステナビリティーを追求していく必要があると思っている。『IOWN APN』を利用していかに電力消費を落としていくのか、といった社会的な課題を解決することが重要だと感じている。tsuzumiは、まさにその社会課題を解決していくような位置づけで提供したい」と述べた。

　このような課題を踏まえて、tsuzumiは「専門知識を持った小さなLLM」を目指し、「言語学習データの質と量を向上させる」アプローチをとるという。そのため、今回は超軽量の「超小型版 tsuzumi」と軽量の「小型版 tsuzumi」の2種類を開発した。パラメーターサイズはそれぞれ6億（0.6B）と70億（7B）で、米OpenAIの「GPT-3」の1750億パラメーターに比べ、超小型版では約300分の1、小型版では25分の1に軽量した。なお、「中型版tsuzumi」は2024年4月以降の提供を予定している。

　またGPUクラウドの利用料金に換算すると、GPT-3規模のLLMと比べて、学習コストは超小型版で約300分の1、小型版で約25分の1。推論コストに関しては超小型版で約70分の1、小型版で約20分の1に低減できるとしている。

　言語性能の高さでは、NTTは40年以上の自然言語処理（NLU）研究により、特に日本語が得意なLLMを開発した。生成AI向けのベンチマークである「Rakuda」では、「GPT-3.5」や国産トップのLLM群を上回るという。他方、英語でも世界トップクラスと同程度の性能を実現し、多言語にも今後対応していくとしている。

　柔軟なカスタマイズの観点では、「プロンプトエンジニアリング」「フルファインチューニング」「アダプタチューニング」――の3つのチューニング方法を提供し、精度やコストなど要件の違いに柔軟に応える。

　プロンプトエンジニアリングは、入力文書に業界／組織情報を付加することでカスタマイズする。フルファインチューニングでは、基盤モデルに業界／組織のデータを学習させることで、パラメーターを全体的に変える。この方法は精度が高い分、コストがかかってしまうという。一方、アダプタチューニングでは、基盤モデルはそのままに業界／組織データを追加することで、精度とコストを両立しながら業界や組織ごとのカスタマイズができる。

　さらに今回は、基盤モデルを複数のアダプターで共有し、利用ユーザーやシーンに応じてアダプターを切り替えられるマルチアダプターを搭載。複数のアダプターを使うことで、柔軟にカスタマイズできるだけでなく、基盤モデルを一つで集約できるため、コストメリットが高くなるという。

　マルチモーダルでは、tsuzumiに言語だけでなく視覚情報を追加した。言語による質問だけでなく、文書画像を提示しながらの質問ができるという。これにより、請求書や仕様書など、画像付き文書を用いる業務やRPA業務にも適用できるとしている。

　ほかにも、聴覚情報を追加することで、例えば電話相談を受ける際に質問者の声のトーンで様子をうかがい、それに踏まえた感情のある優しい声で回答することができる。また、ユーザー状況を理解するアダプターを追加することで、質問者の状況を踏まえた回答ができるという。例えば「近くの駐車場はどこ？」といった質問をした際に、自動車のGPS情報から場所を特定し、近くの駐車場の状況や時間帯によって臨機応変な回答をする。