富士通、産学連携と「富岳」で学習した大規模言語モデル「Fugaku-LLM」を公開

今回は「富士通、産学連携と「富岳」で学習した大規模言語モデル「Fugaku-LLM」を公開」についてご紹介します。

関連ワード (ソフトウェア等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 富士通と東京工業大学、東北大学、名古屋大学、理化学研究所、サイバーエージェント、Kotoba Technologiesは5月10日、理化学研究所のスーパーコンピューターシステム「富岳」で学習した大規模言語モデル(LLM)「Fugaku-LLM」を公開した。日本語能力を強みとし、研究や商用で活用できるとしている。

 Fugaku-LLMは、国内で多く開発されているLLMの70億パラメーターよりも大きな130億パラメーターの高い性能でありながら、現在の計算機環境下で扱いやすいLLMだという。学習には、サイバーエージェントが収集した独自の日本語の学習データと英語のデータなどを用いており、透明性と安全性を確保しながら日本語性能にも優れているとする。日本語ベンチマークの「Japanese MT-Bench」で最高性能を達成し、特に人文社会系のタスクでは高いベンチマーク性能を発揮するという。「GitHub」や「Hugging Face」を通じて公開され、ライセンスに基づいた研究および商用利用を可能にしている。

 富岳で学習するに当たり、深層学習フレームワークの「Megatron-DeepSpeed」を富岳に移植して、「Transformer」の性能を富岳上で最適化しつつ、密行列積ライブラリーのTransformer向け高速化を実施して、演算速度を6倍に高めた。さらに、3種類の並列化を組み合わせた富岳向けの通信性能最適化と、「TofuインターコネクトD」上で集団通信を高速化したことにより、通信性能も3倍に高めたという。

 学習では1万3824台の計算ノードを使用し、約4000億トークンを学習している。学習データの約6割が日本語コンテンツとなっており、そのほかには英語や数学、コードを組み合わせて学習を行ったという。また、日本語対応LLMの多くが国外開発のオープンモデルをベースに日本語データを継続学習させているのに対し、Fugaku-LLMでは上述のように最初から日本語中心の独自データで学習しているため、学習の全学習工程を把握して透明性と安全性を担保しているとのこと。Japanese MT-BenchにおけるFugaku-LLMのスコアは平均5.5、人文社会系のタスクで9.18となっており、敬語など日本語の特徴を踏まえた自然な言語での対話ができることなどが期待されるとしている。

 Fugaku-LLMの開発における各組織の役割は以下の通り。

 富士通は、世界でLLMの学習にGPUが使われ、GPU不足が課題となっている中で、CPUを用いる国産の富岳を使ってFugaku-LLMを実現したことが、日本の半導体技術の活用や経済安全保障の観点からも重要な成果だと強調。今回の取り組みによる知見は、次世代計算基盤の設計にも活用し得るもので、AI分野での日本の優位性の確立に寄与するとした。

 同社は、「多くの研究者や技術者が基盤モデルの改善や新たな応用研究に参画し、効率的な学習方法や言語モデルが創出され、科学シミュレーションと生成AIの連携による科学研究サイクルの自動化のようにAI基盤モデルを科学研究に活用する『AI for Science』や、数千超のAIによるバーチャルコミュニティーの社会シミュレーションなど次世代の革新的な研究やビジネスの成果につながることが期待される」とコメントしている。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
米、五輪視聴伸び悩み 熱気欠く無観客 動画配信の台頭も背景に
IT関連
2021-08-05 13:47
NVIDIAにサイバー攻撃か–調査が継続中
IT関連
2022-03-01 02:40
約8割の雇用主がAI人材育成プログラムへの知識不足を実感–AWS、AIスキル意識調査
IT関連
2024-06-21 02:17
高速なPython互換言語の「Mojo」、そのままGPUで実行可能に。「MAX GPUs」発表。ModCon '23
Python
2023-12-06 22:28
2023年に有望なテクノロジー3選–ITプロフェッショナルにとっての「ABC」
IT関連
2023-01-03 00:10
Amazonに大打撃を与えるインドRelianceによるFutureの資産買収を同国証券取引所が承認
ネットサービス
2021-01-22 04:40
ツイッターによるロシア国営メディアRT(旧ロシア・トゥデイ)のEU限定ジオブロックは不安定なスタート
IT関連
2022-03-06 11:09
飲食店と卸売業者間の受発注サービス「クロスオーダー」を手がけるクロスマートが2.7億円を調達
フードテック
2021-02-23 18:26
ツイッターが新しいプライバシー機能のアイデアを公開、アカウントを検索から隠す方法も
ネットサービス
2021-07-08 18:29
レバテック、人材プラットフォームに「New Relic」採用–オブザーバビリティで生産性向上を目指す
IT関連
2024-06-09 10:32
パスワード流出を確認できる「Have I been Pwned」がオープンソース化へ–FBIと連携も
IT関連
2021-06-01 03:07
M3搭載「MacBook Air」レビュー–AIタスクの性能が向上した軽量ノートブック
IT関連
2024-03-31 21:35
小学館、ライブ配信事業などを行うCandeeを100%子会社化–デジタル領域の強化図る
IT関連
2023-08-23 09:05
準天頂起動衛星みちびき利用、車椅子ユーザー向け介助システム「B-SOS」と視覚障害者向け歩行ナビ「あしらせ」実証実験
IT関連
2022-02-16 09:53