スパコン「富岳」で大規模言語モデルの分散並列学習手法を研究開発

今回は「スパコン「富岳」で大規模言語モデルの分散並列学習手法を研究開発」についてご紹介します。

関連ワード (ビッグデータ等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 東京工業大学、東北大学、富士通、理化学研究所は5月22日、スーパーコンピューター「富岳」の政策対応枠を活用して、大規模言語モデル(LLM)の分散並列学習手法の研究開発を開始すると発表した。実施期間は2023年5月24日から2024年3月31日まで。

 LLMは対話型AI「ChatGPT」をはじめとする生成AIの中核として使用されている深層学習のAIモデル。発表では、「インターネットやスマートフォンのように社会全体の在り方を変える革新的な技術」とし、政府が目指す「Society5.0」の研究開発、経済社会、安全保障などを支える基盤技術として期待されているという。その一方で、基盤モデルの性能を高めるためには大量データを効率的に処理する高性能計算資源が不可欠となっている。

 今回開発する大規模言語モデル分散並列学習手法は、富岳の超大規模な並列計算環境においてLLMの学習を効率良く実行する技術となる。各機関・企業の役割は次の通り。

 今後は、日本の研究者やエンジニアがLLMの開発に活用できるように、今回の研究成果を2024年度に「GitHub」や「Hugging Face」で公開する予定。多くの研究者や技術者が基盤モデルの改善や新たな応用研究に参画することで、効率的な方法が創出され、次世代の革新的な研究やビジネスの成果につながることを期待している。

 また、ものづくりをはじめとする産業分野などへの応用を想定したマルチモーダル化のためのデータ生成手法と学習手法を開発する名古屋大学や、LLM構築のためのデータと技術を提供するサイバーエージェントとの連携も検討していくとしている。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
炭素排出量・ESG管理のB2BプラットフォームのドイツPlan Aが約3.3億円調達
EnviroTech
2021-03-12 16:32
山形県がデータ起点の社会変革プロジェクトを開始–地域課題の解決を先取り
IT関連
2022-06-02 11:08
「ソーシャルイノベーション企業」を目指すNTT東日本社長の熱い思いとは
IT関連
2023-02-11 07:21
コーンテックがAIカメラで養豚の体重・体格・肉質を計測する実証実験を開始
フードテック
2021-06-09 06:01
アップルがゲームサブスク「Apple Arcade」にクラシックゲームを追加
ゲーム / eSports
2021-04-04 03:41
フィンテックRobinhoodの株価が初日の取引で8%下落
フィンテック
2021-07-31 08:56
レノボら4社が提言する「未来の働き方」–日本が5年後に抱える課題とは
IT関連
2022-04-10 14:05
「iOS 16」の便利な機能5選
IT関連
2022-10-23 13:31
バイデン政権、半導体不足への対策検討へ
IT関連
2021-02-15 17:52
汎用原子レベルシミュレータ「Matlantis」がクラウドサービスで登場。原子スケールで材料の挙動を再現、深層学習モデルで計算を数万倍に高速化。Preferred Networksの関連会社「PFCC」から
クラウド
2021-07-07 04:33
2023年に有望なテクノロジー3選–ITプロフェッショナルにとっての「ABC」
IT関連
2023-01-03 00:10
セキュリティの防御とDXが両立しているのは金融や情報通信–CSC調査
IT関連
2022-10-02 20:31
ハイブリッドワークやデジタル活用に注力–日本HPの2023年事業戦略
IT関連
2023-01-21 18:23
地球温暖化がいよいよ「赤信号」、国連IPCCが報告書で警告
EnviroTech
2021-08-11 04:54