[速報]AWS、大規模言語モデルのトレーニングに最適化した独自プロセッサ「AWS Trainium2」発表。前モデルより最大4倍のトレーニング性能。AWS re:Invent 2023

今回は「[速報]AWS、大規模言語モデルのトレーニングに最適化した独自プロセッサ「AWS Trainium2」発表。前モデルより最大4倍のトレーニング性能。AWS re:Invent 2023」についてご紹介します。

関連ワード (正式、第一世代、高効率等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、Publickey様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


Amazon Web Services(AWS)は、ラスベガスで開催中のイベント「AWS re:Invent 2023」の基調講演で、AIのトレーニングに最適化した独自プロセッサ「AWS Trainium2」を発表しました。

fig

Trainium2は、最大数兆個のパラメータを持つ基盤モデルおよび大規模言語モデルのトレーニング用に設計されています。

2020年に発表された第一世代のTrainiumチップと比較して、最大4倍のトレーニング性能と3倍のメモリ容量を実現し、エネルギー効率(性能/ワット)を最大2倍まで改善するように設計されています。

fig

Trainium2は、単一のインスタンスに16個のTrainiumチップを含むAmazon EC2 Trn2インスタンスで利用可能になります。

Trn2インスタンスは、AWS Elastic Fabric Adapter(EFA)のペタビットスケールネットワーキングで相互接続された次世代EC2 UltraClusterにおいて、Trainium2チップを最大10万個までスケールアップできるようになり、このレベルのスケールでは3000億パラメータの大規模言語モデルを数週間から数カ月でトレーニングできると説明されています。

AWS re:Invent 2023の主な発表

Day 0:Monday Night Live

  • AWS、スケーラブルなNFS「Amazon EFS」で、長期保存データ用の「Amazon EFS Archive」提供開始
  • AWS、シンクライアント専用デバイス「Amazon WorkSpaces Thin Client」発表
  • [速報]AWS、読み込み性能も書き込み性能もスケールする「Amazon Aurora Limitless Database」プレビューを発表。AWS re:Invent 2023
  • [速報]AWS、SPARCサーバを仮想化してAWSに載せる「Virtualization for SPARC on AWS with Stromasys」発表。AWS re:Invent 2023
  • [速報]AWS、必要なときに1分以内にキャッシュが提供され自動的にスケールする「Amazon ElastiCache Serverless」正式サービス化を発表。AWS re:Invent 2023

Day 1:Keynote by AWS CEO Adam Selipsky

  • [速報]AWS、従来のAmazon S3より最大10倍高速な「Amazon S3 Express One Zone」発表。AWS re:Invent 2023
  • [速報]AWS、ARMベースの最新独自プロセッサ「Graviton4」発表、Graviton3より30%高速、より高効率に。AWS re:Invent 2023
  • [速報]AWS、大規模言語モデルのトレーニングに最適化した独自プロセッサ「AWS Trainium2」発表。前モデルより最大4倍のトレーニング性能。AWS re:Invent 2023
  • [速報]AWS、Copilot対抗となる「Amazon Q」発表。生成AIによるシステム開発支援や業務支援など、多様なAIサービスを提供。AWS re:Invent 2023
  • [速報]古いJavaや.NETのコードを最新のJavaにAIが自動変換する「Amazon Q Code Transformation」、AWSが発表。AWS re:Invent 2023

COMMENTS


Recommended

TITLE
CATEGORY
DATE
営業秘密流出、情報入手側に訴訟リスクも 「持ち込ませぬ」対策急務
IT関連
2021-02-25 18:42
NEC次期社長が語った最近のビジネス動向のキーワードは「with DX」
IT関連
2021-02-05 22:24
Google Cloud、アーリーステージのスタートアップ企業支援を拡大
IT関連
2022-01-29 04:50
博報堂と新潟県、地元コンテンツを配信するLINEアカウント開設–関係人口の創出へ
IT関連
2024-03-13 17:35
アフリカや東欧で交通ネットワーク拡大に取り組むBoltが国際金融公社から約25.8億円調達
モビリティ
2021-03-09 07:56
藤沢市、AIで高齢者の様子を可視化するサービス導入–介護事業所で実証
IT関連
2022-04-20 13:29
「ChromeOS」と「Android」の統合の可能性–転換点を迎えるグーグルのノートPC戦略
IT関連
2024-11-30 04:34
テレビ、映画、CM制作会社の給与支払いのDXを進める「Wrapbook」がシリーズAで29.4億円調達
その他
2021-03-11 06:55
同僚や部下には今さら聞けない–「Kubernetes」で知っておきたいこと
IT関連
2021-07-17 14:55
NECグループが果たすべき役割を自覚し社会価値の提供を加速–NEC・森田社長
IT関連
2025-01-09 23:57
5月18日は「SQLインジェクション」「モリサワ」が話題に 今日のトレンドをサクッとおさらい
ネットトピック
2021-05-19 23:50
メニーコアと大容量メモリに最適化したインメモリデータベース「劔(Tsurugi)」正式版リリース、ノーチラス・テクノロジーズが発表。サポートサービスも提供開始
RDB
2024-09-03 16:30
住友ゴムとNEC、タイヤ開発で体系化が困難な熟練設計者のノウハウをAI化
IT関連
2022-11-17 05:21
Perplexity、「DeepSeek-R1」を提供–サーバーを西側に配置も検閲は残存
IT関連
2025-02-01 01:24