[速報]AWS、大規模言語モデルのトレーニングに最適化した独自プロセッサ「AWS Trainium2」発表。前モデルより最大4倍のトレーニング性能。AWS re:Invent 2023

今回は「[速報]AWS、大規模言語モデルのトレーニングに最適化した独自プロセッサ「AWS Trainium2」発表。前モデルより最大4倍のトレーニング性能。AWS re:Invent 2023」についてご紹介します。

関連ワード (正式、第一世代、高効率等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、Publickey様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


Amazon Web Services(AWS)は、ラスベガスで開催中のイベント「AWS re:Invent 2023」の基調講演で、AIのトレーニングに最適化した独自プロセッサ「AWS Trainium2」を発表しました。

fig

Trainium2は、最大数兆個のパラメータを持つ基盤モデルおよび大規模言語モデルのトレーニング用に設計されています。

2020年に発表された第一世代のTrainiumチップと比較して、最大4倍のトレーニング性能と3倍のメモリ容量を実現し、エネルギー効率(性能/ワット)を最大2倍まで改善するように設計されています。

fig

Trainium2は、単一のインスタンスに16個のTrainiumチップを含むAmazon EC2 Trn2インスタンスで利用可能になります。

Trn2インスタンスは、AWS Elastic Fabric Adapter(EFA)のペタビットスケールネットワーキングで相互接続された次世代EC2 UltraClusterにおいて、Trainium2チップを最大10万個までスケールアップできるようになり、このレベルのスケールでは3000億パラメータの大規模言語モデルを数週間から数カ月でトレーニングできると説明されています。

AWS re:Invent 2023の主な発表

Day 0:Monday Night Live

  • AWS、スケーラブルなNFS「Amazon EFS」で、長期保存データ用の「Amazon EFS Archive」提供開始
  • AWS、シンクライアント専用デバイス「Amazon WorkSpaces Thin Client」発表
  • [速報]AWS、読み込み性能も書き込み性能もスケールする「Amazon Aurora Limitless Database」プレビューを発表。AWS re:Invent 2023
  • [速報]AWS、SPARCサーバを仮想化してAWSに載せる「Virtualization for SPARC on AWS with Stromasys」発表。AWS re:Invent 2023
  • [速報]AWS、必要なときに1分以内にキャッシュが提供され自動的にスケールする「Amazon ElastiCache Serverless」正式サービス化を発表。AWS re:Invent 2023

Day 1:Keynote by AWS CEO Adam Selipsky

  • [速報]AWS、従来のAmazon S3より最大10倍高速な「Amazon S3 Express One Zone」発表。AWS re:Invent 2023
  • [速報]AWS、ARMベースの最新独自プロセッサ「Graviton4」発表、Graviton3より30%高速、より高効率に。AWS re:Invent 2023
  • [速報]AWS、大規模言語モデルのトレーニングに最適化した独自プロセッサ「AWS Trainium2」発表。前モデルより最大4倍のトレーニング性能。AWS re:Invent 2023
  • [速報]AWS、Copilot対抗となる「Amazon Q」発表。生成AIによるシステム開発支援や業務支援など、多様なAIサービスを提供。AWS re:Invent 2023
  • [速報]古いJavaや.NETのコードを最新のJavaにAIが自動変換する「Amazon Q Code Transformation」、AWSが発表。AWS re:Invent 2023

COMMENTS


Recommended

TITLE
CATEGORY
DATE
GitLab、「GitLab 16.9」をリリース–「GitLab Duo Chat」が「Premium」で利用可能に
IT関連
2024-02-17 19:23
Twitter、菅首相など政治家のラベル表示開始
IT関連
2021-02-23 18:53
Stability AI、新たな動画生成AI「Stable Video 4D」を公開
IT関連
2024-07-26 10:54
SCSK、ブレインズテクノロジーと協業–製造現場向けソリューションの強化図る
IT関連
2024-10-02 13:00
庭の水やりで身近なIoTを体験、自動水やりシステムの構築 〜給水をLINEで通知〜 :名刺サイズの超小型PC「ラズパイ」で遊ぶ(第43回)
アプリ・Web
2021-07-23 07:18
イアン・ブレマー氏が警鐘を鳴らす“制御不能なAI”リスクとは
IT関連
2025-01-18 13:28
デロイト、中央大サッカー部・バスケ部と共同研究–データ分析で競争力向上を支援
IT関連
2022-07-06 18:53
明治中期の国・郡で分けた日本地図、無償でデータ公開 「Google マイマップ」版も
ネットトピック
2021-06-23 17:02
【レビュー】電動自転車VanMoof X3、ハイテクだが手頃な値段であらゆる人を信奉者にしてしまう
モビリティ
2021-07-28 19:29
GitLab.com、SaaS版の無料枠を最大ユーザー5人までに制限。6月から
CI/CD
2022-03-29 23:11
半導体ウェハメーカーのSK SiltronがEVサプライチェーン強化へ米国で330億円投資
モビリティ
2021-07-16 21:10
温度測定結果の表示可能、顔認証で入退室できるクラウド型サービス「Safie Entrance2」を提供開始
IT関連
2022-03-26 22:11
GMが3モデル目の電動ピックアップトラックを開発中、GMCラインナップに追加
モビリティ
2021-07-21 00:52
noteと博報堂が業務提携、法人向けブランディング支援サービスを共同開発し提供
ネットサービス
2021-04-08 12:16