[速報]AWS、大規模言語モデルのトレーニングに最適化した独自プロセッサ「AWS Trainium2」発表。前モデルより最大4倍のトレーニング性能。AWS re:Invent 2023

今回は「[速報]AWS、大規模言語モデルのトレーニングに最適化した独自プロセッサ「AWS Trainium2」発表。前モデルより最大4倍のトレーニング性能。AWS re:Invent 2023」についてご紹介します。

関連ワード (正式、第一世代、高効率等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、Publickey様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


Amazon Web Services(AWS)は、ラスベガスで開催中のイベント「AWS re:Invent 2023」の基調講演で、AIのトレーニングに最適化した独自プロセッサ「AWS Trainium2」を発表しました。

fig

Trainium2は、最大数兆個のパラメータを持つ基盤モデルおよび大規模言語モデルのトレーニング用に設計されています。

2020年に発表された第一世代のTrainiumチップと比較して、最大4倍のトレーニング性能と3倍のメモリ容量を実現し、エネルギー効率(性能/ワット)を最大2倍まで改善するように設計されています。

fig

Trainium2は、単一のインスタンスに16個のTrainiumチップを含むAmazon EC2 Trn2インスタンスで利用可能になります。

Trn2インスタンスは、AWS Elastic Fabric Adapter(EFA)のペタビットスケールネットワーキングで相互接続された次世代EC2 UltraClusterにおいて、Trainium2チップを最大10万個までスケールアップできるようになり、このレベルのスケールでは3000億パラメータの大規模言語モデルを数週間から数カ月でトレーニングできると説明されています。

AWS re:Invent 2023の主な発表

Day 0:Monday Night Live

  • AWS、スケーラブルなNFS「Amazon EFS」で、長期保存データ用の「Amazon EFS Archive」提供開始
  • AWS、シンクライアント専用デバイス「Amazon WorkSpaces Thin Client」発表
  • [速報]AWS、読み込み性能も書き込み性能もスケールする「Amazon Aurora Limitless Database」プレビューを発表。AWS re:Invent 2023
  • [速報]AWS、SPARCサーバを仮想化してAWSに載せる「Virtualization for SPARC on AWS with Stromasys」発表。AWS re:Invent 2023
  • [速報]AWS、必要なときに1分以内にキャッシュが提供され自動的にスケールする「Amazon ElastiCache Serverless」正式サービス化を発表。AWS re:Invent 2023

Day 1:Keynote by AWS CEO Adam Selipsky

  • [速報]AWS、従来のAmazon S3より最大10倍高速な「Amazon S3 Express One Zone」発表。AWS re:Invent 2023
  • [速報]AWS、ARMベースの最新独自プロセッサ「Graviton4」発表、Graviton3より30%高速、より高効率に。AWS re:Invent 2023
  • [速報]AWS、大規模言語モデルのトレーニングに最適化した独自プロセッサ「AWS Trainium2」発表。前モデルより最大4倍のトレーニング性能。AWS re:Invent 2023
  • [速報]AWS、Copilot対抗となる「Amazon Q」発表。生成AIによるシステム開発支援や業務支援など、多様なAIサービスを提供。AWS re:Invent 2023
  • [速報]古いJavaや.NETのコードを最新のJavaにAIが自動変換する「Amazon Q Code Transformation」、AWSが発表。AWS re:Invent 2023

COMMENTS


Recommended

TITLE
CATEGORY
DATE
ノバセルとアドレクス、テレビCMからウェブ広告まで一気通貫で運用する成果報酬型クロスマーケティングプランX-MAX開始
IT関連
2022-03-05 11:37
御堂筋税理⼠法⼈、「Microsoft 365」の運用管理工数を約70%削減
IT関連
2024-10-31 06:12
Redditのライブオーディオプロダクト「Reddit Talk」にウェブ版が登場
IT関連
2022-02-12 15:24
はてなと集英社がWeb漫画の投稿サービス 広告や有料配信でマネタイズ可 収入の65〜80%を作者に還元
アプリ・Web
2021-04-22 19:47
関西電力、社員をつなげる「Commune for Work」を導入
IT関連
2024-07-04 07:08
Docker Desktopが「Windows on Arm」に対応。今月発売されるArmベースの新PCでもDocker環境が構築可能に
ARM
2024-06-06 09:05
「iPadOS 18」で「M4」チップ搭載「iPad Pro」が「文鎮化」–一部ユーザーが報告
IT関連
2024-09-20 14:50
東大、AI・データサイエンスの基礎教材を無償公開 豊富なスライドで学べる
ロボット・AI
2021-06-10 17:01
「Linux」ディストリビューションを乗り換える前に確認すべき5つのポイント
IT関連
2024-03-07 15:17
OpenAI、企業にAIツール構築を促す新機能導入–セキュリティ向上や費用削減
IT関連
2024-04-26 04:19
ミクシィ、英国パブ「HUB」に出資 新業態の店舗開発へ
企業・業界動向
2021-03-24 00:14
エレンが異世界転生する「進撃の巨人」全面広告、新聞朝刊に 諫山先生の描き下ろし
くらテク
2021-06-10 00:35
ランサムウェア攻撃受けたColonialのCEO、身代金支払いは「国のために正しいことだった」
IT関連
2021-05-21 22:04
横川電機、製造業のDXを支援する新会社「横河デジタル」を設立
IT関連
2022-07-02 05:29