次世代の「Amazon SageMaker」や「Amazon Nova」が登場–「re:Invent」基調講演
今回は「次世代の「Amazon SageMaker」や「Amazon Nova」が登場–「re:Invent」基調講演」についてご紹介します。
関連ワード （クラウド等） についても参考にしながら、ぜひ本記事について議論していってくださいね。
本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。
Amazon Web Services（AWS）は米国時間12月2日、年次イベント「re:Invent 2024」をネバダ州ラスベガスで開催した。3日に行われた基調講演では、6月に最高経営責任者（CEO）に就任したMatt Garman（マット・ガーマン）氏が登壇し、「Building blocks」をキーワードに新サービスを発表した。
今回で13回目となるre:Inventは、1900以上のセッションを用意しており、現地での参加は約6万人におよぶという。冒頭、同氏は「スタートアップ企業は私の心の中で特別な人たち。スタートアップは新しいテクノロジーを使いたいと考え、すぐに使ってくれる。そして素晴らしいフィードバックを提供し、私たちのイノベーションを加速してくれる」と話し、2025年には10億ドルをスタートアップにクレジットとして提供する予定だと説明した。
AWSは、「Innovating on behalf of customers」「Building blocks」「Everything starts with Security」――の考え方に基づきビジネスを展開している。金融領域などの規制が厳しい業界も含め、あらゆる業種・業界の顧客から「お客さまのサポート」を学び、顧客起点のビジネスを加速してきた。また、Building blocksの考えに基づき、顧客の声に耳を傾け、コアサービスに分割して最高のコンポーネントを構成し、サービスを提供している。Everything starts with Securityでは、サービスアーキテクチャーや開発のプラクティスなど、最初の段階からセキュリティを考慮したサービスの設計をしているという。
講演の中では、Building blocksをキーワードに「コンピューティング」「AIチップ」「ストレージ」「データベース」「Amazon Bedrock」「Amazon Q」「Amazon SageMaker」に関連したアップデートが幾つかあった。以下で紹介する。
同社は、コンテナーやサーバーレスなどの800以上のコンピューティングサービスを「Amazon EC2」の中で提供している。例えば、仮想化システム「AWS Nitro System」は、高いセキュリティを保持しており、新しいインスタンスが出てもコンピューティングやストレージ、ネットワークなどを分離しながら開発を進めることができる。
同氏は「コンピューティングの大きな問題として生成AIがある。ほとんどの生成AIのワークロードはNVIDIAのGPUで稼働している。AWSはベストなスケーラブルのネットワークで、運用的にも大きなワークロードを実行できる。最も大きなスケールの生成AIクラスターとして（NVIDIAと）パートナーシップを続けている」とし、「P6 instance」を発表した。
P6 instanceは、NVIDIAのGPU「Blackwell」を搭載しており、現行のGPUに比べて2.5倍のコンピューティング能力があるとしている。
AWSは2019年に機械学習（ML）チップ「AWS Inferentia」を開発し、コストの低減を実現した。2022年には「AWS Trainium」を開発し、これにより50％のコストパフォーマンスを確保できるようになった。2023年には「Trainium2」を発表している。
今回、AIチップ「AWS Trainium2」を搭載した「Amazon EC2 Trn2 Instances」の一般利用を開始した。「EC2 P5e/P5en」と比較して30～40％高い価格性能を発揮し、16基のTrainium2チップでピーク時20.8ペタフロップス（PFLOPS）の演算能力を提供する。何十億ものパラメーターを持つ大規模言語モデル（LLM）をトレーニングして展開するのに理想の計算機だとしている。
Trn2 Instancesを束ねた形で提供する「Amazon EC2 Trn2 UltraServers」のプレビューを開始した。64基のTrainium 2を独自インターコネクト「NeuronLink」で接続する。ピーク時最大83.2PFLOSPと単体インスタンスの4倍の演算能力を提供し、大規模のモデルトレーニングやデプロイを可能にする。
また、Anthropicと共に「Project Rainier」を構築している。数十万のTrainium2を接続し、現行世代のモデルトレーニングに使われた計算機の5倍以上の演算能力を実現する予定だとしている。
2025年には「Trainium 3」を提供する予定だ。3ナノメートル（nm）の製造プロセスで開発しているもので、演算能力は2倍以上になるとしている。「より大きく、より早く、よりエキサイティングなAIアプリケーションを作ることができる」（Garman氏）
ストレージも変化を続けている。「Amazon S3」は400兆以上のオブジェクトを処理しており、ペタバイト（PB）以上の容量を利用している顧客も少なくないという。ストレージは性能の向上とコストの低減、高耐久性が必要になる。「Amazon S3 Intelligent-tiering」では、40億ドル以上の顧客のストレージコストを下げているという。
「S3をさらに改善するには、例えばアナリティクスをやることも大事だろう」と同氏は述べる。多くのアナリティクスデータは、S3に保存するためのオープンソースデータテーブル形式「Apache Iceberg」が標準になっているが、スケールやパフォーマンス、セキュリティの管理が難しいとされている。多くの組織が専門チームを設け、テーブルメンテナンスやアクセスコントロールを管理しているが煩雑になっている。今回、S3がこれらを自動的に実行する「Amazon S3 Tables」の一般利用を開始した。
Amazon S3 Tablesは、Apache Icebergのテーブルを標準でサポートする最初のクラウドベースオブジェクトストレージとなる。表形式のデータを大規模に保存し、Apache Icebergの高度な分析機能を利用できる。分析ワークロード向けに最適化されたセルフマネージド型のテーブルと比較して、クエリスループットが最大で3倍高速になり、秒間トランザクション数が最大10倍に向上した。自動的にテーブル管理を行い、スナップショット管理、参照されないファイルの削除、テーブルのメンテナンスタスクを自動的に修理する。
スケールが大きくなると、探しているデータを見つけるのが難しくなる。S3に格納しているデータの中から該当するデータを抽出するにはメタデータのシステムを作る必要があるが、規模が大きいと管理が難しいという。そこで、S3にある大量のデータを素早く検索して活用できるようにするため、「Amazon S3 Metadata」のプレビューを開始した。
同ソリューションでは、オブジェクトがアップロードされると自動的にメタデータを取得し、Amazon S3 Tablesに格納。ビジネス分析やリアルタイム推論アプリケーションがS3に格納されたデータを識別・利用できるようになる。また、データのクレンジング処理を迅速化する「AWS Glue」を介して「Amazon Data Firehose」「Athena」「Redshift」「EMR」「QuickSight」などとも連携できる。