「Amazon Bedrock」が生成AIのコストを最大90％節約できるプロンプトキャッシングなど新機能を搭載

今回は「「Amazon Bedrock」が生成AIのコストを最大90％節約できるプロンプトキャッシングなど新機能を搭載」についてご紹介します。

関連ワード （予測、適切、開始等） についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、Publickey様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。

Amazon Web Services（AWS）は、米ラスベガスで開催中のイベント「AWS re:Invent 2024」の基調講演で、生成AIの基盤モデルをマネージドサービスで提供するAmazon Bedrockの新機能として、プロンプトのコンテキストをキャッシュする機能や、プロンプトを適切なモデルへルーティングする機能などを発表しました。

コンテキストを再利用してコストとレイテンシを低減

プロンプトキャッシングは、Bedrock上の複数のモデルに対してよく使用されるプロンプトのコンテキストをキャッシュする機能です。キャッシュは最大5分間有効とされています。

例えば同一のドキュメントに対して繰り返しプロンプトで質問されるケースや、プログラマがずっと同じコードに対してコードアシスタントを使用するケースなど、似たようなコンテキストが繰り返し使用されるケースでは、キャッシュされた内容を再利用できるため、最大でコストが90％、レイテンシが85％削減されると説明されています。

プロンプトに応じて適切なモデルを選択

インテリジェントプロンプトルーティングは、プロンプトの複雑さに応じて基盤モデルのファミリーの中からコストと品質が最適なモデルを選び、そのモデルにプロンプトを送り込むことができる機能です。

プロンプトのルーターはプロンプトに応じて、どのモデルがコストと品質の面でどのモデルが最適化を予測する能力を備えており、例えばAnthropicのClaudeモデルファミリーには、Opus、Sonnet、Haikuと呼ばれるコストと能力が異なる3つのモデルがあり、Amazon Bedrockはプロンプトの複雑さに応じてSonnetとHaikuのいずれかに対してインテリジェントにプロンプトをルーティングできます。

ルーティングは、複雑でないプロンプトは小さくレスポンスが速くコストの安いモデルで処理し、複雑なプロンプトは能力の高いモデルで処理するように行われます。

これによりプロンプトに対する回答の精度を犠牲にすることなく、コストを最大で30％削減できると説明されています。

そのほかAmazon Bedrockは、構造化データの取得機能、グラフRAGへの対応、マルチモーダル対応のデータ抽出機能、エージェント作成機能など、多数の機能追加が発表されました。

AWS re:Invent 2024バックナンバー

• AWS、WebアプリからAmazon S3にアクセスできるUIコンポーネント「Storage Browser for S3」正式リリース
• AWS、ノーコードでAmazon S3を操作するWebアプリが作れる「AWS Transfer Family web apps」発表
• AWS上にOracle Cloudを持ち込んだ「Oracle Database＠AWS」、限定プレビューの申し込みを開始
• AWS、VMware社ではなくAWS自身が提供する「Amazon Elastic VMware Service」プレビュー公開
• ［速報］「Amazon Aurora DSQL」プレビュー公開、事実上無限にスケールする高性能なPostgreSQL互換の大規模分散データベース
• ［速報］Amazon、自社開発の基盤モデル「Amazon Nova」発表。テキストから画像や動画の生成、マルチモーダルまで対応
• ［速報］コーディング支援AIのAmazon Q Developer、新機能としてユニットテストの生成、コードからドキュメント生成、コードレビューなど追加
• AWS、生成AIのトレーニングに最適化した独自プロセッサ「AWS Trainium3」発表。Trainium2の2倍の性能に
• AWS、100以上の生成AIの基盤モデルが選べる「Amazon Bedrock marketplace」発表
• 「Amazon Bedrock」が生成AIのコストを最大90％節約できるプロンプトキャッシング機能など新機能を搭載