Fastly、生成AIのAPIをインテリジェントにキャッシュ、高速レスポンスとコール回数削減を実現する「AI Accelerator」発表

今回は「Fastly、生成AIのAPIをインテリジェントにキャッシュ、高速レスポンスとコール回数削減を実現する「AI Accelerator」発表」についてご紹介します。

関連ワード（以前、対応、発表等）についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、Publickey様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。

Fastlyは、生成AIへのAPIコールをセマンティックに基づいてインテリジェントにキャッシュすることで、APIコールからの高速なレスポンスとAPIコール回数の低減によるコスト削減などを実現する「Fastly AI Accelerator」を発表しました。

インテリジェントなセマンティックキャッシング

通常のアプリケーションが提供するAPIは、引数と返値が文字列や数値などのデータ型によって決められています。そのため、APIキャッシュのアルゴリズムにおいて引数が一致しているかどうかを判断し、一致している場合にはキャッシュ済みの返値を高速に返す、といった処理はそれほど複雑なものではありません。

一方で、最近登場した生成AIにおいては、プロンプトが自然言語で記述されるため、ほとんど同じ内容であったとしてもさまざまな表記や表現が可能なため、プロンプトが過去のプロンプトと完全に一致することは期待できません。

今回発表されたFastly AI Acceleratorは、インテリジェントなセマンティックキャッシングによって、こうした生成AIに対するAPIコールでも有効性を発揮できるようにつくられた生成AI用のAPIキャッシュおよびゲートウェイです。

以前に質問されたことのある類似のプロンプトについて、セマンティックキャッシュによってキャッシュされたレスポンスを高速に返すことで、生成AIを用いたアプリケーションの性能向上と、APIコール数の低減によるコスト削減を実現します。

Fastly AI Acceleratorは、OpenAIのChatGPTが提供するテキストAPIのAPIゲートウェイ機能をまず提供します。開発者は新しいAPIエンドポイントを使用するようにアプリを更新するだけで利用を開始できます。

Fastlyは今後、OpenAI以外の生成AIにも対応を広げていくとしています。

Fastly ネットワーク機械学習・AI #以前 #対応 #発表