Fastlyが「AI Accelerator」正式リリース、生成AIからのレスポンスをキャッシュし高速化とコスト削減を実現

今回は「Fastlyが「AI Accelerator」正式リリース、生成AIからのレスポンスをキャッシュし高速化とコスト削減を実現」についてご紹介します。

関連ワード (対応、正式、通常等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、Publickey様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


Fastlyは、生成AIへのAPIコールに対するレスポンスをセマンティックに基づいてインテリジェントにキャッシュすることで、高速なレスポンスとAPIコール回数の低減によるコスト削減などを実現する「Fastly AI Accelerator」の正式リリースを発表しました。

fig

生成AIをAPI経由で呼び出す場合、通常のサービスの呼び出しと比較するとレスポンスまでに時間がかかることが多く、呼び出しごとにかかる料金も高額になりがちです。

Fastly AI Acceleratorは、こうした生成AIからのレスポンスをキャッシュし、似たような質問に対するレスポンスであればキャッシュの内容を高速に返すことで、生成AIのレスポンスを高速にし、また呼び出しにかかるコストを削減できると説明されています。

キャッシュは「セマンティックキャッシュ」として、呼び出しの内容をベクトルとして保持するため、似たような意味を持つ呼び出し内容であればキャッシュが利用される仕組みとなっています。

同社はFastly AI Acceleratorのベータ版の利用実績として、応答速度が平均で9倍高速になったとしています。

Fastly AI AcceleratorはOpenAI ChatGPTに加え、 Microsoft Azure AI Foundryにも対応しています。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
大規模会場でのワクチン予約はネットとLINEで 防衛省が明らかに
企業・業界動向
2021-05-13 10:24
生徒の「地域貢献力」をAIで可視化–金沢大学附属高等学校が評価ツール導入
IT関連
2022-01-22 01:32
産業制御システムへのサイバー攻撃、損害は平均約2.7億円
IT関連
2022-07-13 00:17
マルウェア「Emotet」の国内感染は推定約500台–駆除活動が本格化
IT関連
2021-02-23 15:56
トーマツ、根拠に基づく施策立案・効果検証システムを構築支援する新サービス
IT関連
2023-12-07 00:57
統合バックアップソフト「Arcserve UDP」新版、ランサムウェア対策機能を強化
IT関連
2023-01-19 00:25
写真で見るグーグルのAI活用ロボット–自然な言葉を理解、缶を捨てポテチを渡す
IT関連
2022-08-19 01:12
IT部門のジョブ型組織化に課題あり–ガートナー提言
IT関連
2021-03-24 23:10
ワークデイ、財務管理クラウドサービスの国内提供を開始
IT関連
2021-07-08 13:13
楽天モバイル、20GBまで1980円の新プラン 1GBまで無料の段階制
企業・業界動向
2021-01-30 18:46
傘下のVMwareが独立 DELLの狙いとは
クラウドユーザー
2021-04-21 21:01
AWS、プライマリDBとして使える耐久性を備えたインメモリデータベース「Amazon MemoryDB for Redis」発表
AWS
2021-08-23 09:53
アカマイ、マイクロセグメンテーション製品「Guardicore」を国内販売
IT関連
2022-07-28 21:03
日立系技術商社の瑞穂、ランサムウェア対策でイミュータブルストレージを導入
IT関連
2024-01-13 09:42