New Relic、「New Relic AI Monitoring」提供–AIアプリケーション向けAPM

今回は「New Relic、「New Relic AI Monitoring」提供–AIアプリケーション向けAPM」についてご紹介します。

関連ワード (ソフトウェア等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 New Relicは12月6日、「New Relic AI Monitoring(AIM)」の提供を発表した。AIアプリケーション向けアプリケーションパフォーマンス管理(APM)として、パフォーマンス、品質、コスト、コンプライアンスの最適化を可能にする。

 同日に開催された製品発表会で技術統括 コンサルティング部 兼 プロダクト技術部 部長を務める齊藤恒太氏は、「ChatGPT」などの生成AIの登場により、AIへの期待が高まる一方で、その利用にはブラックボックス的なところがあると指摘した。

 そのため、(1)大規模言語モデル(LLM)やベクトルデータベースといった従来にない技術要素にも対応可能なパフォーマンスチューニング、(2)AIの回答がバイアスや幻覚症状(ハルシネーショ)、有害性を排除し、公平性を確保する品質管理、(3)LLMやリソースの利用料を適正化するコスト管理、(4)成熟していないAI関連規制の中での監査やコンプライアンス順守ーーといった課題が発生しているという。

 これら課題に対応し、AIアプリケーションをブラックボックスのままにせず、適切に管理できるよう、AIMを提供したと齊藤氏は説明する。

 AIMは以下の機能を備える。

自動計装:New Relicのエージェントには、完全なAIスタックの可視化、応答トレース、モデル比較などを含むあらゆるAIM機能が用意されており、迅速かつ簡単に設定可能 フルスタックAIの可視性:応答品質やトークンなどのAIメトリクスとAPMゴールデンシグナルを含む、アプリケーション、インフラ、AIレイヤーにわたる全体的なビューを提供 全てのLLM応答の詳細なトレースに関する洞察:「LangChain」などのツールで構築された複雑なLLM応答のライフサイクルを追跡し、バイアス、有害性、幻覚症状などのパフォーマンスの問題や品質問題を修正 パフォーマンスとコストの比較:全てのモデルの使用状況、パフォーマンス、品質、コストを単一ビューで追跡。よく使われるプロンプト、思考の連鎖(Chain of Thought)、プロンプトのテンプレートやキャッシュに関する洞察によりAIの使用を最適化 責任あるAIの使用を可能に:応答がAIによって生成されたことを示す適切なタグを付与し、バイアス、有害性、幻覚症状がないことを検証することにより、安全なAIの使用が可能 AIエコシステムの監視:50以上のインテグレーションをサポートし、あらゆるAIエコシステムのスタック全体を監視。オーケストレーションフレームワークではLangChain、LLMではOpenAI、「PaLM2」「HuggingFace」、機械学習ライブラリーでは「Pytorch」「TensorFlow」、機械学習サービスでは「Amazon SageMaker」「AzureML」、ベクトルデータベースでは「Pinecone」「Weaviate」「Milvus」「FAISS」、AIインフラでは「Azure」「Amazon Web Services(AWS)」「GCP」に対応

 AIMは、「Amazon Bedrock」と連携して、詳細なエンドツーエンドのオブザーバビリティを実現する。AIMのビルトインインテグレーション(LangChainなど)により、Amazon Bedrockの顧客は、生のプロンプトから、修正されビジネスに適合したレスポンスに至るまで、LLMプロンプトとレスポンスのライフサイクル全体にわたるメトリクスとトレースを取得できる。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
ヒューゴー賞がビデオゲーム部門最終候補6本を発表、「あつ森」「FF7リメイク」もノミネート
ゲーム / eSports
2021-04-16 18:07
WebAssemblyでマルチスレッドによる並列処理を可能にする「wasi-threads」仕様の提案、ByteCode Allianceが明らかに
WebAssembly
2023-02-27 04:03
破産した拡張現実のパイオニアBlipparがB2B事業で復活、約5.4億円の資金を調達
VR / AR / MR
2021-03-25 02:33
Oktaのアーキテクチャーを支える3つの柱–日本で稼働を始めた「Okta Infrastructure」
IT関連
2022-03-04 02:22
AIは歌手の敵か味方か AIシンガー開発者が語る未来 分身がいることが武器になる社会へ
くわしく
2021-01-30 23:30
コンテナランタイム「containerd 2.0」正式リリース、登場以来初のメジャーバージョンアップ。1.xとの互換性は維持
Docker
2024-11-12 22:56
コロナ禍で増加する不正ログイン 2021年に狙われる業界は? :「見えないWeb攻撃」──情報漏えい対策の盲点(1/2 ページ)
くわしく
2021-02-05 10:05
トンネル工事で5Gとバーチャル空間を活用–遠隔地からリアルタイムに施工確認
IT関連
2023-03-30 15:22
UNDER ARMOUR、オンライン試着サービス導入–サイズ起因返品率27%減
IT関連
2024-06-15 06:25
「マンダロリアン」シーズン2撮影用のリアル空間を創り出す巨大な高解像度LEDディスプレイをILMが公開
ハードウェア
2021-04-03 14:00
「夜に駆ける」MV、YouTubeの規制解除 一時は「攻撃的または不適切な内容含む」の表示に
ネットトピック
2021-06-02 23:53
グーグル、「Duet AI」をクラウドセキュリティに統合
IT関連
2023-08-31 22:04
WeWork、SPACで上場へ 13億ドル調達目指し
企業・業界動向
2021-03-30 21:09
第6回:自己規律、自己組織化–アジャイルとともに成長していくチームと開発者たち
IT関連
2023-04-04 04:20