New Relic、「New Relic AI Monitoring」提供–AIアプリケーション向けAPM

今回は「New Relic、「New Relic AI Monitoring」提供–AIアプリケーション向けAPM」についてご紹介します。

関連ワード (ソフトウェア等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 New Relicは12月6日、「New Relic AI Monitoring(AIM)」の提供を発表した。AIアプリケーション向けアプリケーションパフォーマンス管理(APM)として、パフォーマンス、品質、コスト、コンプライアンスの最適化を可能にする。

 同日に開催された製品発表会で技術統括 コンサルティング部 兼 プロダクト技術部 部長を務める齊藤恒太氏は、「ChatGPT」などの生成AIの登場により、AIへの期待が高まる一方で、その利用にはブラックボックス的なところがあると指摘した。

 そのため、(1)大規模言語モデル(LLM)やベクトルデータベースといった従来にない技術要素にも対応可能なパフォーマンスチューニング、(2)AIの回答がバイアスや幻覚症状(ハルシネーショ)、有害性を排除し、公平性を確保する品質管理、(3)LLMやリソースの利用料を適正化するコスト管理、(4)成熟していないAI関連規制の中での監査やコンプライアンス順守ーーといった課題が発生しているという。

 これら課題に対応し、AIアプリケーションをブラックボックスのままにせず、適切に管理できるよう、AIMを提供したと齊藤氏は説明する。

 AIMは以下の機能を備える。

自動計装:New Relicのエージェントには、完全なAIスタックの可視化、応答トレース、モデル比較などを含むあらゆるAIM機能が用意されており、迅速かつ簡単に設定可能 フルスタックAIの可視性:応答品質やトークンなどのAIメトリクスとAPMゴールデンシグナルを含む、アプリケーション、インフラ、AIレイヤーにわたる全体的なビューを提供 全てのLLM応答の詳細なトレースに関する洞察:「LangChain」などのツールで構築された複雑なLLM応答のライフサイクルを追跡し、バイアス、有害性、幻覚症状などのパフォーマンスの問題や品質問題を修正 パフォーマンスとコストの比較:全てのモデルの使用状況、パフォーマンス、品質、コストを単一ビューで追跡。よく使われるプロンプト、思考の連鎖(Chain of Thought)、プロンプトのテンプレートやキャッシュに関する洞察によりAIの使用を最適化 責任あるAIの使用を可能に:応答がAIによって生成されたことを示す適切なタグを付与し、バイアス、有害性、幻覚症状がないことを検証することにより、安全なAIの使用が可能 AIエコシステムの監視:50以上のインテグレーションをサポートし、あらゆるAIエコシステムのスタック全体を監視。オーケストレーションフレームワークではLangChain、LLMではOpenAI、「PaLM2」「HuggingFace」、機械学習ライブラリーでは「Pytorch」「TensorFlow」、機械学習サービスでは「Amazon SageMaker」「AzureML」、ベクトルデータベースでは「Pinecone」「Weaviate」「Milvus」「FAISS」、AIインフラでは「Azure」「Amazon Web Services(AWS)」「GCP」に対応

 AIMは、「Amazon Bedrock」と連携して、詳細なエンドツーエンドのオブザーバビリティを実現する。AIMのビルトインインテグレーション(LangChainなど)により、Amazon Bedrockの顧客は、生のプロンプトから、修正されビジネスに適合したレスポンスに至るまで、LLMプロンプトとレスポンスのライフサイクル全体にわたるメトリクスとトレースを取得できる。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
飲食料品ECのAoyamaLabが法人専用のデジタルギフトサービス「リモート手土産」を開始
ネットサービス
2021-03-18 02:07
AWSはなぜ「ユーザー視点のパートナー認定制度」に注力するのか
IT関連
2021-03-25 00:02
新型コロナワクチンの接種人数を都道府県別に表示 ヤフーが新サービス
ライフ
2021-04-24 17:45
個人向け銀行ローンマッチングの「クラウドローン」が累計1.56億円調達、オリコとの事前審査の連携開始も発表
フィンテック
2021-07-03 01:36
ZHD、株主総会を完全オンライン化 2022年に
IT関連
2021-08-12 22:15
あらゆる「Linux」ディストロをブレンドした「blendOS」–柔軟性が高く美しい仕上がり
IT関連
2024-01-30 03:47
日本全国どこでもテレワークOK ZOZOテクノロジーズが新制度
キャリア・しごと
2021-01-19 11:57
日本企業の70%が持続可能性と収益性の同時実現は困難と回答–SAP調査
IT関連
2022-11-10 02:00
デル・テクノロジーズ、「Dell PowerFlex 4.5」発表–マルチクラウドの多用途性に対応
IT関連
2023-10-20 08:00
製造業はプロセスからのデジタル化が重要に–シーメンスのDX戦略
IT関連
2023-06-08 08:34
Oracle Cloud、最大160コアのArmプロセッサを用いた「OCI Ampere A1 Compute」開始。無償で4CPU/24GBメモリを期限なく提供、Arm対応のJenkinsやKubernetesも
ARM
2021-06-01 13:22
ヨーロッパ初の培養サケ、マス、コイの供給業者を目指すBluu Biosciences
バイオテック
2021-03-27 18:46
Zoomの第4四半期決算、売上高369%増–第1四半期も好調続く見通し
IT関連
2021-03-03 20:56
ダークトレース、アタックサーフェス管理や脆弱性特定をAIで自動化する「Darktrace PREVENT」を提供
IT関連
2022-08-02 05:36