New Relic、「New Relic AI Monitoring」提供–AIアプリケーション向けAPM

今回は「New Relic、「New Relic AI Monitoring」提供–AIアプリケーション向けAPM」についてご紹介します。

関連ワード (ソフトウェア等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 New Relicは12月6日、「New Relic AI Monitoring(AIM)」の提供を発表した。AIアプリケーション向けアプリケーションパフォーマンス管理(APM)として、パフォーマンス、品質、コスト、コンプライアンスの最適化を可能にする。

 同日に開催された製品発表会で技術統括 コンサルティング部 兼 プロダクト技術部 部長を務める齊藤恒太氏は、「ChatGPT」などの生成AIの登場により、AIへの期待が高まる一方で、その利用にはブラックボックス的なところがあると指摘した。

 そのため、(1)大規模言語モデル(LLM)やベクトルデータベースといった従来にない技術要素にも対応可能なパフォーマンスチューニング、(2)AIの回答がバイアスや幻覚症状(ハルシネーショ)、有害性を排除し、公平性を確保する品質管理、(3)LLMやリソースの利用料を適正化するコスト管理、(4)成熟していないAI関連規制の中での監査やコンプライアンス順守ーーといった課題が発生しているという。

 これら課題に対応し、AIアプリケーションをブラックボックスのままにせず、適切に管理できるよう、AIMを提供したと齊藤氏は説明する。

 AIMは以下の機能を備える。

自動計装:New Relicのエージェントには、完全なAIスタックの可視化、応答トレース、モデル比較などを含むあらゆるAIM機能が用意されており、迅速かつ簡単に設定可能 フルスタックAIの可視性:応答品質やトークンなどのAIメトリクスとAPMゴールデンシグナルを含む、アプリケーション、インフラ、AIレイヤーにわたる全体的なビューを提供 全てのLLM応答の詳細なトレースに関する洞察:「LangChain」などのツールで構築された複雑なLLM応答のライフサイクルを追跡し、バイアス、有害性、幻覚症状などのパフォーマンスの問題や品質問題を修正 パフォーマンスとコストの比較:全てのモデルの使用状況、パフォーマンス、品質、コストを単一ビューで追跡。よく使われるプロンプト、思考の連鎖(Chain of Thought)、プロンプトのテンプレートやキャッシュに関する洞察によりAIの使用を最適化 責任あるAIの使用を可能に:応答がAIによって生成されたことを示す適切なタグを付与し、バイアス、有害性、幻覚症状がないことを検証することにより、安全なAIの使用が可能 AIエコシステムの監視:50以上のインテグレーションをサポートし、あらゆるAIエコシステムのスタック全体を監視。オーケストレーションフレームワークではLangChain、LLMではOpenAI、「PaLM2」「HuggingFace」、機械学習ライブラリーでは「Pytorch」「TensorFlow」、機械学習サービスでは「Amazon SageMaker」「AzureML」、ベクトルデータベースでは「Pinecone」「Weaviate」「Milvus」「FAISS」、AIインフラでは「Azure」「Amazon Web Services(AWS)」「GCP」に対応

 AIMは、「Amazon Bedrock」と連携して、詳細なエンドツーエンドのオブザーバビリティを実現する。AIMのビルトインインテグレーション(LangChainなど)により、Amazon Bedrockの顧客は、生のプロンプトから、修正されビジネスに適合したレスポンスに至るまで、LLMプロンプトとレスポンスのライフサイクル全体にわたるメトリクスとトレースを取得できる。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
FRAIMと第一法規、行政文書の作成ツールを提供–AIによる条文検索も
IT関連
2023-10-07 19:28
「災害用音声お届けサービス」、2022年3月31日で提供終了 災害用伝言板などを代替に
企業・業界動向
2021-03-30 23:54
サイバーエージェント、和製生成AI開発や広告のAI活用基盤にデル製サーバーを採用
IT関連
2023-08-02 01:17
Google Cloud、仮想マシンのサスペンド/レジュームが正式機能に。開発環境の未使用時にサスペンドでコスト削減など実現
Google
2023-03-27 11:55
情報漏えい対策のいま–データ保護ソリューションによる対策
IT関連
2024-03-15 02:44
OpenAI、低コストの小型モデル「GPT-4o mini」の提供を開始
IT関連
2024-07-20 22:45
Cloudflare WorkersがPythonをサポート、WebAssembly版Pythonランタイムの「Pyodide」を採用で
Cloudflare
2024-04-03 04:22
デジタル人材の育成が企業や社会をより良くする–「AWS Academy」の真価
IT関連
2022-12-27 13:49
スマホ必携の中国でスマホが使えない高齢者向け観光ソリューション
IT関連
2023-01-20 21:20
量子コンピューターの時代は意外と早く訪れるかもしれない
IT関連
2022-09-30 18:17
期限の制約なく無料で提供される「Free Tier」クラウドサービスまとめ、DBaaS/BaaS/その他編(2024年版)
BaaS
2024-06-10 23:45
ニッセンのカタログを「絵の練習」に使う人多数 コーデ確認できるページに注目
ネットトピック
2021-01-17 19:50
AIに対する間違った思い込みはどこから生まれるのか
IT関連
2023-03-29 03:03
バッテリーのリサイクルと製造を商業化するBattery Resourcersが約22億円調達
モビリティ
2021-04-14 12:31