New Relic、自社プラットフォームを「NVIDIA NIM」推論マイクロサービスと統合

今回は「New Relic、自社プラットフォームを「NVIDIA NIM」推論マイクロサービスと統合」についてご紹介します。

関連ワード （ソフトウェア等） についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。

　New Relicは米国時間6月24日、生成AIを開発、展開、監視する複雑さとコストを削減することを目的に、同社プラットフォームと「NVIDIA NIM」推論マイクロサービスとの統合を発表した。現在、「New Relic AI Monitoring」を使うことで、NVIDIA NIMで構築したアプリケーション用AIスタック全体に対する幅広い可視性を簡略化された設定と強化されたデータセキュリティで得ることができる。

　New Relic AI Monitoringは、データプライバシーを担保しながらスループット、レイテンシー、コストに関する主要なメトリクスとともにAIスタックの幅広いビューを提供する。また、AIアプリケーションの内部構造を理解できるよう、サービスやモデルのリクエストフローも追跡する。

　New Relicは、自社の監視機能をNVIDIA NIMに拡張することで、Databricksの「DBRX」、 Googleの「Gemma」、Metaの「Llama 3」、Microsoftの「Phi-3」、Mistral AIの「Mistral Larg」「Mixtral 8x22B」、Snowflakeの「Arctic」を含む幅広いAIモデルをサポートする。これにより、組織は、NVIDIA NIMを使って構築したAIアプリケーションを不安なく展開でき、市場投入までの時間を短縮し、投資収益率（ROI）を向上させることができるとNew Relicは語る。

　AI監視のための主要機能とユースケースとして、同社は以下を挙げる。

　今回の統合は、NVIDIAのAIOpsパートナーエコシステムにNew Relicが加わったことに続くもの。New Relicによると、NVIDIA製GPUや「NVIDIA Triton Inference Server」を含む60以上のAI統合とともに、最も拡張可能なオブザーバビリティソリューションを提供するという。