包括的な可観測性プラットフォームであるNew Relicは、AIを活用したアプリケーション向けの先駆的なアプリケーションパフォーマンス管理（APM）ソリューションであるNew Relic AIモニタリング（AIM）を導入した。AIMは、エンジニアにAIアプリケーションスタック全体にわたる比類のない可視性と洞察を提供し、パフォーマンス、品質、コスト、責任あるAI使用の観点からAIアプリケーションのトラブルシューティングと最適化を簡素化する。AIMは、LLM応答のトレースやモデル比較などの50を超える統合と機能を備えており、LLMベースのアプリケーションの構築と実行に対するチームの自信を強化するという。
AIを活用したアプリケーションの導入により、組織はさらに複雑になった。大規模言語モデル（LLM）やベクトルデータベースなどのAIコンポーネントは、エンジニアにとって課題となることが多く、不正確で偏った結果、セキュリティーの問題、追跡と分析が必要な大量のテレメトリデータの生成につながる可能性がある。AIMは、AIを活用したアプリケーションに対してエンドツーエンドの可観測性を提供することで、これらの問題に対処する。エンジニアは、単一のビューにアクセスして、幻覚、偏見、毒性、公平性などのパフォーマンス、コスト、セキュリティー、品質の問題に対するさまざまなLLMプロンプトと応答をトラブルシューティング、比較、最適化できるとのこと。
New RelicのAIMには、自動インスツルメンテーション、完全なAIスタックの可視化、全てのLLM応答に対する詳細なトレース洞察、パフォーマンスとコストを比較する機能などの重要な機能が備わっている。これらの機能により、エンジニアは単一のビューで全てのモデルの使用状況、パフォーマンス、品質、コストを追跡し、頻繁に尋ねられるプロンプト、思考の連鎖、プロンプトのテンプレートとキャッシュに関する洞察を利用して使用を最適化できる。さらに、AIMは、応答追跡の洞察を使用して、応答がAIによって生成されたことを示すために適切にタグ付けされていること、偏見、毒性、幻覚がないことを検証することで、AIの安全かつ責任ある使用を保証するとのことだ。
出典：プレスリリース
