Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

Datadog（ニューヨーク）は、年次カンファレンス「DASH」でAIエージェントの監視や実験を支援する新機能を発表。AI Agent Monitoring、LLM Experiments、AI Agents Consoleの3つの機能が含まれ、AIエージェントの動作を可視化し、LLMアプリケーションの品質評価や管理の一元化を支援する。

生成AIや自律型エージェントの登場により、企業のソフトウェア開発・提供のあり方が変化。多くの企業がAIシステムの動作や価値を把握する課題に直面している。Datadogはログやメトリクスを活用し、AIシステム内部の状態を把握・分析するオブザーバビリティ手法を導入。

新機能により、企業はAIシステムの挙動を監視し、LLMに対する実験を行い、エージェントの利用傾向や影響を評価可能に。これにより、LLMアプリケーションの迅速かつ安全な導入、継続的な改善が可能になる。Datadogのイリエ・ガルニエ氏は、AI投資の実効性を高める目的で新機能を発表したと述べる。

AI Agent Monitoringは、エージェントの意思決定の流れをインタラクティブなグラフで可視化。レイテンシーの急増や誤ったツール呼び出し、無限ループなどの不具合を分析し、品質やセキュリティ、コストと関連付けて把握することが可能。Mistral AIのティモテ・ラクロワ氏は、オブザーバビリティによりAIエージェントの挙動をリアルタイムで把握・分析できると述べる。

LLM Experimentsは、LLMアプリケーションのパフォーマンスに影響を与える要素を検証するための機能。トレースデータや顧客データセットを用いた実験により、応答精度やコストの改善効果を定量的に把握し、リグレッションを防ぐことが可能になる。Anthropicのマイケル・ガーステンハーバー氏は、オブザーバビリティの重要性を強調。

AI Agents Consoleは、外部AIエージェントの挙動や利用状況、権限を把握し、エージェント導入の最適化を図るための機能。Salesforceのアルミタ・ペイマンドゥースト氏は、AIエージェントのインパクトを可視化することの重要性を語り、Datadogのオブザーバビリティ進化により、AIエージェントの透明性とスケーラビリティが向上すると期待を示す。詳細はDatadogのウェブサイトで確認できる。