Datadog, Inc. は、顧客が生成 AI ベースのアプリケーションの問題を監視およびトラブルシューティングできるようにする新機能を導入しました。 AI アシスタントやコパイロットなどの生成型 AI 機能がソフトウェア製品ロードマップにおいてますます重要になるにつれ、組織はそれらを顧客向けアプリケーションに導入する際のコスト、可用性、精度に関する課題に直面しています。生成 AI で使用される技術スタックは急速に進化しており、新しいアプリケーション フレームワーク、モデル、ベクトル データベース、サービス チェーン、サポート テクノロジーが採用され、広範囲に使用されています。これらの進歩に追いつくために、組織は AI スタックとともに適応および進化できる可観測性ソリューションを必要としています。これらのニーズに対応するために、 Datadog は生成 AI 可観測性機能の包括的なセットを発表しました。これらの機能には、AI インフラストラクチャとコンピューティング (NVIDIA、CoreWeave、AWS、 Azure、 Google Cloud)、埋め込みとデータ管理 (Weaviate、Pinecone、Airbyte)、モデルの提供とデプロイメント (Torchserve、VertexAI、 Amazon Sagemaker)、モデル層 (OpenAI およびAzure OpenAI)、およびオーケストレーション フレームワーク (LangChain)をカバーする、エンドツーエンドの AI スタックの統合が含まれます。さらに、 Datadog はLLM (Large Language Model) 可観測性の完全なソリューションをベータ版でリリースしました。このソリューションは、アプリケーション、モデル、さまざまな統合からのデータを統合し、エンジニアが実際のアプリケーションの問題を迅速に検出して解決できるようにします。これにより、モデルの使用状況、コスト、 APIパフォーマンスの監視とアラートが可能になり、さまざまなデータ特性に基づいてモデルのパフォーマンスの問題を特定し、プロンプトと応答をクラスターに分類して、時間の経過に伴うパフォーマンスの追跡とドリフト検出を行うことができます。Datadogの製品担当副社長である Yrieix Garnier 氏は、特に技術スタックが最新化を続ける中、AI モデルに投資された時間とリソースを測定することの重要性を強調しました。 Datadogが提供する最新の LLM モニタリング機能と AI スタックの統合は、組織が LLM ベースのアプリケーションと機能をモニタリングおよび改善すると同時に、コスト効率も高めるのに役立ちます。Datadog の AI/LLM 統合は現在一般提供されており、LLM 可観測性ソリューションは現在プライベート ベータ版です。これらの新機能により、組織は自信を持って LLM ベースのアプリケーションを実稼働環境に導入し、健全性、コスト、正確性のトラブルシューティングをリアルタイムで行うことができます。