Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

サンフランシスコを拠点とするDatadog, Inc.（NASDAQ：DDOG）は、クラウドアプリケーション向けの監視およびセキュリティのプラットフォームを提供しています。本日、Datadogは、生成AIベースのアプリケーションにおける問題の監視とトラブルシューティングを支援する新機能を発表しました。AIアシスタントやコパイロットなどの生成AIベースの機能は、あらゆるソフトウェア製品のロードマップにおいて、急速に重要な役割を担うようになっています。こうした新機能に期待が高まっていますが、これらを顧客対応アプリケーションに導入すると、コスト、可用性、正確性などの点で多くの課題が生じます。生成AIで使用される技術スタックが飛躍的な進化を遂げている中、新たなアプリケーションフレームワーク、モデル、ベクトルデータベース、サービスチェーンおよびサポート技術が急速に採用され使用されるようになりました。企業がこのような変化に対応するには、AIスタックに適合し進化できるオブザーバビリティソリューションが必要です。本日、Datadogはチームが自信を持って大規模言語モデル（LLM）ベースのアプリケーションを本稼働環境に導入し、健全性、コスト、正確性をリアルタイムでトラブルシューティングできるよう支援する、生成AIオブザーバビリティの広範な機能セットを発表しました。これらの機能には、以下のようなエンドツーエンドのAIスタックの統合が含まれます。- AIインフラストラクチャーとコンピューティング：NVIDIA、CoreWeave、AWS、Azure、Google Cloud- 埋め込みとデータ管理：Weaviate、Pinecone、Airbyte- モデルサービングとデプロイメント：Torchserve、VertexAI、Amazon Sagemaker- モデルレイヤー：OpenAI、Azure OpenAI- オーケストレーションフレームワーク：LangChainさらにDatadogは、LLM Observabilityの統合ソリューションもベータ版としてリリースしました。LLM Observabilityは、アプリケーション、モデル、およびさまざまな連携機能からデータを収集し、組み合わせることで、エンジニアがモデルコストの急増、パフォーマンスの低下、ドリフト、ハルシネーションなどのアプリケーションの問題を迅速に検出して解決するのを支援し、エンドユーザー体験をさらに向上します。LLM Observabilityには以下の機能が含まれます。- モデルカタログ：モデルの使用状況、コスト、APIパフォーマンスを監視しアラートを出します。- モデルパフォーマンス：プロンプトとレスポンスの長さ、APIレイテンシー、トークン数など、すぐに提供されるさまざまなデータの特性に基づいて、モデルのパフォーマンスの問題を特定します。- モデルドリフト：プロンプトとレスポンスをクラスタに分類し、時間の経過に伴うパフォーマンスの追跡とドリフトの検出が可能になります。Datadogの製品担当バイスプレジデントであるYrieix Garnierは次のように述べています。「特に技術スタックの近代化が進む中では、チームがAIモデルに投資している時間とリソースを測定することが欠かせません。これらの最新のLLM監視機能とAIスタックの統合は、組織がLLMベースのアプリケーションと機能を監視し改善するのに役立つとともに、コスト効率も向上させることができます。」DatadogのAI/LLM統合機能は一般提供を開始しました。DatadogのLLM Observabilityは、現在ベータ版を利用できます。