Datadog(New York) mengumumkan fitur-fitur baru untuk mendukung pemantauan dan eksperimen agen AI pada konferensi tahunannya "DASH." Fitur-fitur baru tersebut meliputi Pemantauan Agen AI, Eksperimen LLM, dan Konsol Agen AI, yang memvisualisasikan pengoperasian agen AI dan membantu memusatkan evaluasi dan pengelolaan kualitas aplikasi LLM.

Munculnya Generative AI dan agen otonom mengubah cara perusahaan mengembangkan dan menyediakan perangkat lunak. Banyak perusahaan menghadapi tantangan dalam memahami perilaku dan nilai sistem AI. Datadog telah memperkenalkan metodologi observabilitas yang menggunakan log dan metrik untuk memahami dan menganalisis status internal sistem AI.

Fitur-fitur baru ini memungkinkan perusahaan untuk memantau perilaku sistem AI mereka, menjalankan eksperimen pada LLM, dan mengevaluasi tren penggunaan agen dan dampaknya. Hal ini memungkinkan penerapan yang cepat dan aman serta peningkatan berkelanjutan pada aplikasi LLM. Irie Garnier dari Datadog mengatakan fitur-fitur baru ini diumumkan dengan tujuan untuk meningkatkan efektivitas investasi AI.

Pemantauan Agen AI memvisualisasikan alur pengambilan keputusan agen dalam grafik interaktif. Kegagalan seperti peningkatan latency yang tiba-tiba, panggilan alat yang salah, dan loop tak terbatas dapat dianalisis, dan dipahami dalam kaitannya dengan kualitas, keamanan, dan biaya. Timothée Lacroix dari Mistral AI mengatakan bahwa observabilitas memungkinkan untuk memahami dan menganalisis perilaku agen AI secara real time.

Eksperimen LLM adalah fungsi untuk memverifikasi faktor-faktor yang memengaruhi kinerja aplikasi LLM. Eksperimen yang menggunakan data jejak dan kumpulan data pelanggan memungkinkan pemahaman kuantitatif tentang dampak peningkatan akurasi dan biaya respons serta mencegah regresi. Michael Gerstenhaber dari Anthropic menekankan pentingnya observabilitas.

Konsol Agen AI merupakan fungsi untuk memahami perilaku, penggunaan, dan izin agen AI eksternal serta mengoptimalkan penerapan agen. Almita Paymandost dari Salesforce berbicara tentang pentingnya memvisualisasikan dampak agen AI, dan mengungkapkan harapannya bahwa evolusi observabilitas Datadog akan meningkatkan transparansi dan skalabilitas agen AI. Informasi selengkapnya dapat ditemukan di situs web Datadog .