Datadog, Inc. (NASDAQ:DDOG) yang berbasis di San Francisco menyediakan platform pemantauan dan keamanan untuk aplikasi cloud. Hari ini, Datadog mengumumkan fitur-fitur baru untuk membantu Anda memantau dan memecahkan masalah dalam aplikasi berbasis AI generatif Anda. Fitur berbasis AI generatif seperti AI Assistant dan CoPilot dengan cepat menjadi bagian penting dari peta jalan produk perangkat lunak apa pun. Meskipun fitur-fitur baru ini menarik, penerapannya dalam aplikasi yang dihadapi pelanggan menimbulkan banyak tantangan dalam hal biaya, ketersediaan, dan akurasi. Tumpukan teknologi yang digunakan dalam AI generatif berkembang pesat, dengan kerangka aplikasi, model, database vektor, rantai layanan, dan teknologi pendukung baru yang diadopsi dan digunakan dengan cepat. Untuk beradaptasi dengan perubahan ini, perusahaan memerlukan solusi observasi yang dapat beradaptasi dan berkembang dengan tumpukan AI mereka. Hari ini, Datadog memperkenalkan Observabilitas AI Generatif untuk membantu tim dengan percaya diri menerapkan aplikasi berbasis model bahasa skala besar (LLM) ke dalam produksi dan memecahkan masalah kesehatan, biaya, dan akurasi secara real-time. Kemampuan ini mencakup integrasi tumpukan AI end-to-end, termasuk: - Infrastruktur dan Komputasi AI: NVIDIA, CoreWeave, AWS, Azure, Google Cloud - Penyematan dan Manajemen Data: Weaviate, Pinecone, Airbyte - Penyajian dan Penerapan Model: Torchserve, VertexAI, Amazon Sagemaker - Lapisan Model: OpenAI, Azure OpenAI - Kerangka Orkestrasi : LangChain Selain itu, Datadog juga merilis solusi terintegrasi untuk LLM Observability dalam versi beta. LLM Observability mengumpulkan dan menggabungkan data dari aplikasi, model, dan berbagai fitur kolaboratif untuk membantu para insinyur dengan cepat mendeteksi dan menyelesaikan masalah aplikasi seperti lonjakan biaya model, penurunan kinerja, penyimpangan, dan halusinasi. Observabilitas LLM mencakup beberapa fitur berikut: - Katalog Model: Pantau dan waspadai penggunaan model, biaya, dan kinerja API. - Kinerja Model: Identifikasi masalah kinerja model berdasarkan berbagai karakteristik data yang tersedia, seperti panjang respons dan cepat, latensi API, dan jumlah token. - Model Drift: Mengklasifikasikan perintah dan respons ke dalam kelompok, memungkinkan Anda melacak kinerja dan mendeteksi penyimpangan dari waktu ke waktu. kata Yrieix Garnier, wakil presiden produk di Datadog. “Sangat penting untuk mengukur waktu dan sumber daya yang diinvestasikan tim dalam model AI, terutama seiring dengan modernisasi teknologi. Kemampuan integrasi AI/LLM Datadog kini tersedia secara umum. Observabilitas LLM Datadog saat ini tersedia dalam versi beta.