New Relic, sebuah platform observasi yang komprehensif, telah memperkenalkan New Relic AI Monitoring (AIM), sebuah solusi manajemen kinerja aplikasi (APM) perintis untuk aplikasi yang didukung AI. AIM memberi para insinyur visibilitas dan wawasan yang tak tertandingi di seluruh tumpukan aplikasi AI, menyederhanakan pemecahan masalah dan optimalisasi aplikasi AI dari perspektif kinerja, kualitas, biaya, dan penggunaan AI yang bertanggung jawab. AIM memiliki lebih dari 50 integrasi dan fitur, seperti penelusuran respons LLM dan perbandingan model, untuk memberikan kepercayaan lebih kepada tim dalam membangun dan menjalankan aplikasi berbasis LLM.

Organisasi menjadi semakin kompleks dengan diperkenalkannya aplikasi yang didukung AI. Komponen AI seperti model bahasa skala besar (LLM) dan database vektor sering kali menjadi tantangan bagi para insinyur, sehingga menghasilkan hasil yang tidak akurat dan bias, masalah keamanan, dan menghasilkan data telemetri dalam jumlah besar yang harus dilacak dan dianalisis. AIM mengatasi masalah ini dengan menyediakan kemampuan observasi menyeluruh untuk aplikasi yang didukung AI. Insinyur dapat mengakses satu tampilan untuk memecahkan masalah, membandingkan, dan mengoptimalkan berbagai permintaan dan respons LLM untuk masalah kinerja, biaya, keamanan, dan kualitas seperti halusinasi, bias, toksisitas, dan keadilan.

AIM New Relic mencakup fitur-fitur utama seperti instrumentasi otomatis, visibilitas tumpukan AI yang lengkap, wawasan penelusuran terperinci ke dalam semua respons LLM, dan kemampuan untuk membandingkan kinerja dan biaya. Fitur-fitur ini memungkinkan para insinyur untuk melacak penggunaan, kinerja, kualitas, dan biaya untuk semua model mereka dalam satu tampilan, dan menggunakan wawasan tentang perintah yang sering ditanyakan, rangkaian pemikiran, templat perintah, dan cache dapat dioptimalkan. Selain itu, AIM menggunakan wawasan pelacakan respons untuk memverifikasi bahwa respons diberi tag dengan benar untuk menunjukkan bahwa respons tersebut dihasilkan oleh AI, dan bebas dari bias, toksisitas, dan halusinasi. Perusahaan bertujuan untuk memastikan penggunaan produk yang aman dan bertanggung jawab.