NVIDIA menerbitkan panduan yang menguraikan perbedaan antara mengevaluasi model AI dan mengevaluasi agen AI, menekankan bahwa agen produksi memerlukan penilaian berbasis lintasan, bukan hanya penilaian tolok ukur statis.

Perusahaan tersebut mengatakan bahwa evaluasi agen harus memprioritaskan metrik seperti Tingkat Keberhasilan Tugas, Akurasi Panggilan Alat, dan Efisiensi Trajektori untuk mengukur eksekusi alur kerja di lingkungan yang dinamis.

Hal ini juga menyoroti pentingnya pemilihan alat pemantauan, compliance skema, latency, penggunaan token, dan kualitas penalaran untuk mengidentifikasi kelemahan operasional dan konsumsi sumber daya yang berlebihan.

NVIDIA memperkenalkan NeMo Agent Toolkit sebagai kerangka kerja untuk pengembangan berbasis evaluasi, yang memungkinkan pengembang untuk menangkap lintasan, panggilan alat, dan metrik hasil di seluruh sistem agen yang ada.