NVIDIA telah memperkenalkan alur kerja untuk mengoptimalkan LangChain Deep Agents dengan NVIDIA Nemotron 3 Ultra, yang menunjukkan bagaimana kustomisasi kerangka kerja agen dapat secara signifikan meningkatkan kinerja tanpa memerlukan penyempurnaan model.

Alih-alih melatih ulang model bahasa, pengembang dapat memodifikasi perintah, middleware, deskripsi alat, dan logika eksekusi dalam kerangka kerja agen agar lebih sesuai dengan perilaku model. Pendekatan ini bergantung pada evaluasi berbasis benchmark untuk mengidentifikasi kegagalan, menerapkan peningkatan yang ditargetkan, dan memverifikasi peningkatan sambil mencegah regresi.

Dalam satu contoh, NVIDIA mengatasi masalah paginasi file dengan menambahkan middleware yang menginstruksikan agen untuk terus membaca file besar ketika konten tambahan kemungkinan tersedia. Perubahan tersebut menyelesaikan semua kegagalan benchmark terkait dan meningkatkan skor evaluasi keseluruhan dari 94 menjadi 96 dari 127.

Perusahaan juga menjelaskan siklus optimasi otomatis di mana agen AI menganalisis kegagalan benchmark, mengusulkan modifikasi pada profil kerangka kerja, memvalidasi setiap perubahan melalui pengujian berulang, dan hanya mempertahankan peningkatan yang secara konsisten lolos evaluasi. Proses ini mencakup mekanisme pengembalian (rollback) dan pengulangan benchmark penuh untuk mengurangi risiko overfitting.

Menurut NVIDIA, metodologi optimasi yang sama dapat diterapkan pada kerangka kerja agen lainnya, asalkan mereka menyediakan benchmark evaluasi, profil harness yang dapat dikonfigurasi, dan mekanisme untuk memvalidasi peningkatan iteratif.