Meskipun sistem AI telah membuat kemajuan besar dalam pengenalan gambar, pembangkitan bahasa, dan eksekusi tugas, mereka sering membuat kesalahan yang tidak terduga, menimbulkan kekhawatiran tentang keamanan dan keandalan. Kesalahan ini dihasilkan dari agen AI yang belajar berdasarkan plausibilitas daripada akurasi, menghasilkan keluaran yang tampak benar berdasarkan informasi yang salah. Seiring AI semakin terintegrasi ke dalam aplikasi dunia nyata, memastikan keputusan AI didasarkan pada data lingkungan aktual menjadi sangat penting.

Argos, sebuah kerangka kerja baru, bertujuan untuk meningkatkan keandalan agen AI dengan berfokus pada pembelajaran penguatan (reinforcement learning), di mana model AI belajar melalui imbalan dan hukuman. Tidak seperti model tradisional yang hanya memberi imbalan pada tindakan yang benar, Argos juga mengevaluasi penalaran di balik tindakan tersebut. Dengan memanfaatkan model skala besar dan pemeriksaan berbasis aturan, Argos memastikan bahwa AI merujuk pada objek dan peristiwa dalam inputnya dan bahwa kesimpulannya konsisten dengan pengamatan.

Argos beroperasi sebagai lapisan validasi pada model multimodal, meneliti akurasi keluaran model, keberadaan objek dan peristiwa yang dirujuk, dan konsistensi kesimpulan dengan bukti visual. Argos menggunakan fungsi agregasi berpintu untuk menyeimbangkan pentingnya skor yang berbeda, dan hanya menekankan pemeriksaan inferensi ketika outputnya benar. Pendekatan ini mencegah umpan balik yang tidak dapat diandalkan memengaruhi pelatihan dan memberikan sinyal penghargaan yang stabil untuk pembelajaran penguatan.

Dampak Argos terlihat jelas dalam kemampuannya untuk melatih model yang mengungguli model dasar yang ada dalam tugas penalaran spasial dan mengurangi halusinasi. Argos juga memungkinkan model untuk berkinerja lebih baik dalam tugas-tugas dunia nyata dengan lebih sedikit sampel pelatihan, menyoroti pentingnya desain penghargaan dalam menciptakan agen AI yang efisien. Penelitian ini menunjukkan pergeseran menuju agen AI yang secara sistematis membangun inferensi berdasarkan input dunia nyata, dengan potensi aplikasi di berbagai domain dan meningkatkan keamanan serta keandalan sistem AI.