PaperBench diperkenalkan sebagai tolok ukur baru yang dirancang untuk mengevaluasi kemampuan agen AI dalam mereproduksi penelitian AI terkini. Tolok ukur ini menantang agen untuk mereproduksi hasil dari 20 makalah terpilih dari konferensi ICML 2024, yang mengharuskan mereka memahami kontribusi asli, mengembangkan basis kode mereka sendiri, dan menjalankan eksperimen yang berhasil. Tolok ukur ini terdiri dari lebih dari 8.000 tugas yang dapat dinilai, dengan setiap tugas yang direplikasi dibagi menjadi subtugas yang lebih kecil dan terdefinisi dengan baik untuk memungkinkan evaluasi yang tepat.

Untuk memastikan keakuratan dan realisme proses evaluasi, kreator PaperBench bekerja sama dengan penulis paper ICML untuk mengembangkan rubrik bersama. Rubrik ini berfungsi sebagai panduan untuk menilai upaya replikasi agen AI. Selain itu, juri berbasis AI yang dilengkapi dengan model bahasa dikembangkan untuk menilai upaya ini secara otomatis. Kinerja juri AI ini juga dievaluasi oleh tolok ukur terpisah yang dibuat khusus untuk juri.

Dalam evaluasi terkini, PaperBench digunakan untuk menguji beberapa model AI terkemuka. Hasil menunjukkan bahwa agen dengan skor tertinggi, Claude 3.5 Sonnet yang didukung oleh perangkat sumber terbuka, mencapai skor replikasi rata-rata sebesar 21,0%. Namun, jika dibandingkan dengan pakar manusia, model AI tersebut belum melampaui kinerja pakar pembelajaran mesin teratas yang digunakan untuk menantang sebagian tugas tolok ukur.

Tim di balik PaperBench merilis kode tersebut dengan tujuan untuk mendorong penelitian lebih lanjut mengenai kemampuan rekayasa agen AI. Upaya ini diharapkan dapat berkontribusi pada kemajuan R&D AI dengan menyediakan platform yang kuat untuk evaluasi kinerja yang objektif.