Sebuah tim akademis baru-baru ini menguji kecerdasan buatan dengan First Proof, serangkaian tantangan matematika kompleks yang membutuhkan penalaran ekstensif dan validasi ahli. Masalah-masalah tersebut, yang dirancang oleh spesialis terkemuka, menuntut penyusunan argumen komprehensif, sebuah tugas yang telah membingungkan para ahli selama bertahun-tahun. Model AI tim tersebut mencoba untuk menyelesaikan masalah-masalah ini, dengan upaya pembuktian yang dirilis untuk ditinjau oleh komunitas dan para ahli.

Umpan balik dari komunitas akademis menunjukkan bahwa setidaknya lima upaya pembuktian AI mungkin benar, dengan beberapa lainnya masih dalam pengawasan. Meskipun awalnya yakin dengan salah satu bukti, analisis lebih lanjut membuat tim menyimpulkan bahwa bukti tersebut salah. Para peneliti telah menyatakan apresiasi atas keterlibatan komunitas dan sangat ingin adanya tinjauan berkelanjutan. Mereka telah mempublikasikan upaya pembuktian mereka, termasuk lampiran yang dirancang untuk mereplikasi interaksi manual mereka dengan AI selama proses tersebut.

Tim tersebut menekankan pentingnya tantangan penelitian baru dalam menilai kemampuan model AI generasi berikutnya. Mereka mencatat bahwa tolok ukur tradisional mungkin mengabaikan kompleksitas penelitian, seperti mempertahankan argumen logis dan menangani masalah yang ambigu. Tantangan First Proof berfungsi sebagai uji ketat terhadap kemampuan AI untuk menghasilkan argumen yang dapat diverifikasi dalam lingkungan penelitian.

Model AI dioperasikan dengan intervensi manusia minimal, meskipun beberapa panduan diberikan berdasarkan strategi sukses sebelumnya. Tim juga memanfaatkan umpan balik dari para ahli untuk menyempurnakan bukti AI, dan berkolaborasi dengan ChatGPT untuk verifikasi dan penyempurnaan tambahan. Terlepas dari kecepatan proyek yang cepat, para peneliti mengakui perlunya proses evaluasi yang lebih terstruktur dalam eksperimen di masa mendatang. Inisiatif ini dibangun di atas pencapaian sebelumnya dalam penalaran AI, termasuk skor tinggi di Olimpiade Matematika Internasional dan kontribusi pada penelitian ilmiah di berbagai disiplin ilmu. Tim ingin lebih terlibat dengan komunitas untuk menyempurnakan evaluasi penalaran tingkat penelitian dan mengintegrasikan kemajuan ini ke dalam model AI publik di masa mendatang.