Kaggle telah memperkenalkan fitur baru bernama Community Benchmarks, yang memungkinkan komunitas AI global untuk membuat, menjalankan, dan berbagi benchmark untuk mengevaluasi model AI. Inisiatif ini mengikuti rilis sebelumnya dari Kaggle Benchmarks, yang menyediakan akses ke evaluasi oleh kelompok penelitian terkemuka. Seiring model AI menjadi lebih kompleks, alat baru ini menjawab kebutuhan akan evaluasi kinerja yang lebih rinci, melampaui metrik statis untuk mengevaluasi model yang memungkinkan kolaborasi, penulisan kode, dan penggunaan alat bantu.

Tolok ukur komunitas platform ini menyediakan kerangka kerja yang transparan dan fleksibel bagi pengembang untuk memvalidasi model AI terhadap kasus penggunaan spesifik, memfasilitasi transisi dari kode eksperimental ke aplikasi siap produksi. Pendekatan yang digerakkan oleh pengguna ini memungkinkan proses evaluasi yang dinamis dan ketat yang berkembang sesuai dengan kebutuhan mereka yang menerapkan sistem AI.

Untuk memanfaatkan tolok ukur komunitas, pengembang pertama-tama membuat tugas yang menguji model AI mereka pada berbagai masalah, seperti inferensi multi-tahap atau pengenalan gambar. Dengan mengelompokkan tugas-tugas ini ke dalam tolok ukur, mereka dapat membandingkan kinerja model yang berbeda dan membuat papan peringkat. Tolok ukur membantu dalam pembuatan prototipe tugas baru dengan cepat dengan menyediakan akses ke model AI terkemuka, memastikan reproduksibilitas hasil, dan mendukung interaksi yang kompleks.

Layanan baru Kaggle ini didukung oleh SDK kaggle-benchmarks, dan platform ini menyediakan sumber daya seperti buku panduan benchmark dan contoh tugas untuk membantu pengguna memulai. Dengan berpartisipasi dalam benchmark komunitas, pengguna dapat berkontribusi pada evolusi evaluasi AI dan membentuk masa depan bagaimana kemajuan dalam AI diukur.