HackerRank telah meluncurkan ASTRABenchmark, alat terbarunya yang ditujukan untuk mengevaluasi kinerja model AI tingkat lanjut dalam tugas pengembangan perangkat lunak. Benchmark ini dirancang untuk menguji kemampuan AI dalam skenario pengodean dunia nyata menggunakan masalah berbasis proyek yang memiliki banyak berkas. Vivek Ravisankar, CEO HackerRank, menekankan pentingnya memahami gabungan kemampuan manusia dan AI dalam pengembangan perangkat lunak, dan percaya bahwa keahlian mereka di bidang ini menempatkan mereka pada posisi yang menguntungkan untuk mengevaluasi model AI.

ASTRABenchmark menyediakan evaluasi komprehensif model AI, yang menampilkan 65 masalah pengkodean berbasis proyek di 10 bidang keterampilan pengkodean utama. Setiap masalah berisi rata-rata 12 kode sumber dan berkas konfigurasi, dan rata-rata 61 baris kode solusi. Benchmark ini juga menyediakan penilaian terperinci tentang akurasi dan konsistensi model, menggunakan metrik seperti skor rata-rata dan deviasi standar median.

Hasil awal dari ASTRABenchmark menunjukkan bahwa model o1 OpenAI berkinerja lebih baik daripada model lainnya, dengan Claude- -3.5-sonnet menunjukkan hasil yang lebih konsisten. HackerRank membuka sumber acuan untuk mendorong komunitas AI menguji model dan berkontribusi pada kemajuan teknologi AI. Laporan dan analisis lengkap hasil acuan tersedia di situs web HackerRank.

HackerRank adalah pemimpin dalam bidang keterampilan pengembang, melayani lebih dari 2.500 klien dan memiliki komunitas lebih dari 25 juta pengembang. Perusahaan ini dikenal membantu perusahaan menetapkan strategi keterampilan mereka, mempromosikan merek mereka kepada pengembang, dan menerapkan proses perekrutan berbasis keterampilan menggunakan AI. Untuk informasi lebih lanjut tentang ASTRABenchmark, silakan hubungi kami melalui email kontak yang tersedia.