Organisasi ini baru-baru ini memperluas ComputeEval, sebuah tolok ukur sumber terbuka untuk mengevaluasi model AI pada tugas pemrograman CUDA, dengan menambahkan lebih dari 100 tantangan baru. Dataset ini kini terdiri dari 232 soal, yang menggabungkan fitur-fitur CUDA tingkat lanjut dan aplikasi dunia nyata. Pembaruan ini bertujuan untuk meningkatkan evaluasi kemampuan AI dalam menangani tugas-tugas komputasi yang kompleks.

Kami menetapkan metrik kinerja dengan menguji beberapa model bahasa terkemuka menggunakan ComputeEval. Hasilnya menunjukkan penurunan skor pada versi baru, yang mengindikasikan peningkatan kesulitan benchmark, alih-alih penurunan kemampuan model AI. Evaluasi ini memungkinkan AI untuk lebih memahami kompleksitas komputasi terakselerasi.

Perusahaan berencana untuk mengembangkan ComputeEval lebih lanjut dengan menambahkan pustaka CUDA-X dan mengundang kontribusi dari komunitas komputasi kinerja tinggi dan AI. Pihak yang berminat dapat mengakses kode di GitHub dan kumpulan data di Hugging Face, yang mendorong kolaborasi dan inovasi dalam pemrograman CUDA berbasis AI.