Untuk mengatasi tantangan pembuatan kernel perhatian GPU tanpa pemrograman eksplisit, teknisi NVIDIA melakukan eksperimen dengan model AI DeepSeek-R1 sumber terbuka. Dengan memanfaatkan daya komputasi tambahan selama fase inferensi, model tersebut mampu menghasilkan kernel yang, dalam beberapa kasus, mengungguli kernel yang dibuat oleh teknisi berpengalaman. Pendekatan ini, yang disebut penskalaan waktu pengujian, meningkatkan kinerja AI dengan mempertimbangkan beberapa hasil sebelum memilih yang paling efektif.

Konsep perhatian telah memainkan peran penting dalam kemajuan model bahasa skala besar (LLM), yang memungkinkan AI untuk fokus pada segmen data yang relevan guna meningkatkan prediksi dan menemukan pola tersembunyi. Namun, kompleksitas operasi perhatian bertambah seiring dengan panjangnya urutan input, yang memerlukan kernel GPU yang dioptimalkan demi efisiensi dan menghindari masalah waktu proses. Teknisi sering kali menggabungkan berbagai varian perhatian untuk menangani tugas tertentu, yang selanjutnya mempersulit pembuatan kernel yang dioptimalkan ini.

Untuk mengatasi kompleksitas ini, teknisi NVIDIA merancang alur kerja yang menggabungkan model DeepSeek-R1 dengan alat validasi yang berjalan pada GPU NVIDIA H100. Dimulai dengan perintah manual, sistem loop tertutup ini menyempurnakan kode GPU yang dihasilkan secara berulang. Proses 15 menit tersebut menghasilkan kernel yang benar secara numerik untuk semua masalah Level 1 dan 96% masalah Level 2, menurut tolok ukur KernelBench Universitas Stanford.

Hasil dari eksperimen kami menunjukkan bahwa memanfaatkan penskalaan waktu pengujian dapat secara signifikan meningkatkan pembuatan kernel GPU yang dioptimalkan. Kemampuan model DeepSeek-R1 untuk secara otomatis menghasilkan kernel perhatian yang efektif menunjukkan potensi area penelitian baru ini. Meskipun lebih banyak pekerjaan diperlukan untuk mencapai hasil yang baik secara konsisten pada rentang masalah yang lebih luas, hasil awal cukup menjanjikan. Pihak yang berminat dapat mempelajari lebih lanjut di layanan mikro NIM DeepSeek-R1.