NVIDIA memperkenalkan fitur optimasi dalam CUDA Toolkit 13.0 yang memungkinkan kernel CUDA untuk melakukan spill pada register memori bersama. Fitur ini bertujuan untuk meningkatkan kinerja dengan mengurangi latency spill dan tekanan cache L2 untuk kernel yang menggunakan banyak register. Fitur ini tersedia di semua platform saat menggunakan mode kompilasi seluruh program PTXAS, dan pengembang dapat memilih untuk menggunakannya mulai dari CUDA 13.0.

Optimasi ini bekerja dengan memprioritaskan spilling register berbiaya tinggi ke memori bersama. Jika memori bersama tidak mencukupi, spilling akan dikembalikan ke memori lokal. Pendekatan ini menyimpan nilai spilling dalam memori on-chip berlatensi rendah jika memungkinkan. Fitur ini tidak diaktifkan secara default; pengembang harus mengaktifkannya menggunakan pragma assembly inline enable_smem_spilling dalam definisi kernel mereka.

Secara tradisional, spill register ditangani dengan menempatkan register di memori lokal off-chip dalam memori global perangkat. Hal ini mengakibatkan pengusiran baris cache, yang dapat berdampak negatif pada kinerja, terutama di wilayah dengan banyak register. Dengan fitur baru ini, kompiler mencoba menggunakan memori bersama untuk spill, yang secara signifikan mengurangi latency akses dan meningkatkan kinerja.

Pengembang yang ingin memanfaatkan fitur ini harus menggunakan CUDA 13.0 atau yang lebih baru dan dapat mengaktifkannya dengan menambahkan pragma PTX tertentu melalui assembly inline ke dalam kode mereka. Namun, ada beberapa batasan yang perlu dipertimbangkan, seperti menghindari fitur ini pada kernel yang menggunakan memori bersama yang dialokasikan secara dinamis atau yang secara dinamis mengalokasikan ulang register antar warp. Selain itu, untuk memastikan perilaku yang dapat diprediksi dan peningkatan kinerja, kami menyarankan untuk menggunakan optimasi ini hanya ketika batas peluncuran didefinisikan secara eksplisit.