CuTe, elemen kunci CUTLASS 3.x, telah berperan penting dalam membantu pengembang kernel mengoptimalkan kinerja pada Tensor Core dengan menyederhanakan tata letak data dan pemetaan thread. Namun, penggunaan templat C++ yang berlebihan pada CUTLASS 3.x menyebabkan waktu kompilasi yang lama. Mengingat meningkatnya penggunaan Python dan kompilasi JIT dalam alur kerja AI, para pengembang memperkenalkan CUTLASS 4 untuk mengatasi tantangan ini.

Bahasa pemrograman khusus domain (DSL) CuTe, yang baru diperkenalkan di CUTLASS 4, menyederhanakan pengembangan kernel GPU dengan memperluas kapabilitas CuTe ke Python dan menghilangkan kerumitan metaprogramming templat C++. Bahasa pemrograman khusus domain (DSL) ini mempertahankan prinsip dasar yang sama dengan CuTe, menyediakan API yang konsisten dan efisiensi yang serupa di berbagai chip GPU sekaligus mengurangi waktu kompilasi secara signifikan dibandingkan dengan C++. Contoh penggunaan DSL CuTe tersedia di GitHub, yang menunjukkan penerapannya pada GEMM padat, GEMM berkelompok, dan Fused Multi-Head Attention (FMHA).

CuTe DSL mempertahankan representasi tata letak dan struktur aljabar yang tangguh yang telah menjadi ciri khas CuTe pada arsitektur GPU NVIDIA selama lebih dari satu dekade. Transisi dari CuTe C++ ke CuTe DSL berjalan mulus bagi para pengembang, dengan perbedaan utama terletak pada sintaksis C++ dan Python . Konsistensi ini memungkinkan pengembang untuk mengurangi waktu kompilasi dan dengan mudah mengintegrasikan CuTe DSL ke dalam kerangka kerja pembelajaran mendalam berbasis Python.

Performa CuTe DSL telah diuji pada beberapa generasi GPU NVIDIA, menunjukkan bahwa performanya hampir setara dengan CUTLASS C++. Pengujian awal pada operasi seperti GEMM padat, GEMM berkelompok, dan FMHA telah menunjukkan hasil yang menjanjikan, dan optimasi lanjutan diharapkan dapat meningkatkan performa lebih lanjut. CuTe DSL mendukung generasi GPU NVIDIA dari Ampere hingga Blackwell, sehingga dapat diterapkan di berbagai lingkungan produksi.