CUTLASS memperkenalkan sistem hierarkis baru untuk implementasi General Matrix Multiplication (GEMM), yang memberikan fleksibilitas lebih tinggi dan memperluas dukungan untuk arsitektur NVIDIA baru. Pendekatan modular ini memungkinkan spesifikasi berbagai hiperparameter yang dapat disesuaikan berdasarkan perangkat keras dan kebutuhan pengguna. Desain ulang pada seri 3.x ini berfokus pada pembangunan sistem blok penyusun ortogonal yang dapat dikonfigurasi, yang meningkatkan keterbacaan kode dan memaksimalkan cakupan implementasi GEMM.

Desain hierarkis CUTLASS 3.x terdiri dari lima lapisan berbeda, dengan setiap lapisan bertindak sebagai titik komposisi untuk abstraksi lapisan sebelumnya. Hal ini memungkinkan pengguna untuk memanfaatkan lapisan tingkat yang lebih tinggi untuk implementasi GEMM yang efisien, atau lapisan tingkat yang lebih rendah untuk kustomisasi tingkat lanjut. Desain ini konsisten dengan desain perangkat keras hierarkis GPU, sehingga cocok untuk aplikasi GPU lainnya.

Pendekatan konstruksi kernel GEMM CUTLASS dijelaskan secara rinci dalam postingan blog kedua dalam seri ini. Postingan ini menjelaskan bagaimana mikrokernel spasial dibangun menggunakan abstraksi CuTe tingkat rendah. Mikrokernel-mikrokernel ini dapat disisipkan dan diubinkan secara acak. Lapisan kolektif mengoordinasikan eksekusi mikrokernel-mikrokernel ini, menggunakan sinkronisasi khusus arsitektur, untuk menghitung satu ubin keluaran.

Lapisan kernel mencakup seluruh ruang permasalahan dan menskalakan pekerjaan ensemble ke grid, sementara lapisan perangkat menyediakan pengaturan dan antarmuka sisi host. CUTLASS menyediakan berbagai implementasi loop utama ensemble khusus dan epilog yang tersedia di folder ensemble GEMM di GitHub. Komponen-komponen ini sangat dapat dikustomisasi, memungkinkan pengguna untuk menentukan loop utama GEMM secara tepat.

Filosofi desain CUTLASS menekankan pentingnya komposisi dan ortogonalitas dalam menciptakan implementasi GEMM yang dapat dikustomisasi. Struktur pustaka ini bertujuan untuk memungkinkan berbagai implementasi GEMM yang sangat dapat dikustomisasi dengan tingkat penggunaan ulang kode yang tinggi. Pengguna yang tertarik dengan desain ini dapat mengakses perangkat lunak di GitHub, melihat dokumentasi, atau bergabung dengan forum pengembang untuk diskusi lebih lanjut.