Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

CuTe, một thành phần quan trọng của CUTLASS 3.x, đã đóng vai trò then chốt trong việc giúp các nhà phát triển kernel tối ưu hóa hiệu suất trên Tensor Core bằng cách đơn giản hóa bố cục dữ liệu và ánh xạ luồng. Tuy nhiên, việc CUTLASS 3.x sử dụng nhiều mẫu C++ đã dẫn đến thời gian biên dịch lâu. Do việc sử dụng Python và biên dịch JIT ngày càng tăng trong quy trình làm việc AI, các nhà phát triển đã giới thiệu CUTLASS 4 để giải quyết những thách thức này.

CuTe DSL, mới được giới thiệu trong CUTLASS 4, đơn giản hóa việc phát triển nhân GPU bằng cách mở rộng khả năng của CuTe sang Python và loại bỏ sự phức tạp của siêu lập trình mẫu C++. Ngôn ngữ chuyên ngành (DSL) này duy trì các nguyên tắc cơ bản giống như CuTe, cung cấp API nhất quán và hiệu quả tương tự trên nhiều chip GPU khác nhau, đồng thời giảm đáng kể thời gian biên dịch so với C++. Các ví dụ về việc sử dụng CuTe DSL có sẵn trên GitHub, giới thiệu ứng dụng của nó cho GEMM dày đặc, GEMM nhóm và Fused Multi-Head Attention (FMHA).

CuTe DSL duy trì các biểu diễn bố cục mạnh mẽ và cấu trúc đại số đặc trưng của CuTe trên kiến ​​trúc GPU NVIDIA trong hơn một thập kỷ. Việc chuyển đổi từ CuTe C++ sang CuTe DSL diễn ra liền mạch đối với các nhà phát triển, với những khác biệt chính nằm ở cú pháp C++ và Python . Tính nhất quán này cho phép các nhà phát triển giảm thời gian biên dịch và dễ dàng tích hợp CuTe DSL vào các nền tảng học sâu dựa trên Python.

Hiệu năng của CuTe DSL đã được đánh giá chuẩn trên nhiều thế hệ GPU NVIDIA, chứng minh rằng nó có thể cung cấp hiệu năng gần như tương đương với CUTLASS C++. Các thử nghiệm ban đầu trên các hoạt động như GEMM dày đặc, GEMM nhóm và FMHA đã cho thấy kết quả khả quan, và việc tiếp tục tối ưu hóa dự kiến ​​sẽ cải thiện hiệu năng hơn nữa. CuTe DSL hỗ trợ các thế hệ GPU NVIDIA từ Ampere đến Blackwell, giúp nó có thể áp dụng cho nhiều môi trường sản xuất khác nhau.