Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

CUTLASS giới thiệu một hệ thống phân cấp mới cho việc triển khai Phép nhân Ma trận Tổng quát (GEMM), mang lại tính linh hoạt cao hơn và mở rộng hỗ trợ cho các kiến trúc NVIDIA mới. Phương pháp tiếp cận mô-đun này cho phép chỉ định các siêu tham số khác nhau có thể tùy chỉnh dựa trên yêu cầu phần cứng và người dùng. Thiết kế lại này trong loạt 3.x tập trung vào việc xây dựng một hệ thống các khối xây dựng trực giao, có thể cấu hình, giúp cải thiện khả năng đọc mã và tối đa hóa phạm vi bao phủ của các triển khai GEMM.

Thiết kế phân cấp của CUTLASS 3.x bao gồm năm lớp riêng biệt, mỗi lớp đóng vai trò là điểm tổng hợp cho lớp trừu tượng trước đó. Điều này cho phép người dùng tận dụng các lớp cấp cao hơn để triển khai GEMM hiệu quả, hoặc các lớp cấp thấp hơn để tùy chỉnh nâng cao. Thiết kế này phù hợp với thiết kế phần cứng phân cấp của GPU, khiến nó cũng phù hợp với các ứng dụng GPU khác.

Phương pháp xây dựng hạt nhân GEMM của CUTLASS được trình bày chi tiết trong bài đăng blog thứ hai của loạt bài. Bài viết mô tả cách các vi hạt nhân không gian được xây dựng bằng cách sử dụng các phép trừu tượng CuTe cấp thấp. Các vi hạt nhân này có thể được xen kẽ và xếp chồng tùy ý. Lớp tập thể điều phối việc thực thi các vi hạt nhân này, sử dụng đồng bộ hóa theo kiến trúc cụ thể, để tính toán một ô đầu ra duy nhất.

Lớp nhân bao phủ toàn bộ không gian bài toán và mở rộng công việc của nhóm lên lưới, trong khi lớp thiết bị cung cấp thiết lập và giao diện phía máy chủ. CUTLASS cung cấp nhiều triển khai vòng lặp chính và phần kết chuyên biệt cho nhóm, có sẵn trong thư mục nhóm GEMM trên GitHub. Các thành phần này có khả năng tùy chỉnh cao, cho phép người dùng chỉ định chính xác vòng lặp chính GEMM.

Triết lý thiết kế của CUTLASS nhấn mạnh tầm quan trọng của khả năng kết hợp và tính trực giao trong việc tạo ra một triển khai GEMM có thể tùy chỉnh. Cấu trúc của thư viện hướng đến việc cho phép triển khai GEMM đa dạng, có khả năng tùy chỉnh cao với khả năng tái sử dụng mã nguồn cao. Người dùng quan tâm đến thiết kế này có thể truy cập phần mềm trên GitHub, tham khảo tài liệu hoặc tham gia diễn đàn dành cho nhà phát triển để thảo luận thêm.