Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã giới thiệu một kỹ thuật tối ưu hóa khối lượng công việc AI mới có tên Flash Attention, giúp tăng cường hiệu quả của cơ chế chú ý trong các mô hình Transformer. Phương pháp này, được mô tả chi tiết trong một nghiên cứu trường hợp gần đây, giải quyết thách thức xử lý các ma trận chú ý lớn có thể làm chậm đáng kể quá trình tính toán do hạn chế về băng thông bộ nhớ.

Flash Attention tránh việc tạo ra toàn bộ ma trận chú ý bằng cách xử lý các ma trận đầu vào Truy vấn (Q), Khóa (K) và Giá trị (V) thành các khối nhỏ hơn phù hợp với bộ nhớ chia sẻ trên chip (SMEM). Nó sử dụng phép tính softmax trực tuyến để tính toán softmax một cách tăng dần mà không cần toàn bộ hàng, và kết hợp các phép toán để kết hợp phép nhân ma trận và softmax vào một lần xử lý kernel duy nhất. Điều này giúp tăng tốc độ từ 2-4 lần và tiết kiệm bộ nhớ đáng kể, cho phép xử lý độ dài ngữ cảnh dài hơn.

Nghiên cứu này cũng đi sâu vào các kỹ thuật tiên tiến như mẫu FMA, toán học nhanh, chia vòng lặp và phân mảnh thích ứng để tối đa hóa hiệu suất. Những kỹ thuật này đặc biệt hữu ích cho các mô hình ngôn ngữ lớn (LLM) hiện đại, vốn yêu cầu xử lý hiệu quả các chuỗi dữ liệu mở rộng.

Đối với các nhà phát triển quan tâm đến việc triển khai Flash Attention, nghiên cứu này cung cấp hướng dẫn mã nguồn hoàn chỉnh sử dụng NVIDIA cuTile, một thư viện Python hỗ trợ việc tạo các nhân GPU tùy chỉnh. Mã nguồn được thiết kế để sẵn sàng cho môi trường sản xuất và tương thích với CUDA 13.1 trở lên, GPU kiến ​​trúc NVIDIA Blackwell và Python 3.10 trở lên.

Bài báo cũng thảo luận về tầm quan trọng của cơ chế chú ý trong các mô hình Transformer, cho phép mỗi token trong một chuỗi xem xét đóng góp của mọi token khác. Điều này rất quan trọng đối với các tác vụ như dịch ngôn ngữ, tóm tắt văn bản và các ứng dụng xử lý ngôn ngữ tự nhiên khác.

Bằng cách đưa ra giải pháp cho vấn đề băng thông bộ nhớ và chứng minh cách các tối ưu hóa đơn giản đôi khi có thể phản tác dụng, Flash Attention của NVIDIA cung cấp một nguồn tài nguyên quý giá cho các nhà phát triển AI đang tìm cách nâng cao hiệu suất của các mô hình dựa trên Transformer của họ.