Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Các kỹ sư học máy làm việc với các mô hình ngôn ngữ lớn (LLM) thường phải đối mặt với một thách thức lớn: khi độ dài ngữ cảnh của mô hình tăng lên, chi phí tính toán liên quan đến cơ chế chú ý tăng vọt. Để giải quyết vấn đề này, một kỹ thuật mới gọi là Skip Softmax được giới thiệu. Kỹ thuật này tăng tốc thời gian suy luận mà không cần huấn luyện lại. Tương thích với NVIDIA TensorRT-LLM, kỹ thuật này đạt được tốc độ suy luận nhanh hơn tới 1,4 lần cả về thời gian đến token đầu tiên và thời gian cho mỗi token đầu ra.

Thuật toán Skip Softmax hoạt động bằng cách khai thác tính chất thưa thớt vốn có của các điểm quan tâm trong mô hình tuyến tính hỗn hợp (LLM) và tự động cắt tỉa các khối quan tâm. Bằng cách tính toán logit lớn nhất của một khối và so sánh nó với giá trị lớn nhất toàn cục, chúng ta có thể bỏ qua các khối có đóng góp không đáng kể vào kết quả cuối cùng. Quá trình này không chỉ tiết kiệm tài nguyên tính toán mà còn giảm nhu cầu tải dữ liệu từ bộ nhớ, cho phép sử dụng phần cứng hiệu quả hơn.

Lợi ích của Skip Softmax nằm ở khả năng tương thích với các mô hình được huấn luyện trước hiện có và khả năng tối ưu hóa cho các lõi tensor và hệ thống phân cấp bộ nhớ của GPU NVIDIA Hopper và Blackwell. Khi được sử dụng kết hợp với các kỹ thuật tối ưu hóa khác, chẳng hạn như XAttention, nó có thể cải thiện hiệu suất hơn nữa mà không làm giảm độ chính xác. Kỹ thuật này đặc biệt hiệu quả trong các trường hợp có độ dài ngữ cảnh lớn, giúp giảm đáng kể gánh nặng tính toán trong cả giai đoạn điền trước và giải mã của suy luận LLM.

Để triển khai Skip Softmax, bạn có thể sử dụng thiết lập chú ý thưa (sparse attention) của API LLM trong NVIDIA TensorRT-LLM. Kỹ thuật này được hỗ trợ trên các GPU trung tâm dữ liệu của NVIDIA và có thể được kích hoạt bằng một thay đổi cấu hình đơn giản. Để biết thêm thông tin, vui lòng tham khảo các tài liệu như BLASST: Dynamic Blocked Attention Sparsity via Softmax Thresholding và tài liệu TensorRT-LLM. Các tài liệu này cung cấp thông tin chi tiết về kỹ thuật này và các ứng dụng của nó.