Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Những tiến bộ mới nhất trong công nghệ AI đang được thúc đẩy bởi nhu cầu quản lý các cơ chế chú ý phức tạp trong các mô hình ngôn ngữ lớn (LLM). Các mô hình này, vốn rất cần thiết để hiểu và tạo ra văn bản giống con người, ngày càng dựa vào các lược đồ chú ý tinh vi như Chú ý tiềm ẩn đa đầu (MLA) và Chú ý truy vấn nhóm (GQA). Tốc độ hoạt động của các mô hình này không chỉ phụ thuộc vào sức mạnh xử lý mà còn phụ thuộc vào hiệu quả của hàm softmax, một phép toán siêu việt rất quan trọng để chuẩn hóa điểm số chú ý.

Hàm softmax, đặc biệt là sự phụ thuộc của nó vào hàm mũ tự nhiên, đã trở thành một trở ngại tính toán đáng kể trong quá trình xử lý AI. Hàm này, được thực thi trên các Đơn vị Chức năng Đặc biệt (SFU), là một bước quan trọng trong cơ chế chú ý của LLM, nơi nó chuẩn hóa điểm chú ý để xác định mức độ liên quan của các mẩu thông tin khác nhau. Tuy nhiên, kiến ​​trúc của các hệ thống AI hiện nay thường dẫn đến tắc nghẽn, vì các công cụ ma trận mạnh mẽ phải chờ SFU hoàn thành nhiệm vụ của chúng, gây ra sự chậm trễ trong toàn bộ quy trình xử lý.

Để giải quyết thách thức này, NVIDIA đã giới thiệu một cải tiến cho kiến ​​trúc của mình, được gọi là Blackwell Ultra, giúp tăng gấp đôi thông lượng SFU so với kiến ​​trúc Blackwell tiêu chuẩn. Cải tiến này được thiết kế để khắc phục nút thắt cổ chai softmax, cho phép xử lý cơ chế chú ý hiệu quả hơn và hiệu suất tổng thể nhanh hơn. Kiến trúc Blackwell Ultra đạt được điều này bằng cách giảm latency trong pha softmax của vòng lặp chú ý, từ đó giảm thiểu thời gian nhàn rỗi của các bộ xử lý ma trận và tối đa hóa thời gian xử lý hoạt động của chúng.

Tác động của kiến ​​trúc Blackwell Ultra đối với xử lý AI là rất đáng kể, với các bài kiểm tra hiệu năng cho thấy sự gia tăng đáng kể về thông lượng cho nhiều hoạt động khác nhau. Điều này đặc biệt rõ ràng trong hiệu năng lan truyền tiến của các mô hình, nơi thông lượng SFU tăng lên dẫn đến việc thực thi nhanh hơn các lớp softmax trong các khối chú ý. Kết quả là, tốc độ tổng thể của quá trình lan truyền tiến được tăng lên, chứng tỏ tầm quan trọng của việc tối ưu hóa không chỉ các phép tính tuyến tính mà còn cả các phép toán phi tuyến tính trong các hệ thống AI. Việc NVIDIA tiếp tục tập trung vào thiết kế và tối ưu hóa đồng thời phần cứng và phần mềm dự kiến ​​sẽ tiếp tục nâng cao khả năng của các mô hình AI và các ứng dụng của chúng.