Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã giới thiệu định dạng dấu phẩy động 4 bit mới, NVFP4, như một phần của kiến trúc GPU Blackwell. NVFP4 được thiết kế để duy trì độ chính xác về số trong các tác vụ suy luận AI trong khi sử dụng định dạng có độ chính xác cực thấp. Điều này đạt được thông qua hai cải tiến về kiến trúc: mã hóa tỷ lệ có độ chính xác cao và chiến lược tỷ lệ khối vi mô hai cấp. Những cải tiến này cho phép biểu diễn giá trị chính xác hơn và giảm đáng kể lỗi lượng tử hóa. Điều này rất quan trọng đối với các nhà phát triển muốn mở rộng Blackwell một cách hiệu quả với độ chính xác cao nhất ở độ chính xác cực thấp.

Định dạng NVFP4 cung cấp các hệ số tỷ lệ có độ chính xác cao hơn so với các định dạng trước đây, giảm thiểu lỗi làm tròn tổng thể và giúp bảo toàn trí thông minh của mô hình khi lượng tử hóa thành 4 bit. Điều này đặc biệt quan trọng đối với các mô hình AI lớn có hiệu suất có thể bị suy giảm do lỗi lượng tử hóa lớn. Cấu trúc NVFP4 có tỷ lệ FP8 được chia sẻ trên mỗi khối 16 giá trị và mức tỷ lệ FP32 thứ hai trên mỗi tenxơ, cho phép thích ứng cục bộ hơn với phạm vi động của dữ liệu và bảo toàn những khác biệt nhỏ nhưng quan trọng trong trọng số và kích hoạt mô hình.

Về hiệu suất mô hình, NVFP4 dự kiến sẽ mang lại hiệu suất suy luận vượt trội với tác động tối thiểu đến độ chính xác của mô hình. Điều này thể hiện rõ qua sự khác biệt về độ chính xác tối thiểu giữa các phiên bản lượng tử hóa FP8 và NVFP4 trong nhiều đánh giá khác nhau. Ngoài ra, hiệu quả bộ nhớ của NVFP4 được nhấn mạnh bởi dấu chân bộ nhớ mô hình giảm, tiết kiệm không gian khoảng 3,5 lần so với FP16 và tiết kiệm không gian khoảng 1,8 lần so với FP8. Điều này khiến NVFP4 trở thành một lựa chọn hấp dẫn cho các triển khai suy luận AI quy mô lớn, đặc biệt là khi xem xét những thách thức về việc mở rộng thời gian thử nghiệm.

Kiến trúc Blackwell của NVIDIA, hỗ trợ NVFP4, cũng góp phần cải thiện hiệu quả năng lượng. Kiến trúc này hỗ trợ làm mát bằng chất lỏng và tính toán FP4, có thể cải thiện đáng kể hiệu suất trên mỗi watt. Các nhà phát triển muốn lượng tử hóa mô hình của mình thành NVFP4 có thể tận dụng TensorRT Model Optimizer và LLM Compressor của NVIDIA. Các công cụ này cung cấp quy trình làm việc hiệu quả để áp dụng các kỹ thuật lượng tử hóa tiên tiến. Để đáp ứng nhu cầu ngày càng tăng về AI, hệ sinh thái suy luận đang phát triển nhanh chóng áp dụng độ chính xác NVFP4, với nhiều khuôn khổ hỗ trợ NVFP4 và triển khai các mô hình lượng tử hóa trước.