Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Lượng tử hóa đã trở thành một kỹ thuật thiết yếu cho các nhà phát triển để cải thiện hiệu suất suy luận của các mô hình AI. Việc giảm độ chính xác của mô hình có thể cải thiện latency, thông lượng và hiệu quả bộ nhớ mà không cần phải đào tạo lại. Hiện tại, các mô hình thường được đào tạo theo FP16 hoặc BF16, với một số mô hình nâng cao sử dụng FP8. Việc mở rộng lượng tử hóa sang các định dạng như FP4 hứa hẹn mang lại hiệu quả thậm chí còn cao hơn nữa.

Khung lượng tử hóa sau huấn luyện (PTQ) TensorRT Model Optimizer của NVIDIA cung cấp một giải pháp linh hoạt và dạng mô-đun để áp dụng các tối ưu hóa này. Nó hỗ trợ nhiều định dạng, bao gồm NVFP4, được tùy chỉnh cho GPU NVIDIA Blackwell. Khung này kết hợp các kỹ thuật hiệu chuẩn, chẳng hạn như SmoothQuant, lượng tử hóa trọng số nhận biết kích hoạt (AWQ) và AutoQuantize, để cải thiện kết quả lượng tử hóa. Ngoài ra, Model Optimizer PTQ được thiết kế chú trọng đến khả năng tương thích hệ sinh thái, hỗ trợ các điểm kiểm tra PyTorch, Hugging Face, NeMo và Megatron-LM gốc, đồng thời dễ dàng tích hợp với các khung suy luận như NVIDIA TensorRT-LLM, vLLM và SGLang.

Bài viết này cung cấp thêm chi tiết về công nghệ PTQ và giải thích cách sử dụng Model Optimizer PTQ để nén các mô hình AI mà vẫn duy trì độ chính xác cao. Điều này không chỉ cải thiện trải nghiệm người dùng mà còn cải thiện hiệu suất của các ứng dụng AI. Mạng nơ-ron nhân tạo được cấu thành từ các lớp với các giá trị được tinh chỉnh thông qua các quy trình tiền và hậu huấn luyện. Các giá trị này, được lưu trữ dưới dạng trọng số, kích hoạt và độ lệch, ban đầu được huấn luyện ở độ chính xác tối đa, và việc lượng tử hóa chúng thành định dạng có độ chính xác thấp hơn, chẳng hạn như 8 bit hoặc 4 bit, cho phép nén các giá trị vào một phạm vi biểu diễn nhỏ hơn.

Quá trình lượng tử hóa điều chỉnh các giá trị cho phù hợp với phạm vi của kiểu dữ liệu mục tiêu, điều này có thể ảnh hưởng đến độ chi tiết của các giá trị. Ví dụ, lượng tử hóa từ FP16 đến FP8 làm giảm độ chi tiết và độ phân giải của các giá trị. Thư viện Model Optimizer PTQ cung cấp các kỹ thuật tối ưu hóa tiên tiến để cải thiện hiệu suất suy luận mô hình và có thể được triển khai trong nhiều khuôn khổ suy luận khác nhau.

Trình Tối ưu hóa Mô hình hỗ trợ nhiều định dạng lượng tử hóa và cung cấp một số phương pháp hiệu chuẩn để giúp bạn chọn đúng định dạng và hiệu chuẩn cho mô hình và khối lượng công việc cụ thể của mình. Các phương pháp này bao gồm Hiệu chuẩn Min-Max, SmoothQuant, AWQ và AutoQuantize. Mỗi phương pháp đều có những ưu điểm riêng và ảnh hưởng đến độ chính xác cuối cùng của mô hình lượng tử hóa, vì vậy bạn nên cân nhắc chúng dựa trên yêu cầu về độ nhạy và latency của khối lượng công việc.

Tóm lại, lượng tử hóa là một kỹ thuật mạnh mẽ để nâng cao suy luận mô hình, được hỗ trợ bởi hệ sinh thái công nghệ nguồn mở đang phát triển. Khung công tác PTQ TensorRT Model Optimizer của NVIDIA cung cấp cho các nhà phát triển một bộ công cụ toàn diện để nén mô hình, giúp duy trì độ chính xác và cải thiện việc triển khai AI. Các nhà phát triển có thể trải nghiệm trực tiếp những lợi ích này bằng cách làm theo hướng dẫn Jupyter Notebook và thử nghiệm với các điểm kiểm tra tiền lượng tử hóa.