Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã giới thiệu một quy trình làm việc thực tiễn để lượng tử hóa các mô hình CLIP thành định dạng FP8 bằng NVIDIA Model Optimizer, nhằm mục đích giảm mức tiêu thụ VRAM và cải thiện hiệu quả suy luận trên GPU dành cho người tiêu dùng trong khi vẫn duy trì chất lượng mô hình cho các ứng dụng AI đa phương thức.

Công ty giải thích rằng Model Optimizer kết hợp các kỹ thuật bao gồm lượng tử hóa, cắt tỉa, chưng cất, tính thưa thớt và giải mã suy đoán vào một khung tối ưu hóa thống nhất tương thích với các mô hình Hugging Face, PyTorch và ONNX. Buổi trình diễn sử dụng mô hình CLIP-ViT-L-14-laion2B-s32B-b82K cùng với bộ dữ liệu hiệu chuẩn MS-COCO.

Theo các đánh giá trên CIFAR-100, ImageNet-1k và MS-COCO Captions , phương pháp lượng tử hóa FP8 sau huấn luyện duy trì độ chính xác gần với mức cơ bản của FP16. NVIDIA cũng lưu ý rằng việc vô hiệu hóa các bộ lượng tử hóa trong lớp nhúng bản vá đã giảm đáng kể sự suy giảm chất lượng trong quá trình lượng tử hóa.

Quy trình này cũng làm nổi bật việc sử dụng lượng tử hóa giả, trong đó các thao tác lượng tử hóa-giải lượng tử hóa mô phỏng quá trình thực thi độ chính xác thấp trước khi triển khai. Theo NVIDIA, các điểm kiểm tra được tối ưu hóa sau đó có thể được xuất sang ONNX và tăng tốc bằng TensorRT cho các khối lượng công việc suy luận trong môi trường sản xuất.