Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã công bố một quy trình làm việc để chuyển đổi các điểm kiểm tra CLIP đã được lượng tử hóa thành các công cụ TensorRT, cho phép triển khai tối ưu cho môi trường suy luận sản xuất. Quy trình này bao gồm xuất ONNX, biên dịch công cụ và đánh giá hiệu năng của các mô hình đã được lượng tử hóa FP8.

Theo công ty, các mô hình FP8 được xuất qua Model Optimizer tạo ra các tệp ONNX nhỏ hơn đáng kể so với các mô hình FP16 tương ứng. Bộ mã hóa văn bản đạt được mức giảm kích thước khoảng 34%, trong khi bộ mã hóa hình ảnh giảm khoảng 50%.

Kiểm tra hiệu năng trên GPU RTX 6000 Ada cho thấy sự cải thiện đáng kể latency . latency suy luận của bộ mã hóa hình ảnh giảm từ 166,2 mili giây xuống còn 119,8 mili giây, trong khi bộ mã hóa văn bản cải thiện từ 13,2 mili giây xuống còn 9,1 mili giây, mang lại tốc độ thực thi nhanh hơn khoảng 1,4 lần.

Công ty cho biết TensorRT đạt được những lợi ích này bằng cách xác định các nút QuantizeLinear và DequantizeLinear trong đồ thị ONNX và kết hợp chúng thành các nhân FP8 chuyên dụng. Quy trình này nhằm mục đích giúp các nhà phát triển triển khai các mô hình lượng tử hóa với yêu cầu bộ nhớ giảm và hiệu quả suy luận được cải thiện.