NVIDIA mengumumkan alur kerja untuk mengkonversi checkpoint CLIP terkuantisasi menjadi engine TensorRT, yang memungkinkan penerapan yang dioptimalkan untuk lingkungan inferensi produksi. Proses ini mencakup ekspor ONNX, kompilasi engine, dan evaluasi kinerja model terkuantisasi FP8.

Menurut perusahaan, model FP8 yang diekspor melalui Model Optimizer menghasilkan file ONNX yang jauh lebih kecil daripada model FP16. Encoder teks mencapai pengurangan ukuran sekitar 34%, sedangkan encoder gambar berkurang sekitar 50%.

Pengujian performa pada GPU RTX 6000 Ada menunjukkan peningkatan latency yang signifikan. latency inferensi encoder gambar menurun dari 166,2 milidetik menjadi 119,8 milidetik, sementara encoder teks meningkat dari 13,2 milidetik menjadi 9,1 milidetik, menghasilkan eksekusi sekitar 1,4 kali lebih cepat.

Perusahaan tersebut menyatakan bahwa TensorRT mencapai peningkatan ini dengan mengidentifikasi node QuantizeLinear dan DequantizeLinear di dalam grafik ONNX dan menggabungkannya ke dalam kernel FP8 khusus. Alur kerja ini dimaksudkan untuk membantu pengembang menerapkan model terkuantisasi dengan kebutuhan memori yang lebih rendah dan efisiensi inferensi yang lebih baik.