NVIDIA memperkenalkan alur kerja praktis untuk mengkuantisasi model CLIP ke format FP8 menggunakan NVIDIA Model Optimizer, yang bertujuan untuk mengurangi konsumsi VRAM dan meningkatkan efisiensi inferensi pada GPU konsumen sambil mempertahankan kualitas model untuk aplikasi AI multimodal.

Perusahaan menjelaskan bahwa Model Optimizer menggabungkan teknik-teknik termasuk kuantisasi, pemangkasan, distilasi, sparsitas, dan decoding spekulatif ke dalam kerangka optimasi terpadu yang kompatibel dengan model Hugging Face, PyTorch, dan ONNX. Demonstrasi tersebut menggunakan model CLIP-ViT-L-14-laion2B-s32B-b82K bersama dengan dataset kalibrasi MS-COCO.

Evaluasi pada CIFAR-100, ImageNet-1k, dan MS-COCO Captions dilaporkan menunjukkan bahwa kuantisasi pasca-pelatihan FP8 mempertahankan tingkat akurasi yang mendekati baseline FP16. NVIDIA juga mencatat bahwa menonaktifkan kuantizer di dalam lapisan penyematan patch secara signifikan mengurangi penurunan kualitas selama kuantisasi.

Alur kerja tersebut selanjutnya menyoroti penggunaan kuantisasi palsu, di mana operasi kuantisasi-dekuantisasi mensimulasikan eksekusi presisi rendah sebelum penerapan. Menurut NVIDIA, checkpoint yang dioptimalkan nantinya dapat diekspor ke ONNX dan dipercepat dengan TensorRT untuk beban kerja inferensi produksi.