NVIDIA telah mengumumkan berbagai alat untuk menyederhanakan proses kuantisasi bagi para pengembang AI, terutama mereka yang baru mengenal bidang ini. Kuantisasi adalah teknik untuk mengurangi presisi parameter model, yang memungkinkan model AI kompleks berjalan pada perangkat keras dengan sumber daya terbatas. Alat TensorRT dan Model Optimizer NVIDIA dirancang untuk meningkatkan efisiensi sekaligus mempertahankan akurasi model.

Kuantisasi berguna saat menerapkan model pembelajaran mendalam di lingkungan dengan sumber daya terbatas. Mengurangi presisi parameter model (misalnya, dari presisi FP32 ke FP8) mengatasi masalah seperti penggunaan memori, kecepatan inferensi, dan konsumsi daya. Pengurangan presisi ini mengurangi ukuran model dan kebutuhan komputasi, sehingga meningkatkan kecepatan komputasi dan mengurangi konsumsi daya. Namun, menyeimbangkan akurasi dan efisiensi model merupakan hal penting, dan hal ini bervariasi tergantung pada kasus penggunaan.

Proses kuantisasi melibatkan berbagai tipe data, seperti FP32, FP16, BF16, dan FP8, yang memengaruhi sumber daya komputasi yang dibutuhkan model. Format floating-point ini direpresentasikan oleh tanda, eksponen, dan mantisa/pecahan, dan jumlah bit yang dialokasikan untuk setiap elemen bervariasi bergantung pada tipe datanya. Kuantisasi dapat diterapkan pada bobot model, aktivasi, dan cache KV. Cache KV spesifik untuk model dekoder.

Pendekatan kuantisasi NVIDIA mencakup metode afin/asimetris dan simetris, dengan penekanan khusus pada metode simetris karena kesederhanaannya dan kesesuaiannya dengan standar industri. Algoritma AbsMax sering digunakan untuk menentukan faktor skala kuantisasi, yang krusial bagi proses kuantisasi. Lebih lanjut, granularitas kuantisasi dikontrol oleh strategi per-tensor, per-kanal, dan per-blok, yang masing-masing memberikan tingkat kontrol yang berbeda atas parameter kuantisasi.

Algoritma kuantisasi tingkat lanjut, seperti Activation-aware Weight Quantization (AWQ), Generative Pre-trained Transformer Quantization (GPTQ), dan SmoothQuant, telah dikembangkan untuk lebih meningkatkan efisiensi sekaligus meminimalkan kehilangan akurasi. Teknik-teknik ini berfokus pada perlindungan saluran bobot kritis, kompresi model dengan dampak minimal pada performa, dan penghalusan outlier aktivasi.

Artikel ini juga membahas kuantisasi pasca-pelatihan (PTQ). Ini adalah teknik yang menambahkan pengamat ke aktivasi untuk menentukan koefisien penskalaan selama inferensi model menggunakan data representatif. PTQ dapat melibatkan bobot saja atau bobot dan aktivasi, dengan kuantisasi statis dan dinamis sebagai pendekatan utama yang digunakan. Pelatihan Sadar Kuantisasi (QAT) adalah teknik lain yang memitigasi penurunan kualitas dengan mengintegrasikan efek kuantisasi ke dalam proses pelatihan.

Sebagai kesimpulan, postingan blog ini bertujuan untuk memberikan pemahaman yang komprehensif tentang kuantisasi, teknik-tekniknya, dan penerapannya pada penerapan model AI, khususnya model bahasa skala besar (LLM). Kami mendorong eksplorasi kuantisasi lebih lanjut melalui sumber daya tambahan yang disediakan oleh NVIDIA.