NVIDIA telah mengumumkan serangkaian teknik optimasi model yang bertujuan untuk meningkatkan efisiensi dan skalabilitas penerapan AI pada GPU. Teknik-teknik ini mengatasi kompleksitas model dan arsitektur AI yang semakin meningkat, dengan tujuan untuk meningkatkan kinerja dan total biaya kepemilikan (TCO) sistem AI. Salah satu teknik yang menonjol adalah kuantisasi pasca-pelatihan (PTQ), yang mengompres model yang ada ke dalam format presisi yang lebih rendah, sehingga langsung meningkatkan latency dan throughput.

Teknik kunci lainnya adalah pelatihan sadar kuantisasi (QAT), yang mencakup fase penyempurnaan untuk menyesuaikan model terhadap kesalahan presisi rendah. Teknik ini sangat efektif ketika PTQ saja tidak dapat memenuhi persyaratan akurasi. Selain itu, NVIDIA mengembangkan distilasi sadar kuantisasi (QAD), yang lebih meningkatkan akurasi model dengan menggabungkan kerugian distilasi ke dalam proses pelatihan dan cocok untuk tugas-tugas yang sensitif terhadap penurunan kinerja setelah kuantisasi.

NVIDIA juga menawarkan decoding spekulatif, sebuah teknik yang mempercepat proses pembangkitan dengan mengusulkan beberapa token terlebih dahulu dan memvalidasinya secara paralel. Hal ini mengurangi latency tanpa memodifikasi bobot model. Terakhir, strategi optimasi struktural yang menggabungkan pemangkasan dan distilasi pengetahuan disajikan. Strategi ini tidak hanya mengurangi ukuran model, tetapi juga melatih model yang telah dipangkas untuk meniru perilaku model "guru" yang lebih besar.

Teknik optimasi ini dapat langsung diterapkan dan secara signifikan mengurangi biaya, meningkatkan throughput, dan mempercepat inferensi dalam skala besar untuk tim yang memanfaatkan GPU NVIDIA. Bagi mereka yang tertarik untuk menerapkan optimasi ini, NVIDIA menyediakan deskripsi teknis terperinci, wawasan kinerja, dan panduan Jupyter Notebook untuk memandu pengguna melalui proses tersebut.