NVIDIA memperkenalkan metodologi untuk mengevaluasi kinerja pelatihan presisi rendah pada model AI berbasis transformer, membantu pengembang mengidentifikasi format presisi yang paling efisien sebelum pelatihan skala besar dimulai.

Pendekatan ini mengubah konfigurasi model menjadi beban kerja GEMM aktual dan melakukan benchmark pada format BF16, FP8, MXFP8, dan NVFP4. Analisis ini dirancang untuk mengungkap di mana waktu pelatihan dihabiskan dan di mana akselerasi dapat dicapai.

Menggunakan model CodonFM 5B sebagai contoh, perusahaan mendemonstrasikan bagaimana operasi matriks yang berbeda merespons eksekusi presisi rendah. Beban kerja yang lebih besar menunjukkan peningkatan yang lebih kuat, sementara operasi terkait perhatian yang lebih kecil kurang mendapat manfaat dari pengurangan presisi.

Menurut NVIDIA, kerangka kerja benchmarking memungkinkan tim untuk memperkirakan percepatan pelatihan yang realistis, mengukur overhead kuantisasi, dan membuat keputusan arsitektur sebelum mengalokasikan sumber daya GPU yang substansial untuk pelatihan model skala produksi.