Seiring meningkatnya permintaan akan model AI yang lebih besar, komunitas AI mengalihkan fokus dari pelatihan presisi BF16 tradisional untuk mengeksplorasi manfaat metode pelatihan presisi rendah. Metode ini, yang menggunakan lebih sedikit bit untuk representasi numerik, memungkinkan peningkatan operasi per siklus pada GPU, yang mengarah pada peningkatan efisiensi pelatihan dan pengurangan biaya.

Perbandingan terbaru telah dilakukan antara tiga format pelatihan presisi rendah—FP8-CS, MXFP8, dan NVFP4—dan presisi BF16 yang sudah mapan. Perbandingan ini, berdasarkan uji coba pra-pelatihan yang ekstensif dan tolok ukur hilir, telah menunjukkan bahwa pelatihan presisi rendah dapat memberikan throughput hingga sekitar 1,6 kali lebih tinggi, penghematan memori yang signifikan, dan kualitas model yang sebanding dengan presisi BF16.

Format pelatihan presisi rendah seperti FP8-CS, MXFP8, dan NVFP4 telah dirancang untuk mengoptimalkan efisiensi memori dan throughput. FP8-CS menggunakan penskalaan per-tensor, MXFP8 menggunakan penskalaan tingkat blok yang dioptimalkan untuk arsitektur GPU tertentu, dan NVFP4 memperkenalkan format 4-bit dengan strategi penskalaan hierarkis. Format-format ini telah diuji pada arsitektur transformer padat, menunjukkan konvergensi yang stabil dan akurasi yang terjaga dalam tugas-tugas hilir.

Keuntungan mengadopsi pelatihan presisi rendah sangat jelas, dengan peningkatan substansial dalam throughput pelatihan dan efisiensi memori. Hal ini memungkinkan pelatihan ujung-ke-ujung yang lebih cepat dan peningkatan skalabilitas, terutama pada platform GPU canggih. Pustaka sumber terbuka NeMo Megatron Bridge memfasilitasi adopsi teknik pelatihan presisi rendah ini, menyediakan resep siap produksi dan integrasi yang disederhanakan ke dalam alur kerja yang ada. Seiring model AI terus berkembang, pelatihan presisi rendah siap memainkan peran penting dalam pengembangan model generasi berikutnya yang efisien.