NVIDIA telah berada di garis depan inovasi AI, berfokus pada pelatihan model yang lebih cerdas melalui pra-pelatihan, pasca-pelatihan, dan penskalaan pada waktu pengujian. Perusahaan ini menekankan pentingnya pelatihan sebagai fondasi untuk mengembangkan sistem AI yang lebih cerdas. Proses pasca-pelatihan, termasuk penyempurnaan dan pembelajaran penguatan, sangat penting untuk meningkatkan akurasi spesifik tugas dan melengkapi model dengan kemampuan canggih seperti inferensi.

Seiring model AI menjadi semakin canggih, pelatihan membutuhkan daya komputasi yang lebih besar, yang dapat menyebabkan peningkatan biaya dan waktu pelatihan yang lebih lama. Untuk mengatasi masalah ini, NVIDIA telah berupaya menyediakan solusi komputasi yang lebih efisien. Pendekatannya didasarkan pada strategi komprehensif yang mencakup GPU, CPU, komponen jaringan, arsitektur sistem, dan berbagai perangkat lunak. Strategi ini bertujuan untuk secara signifikan meningkatkan kinerja pelatihan, jauh melampaui peningkatan bertahap yang secara tradisional diharapkan dari Hukum Moore. Hasilnya adalah waktu pelatihan yang lebih cepat, memungkinkan penerapan yang lebih cepat dan peningkatan pendapatan bagi pengembang model, serta pengurangan biaya pelatihan dan peningkatan pengembalian investasi (ROI).

Kemajuan terbaru NVIDIA ditunjukkan dalam benchmark pelatihan MLPerf terbaru. Dalam benchmark ini, model yang diajukan NVIDIA menggunakan presisi FP4 untuk semua model bahasa skala besar. Arsitektur NVIDIA Blackwell, dikombinasikan dengan resep pelatihan baru dan peningkatan tumpukan perangkat lunak, memungkinkan GB200 NVL72 mencapai kinerja pelatihan hingga 3,2x dibandingkan model sebelumnya yang menggunakan presisi FP8. Pengurangan pelatihan ini memungkinkan pengembang untuk menghadirkan model AI ke pasar lebih cepat.

Sebagai bagian dari komitmen berkelanjutan kami terhadap inovasi, NVIDIA juga telah meningkatkan kinerja arsitektur yang ada melalui peningkatan perangkat lunak dan algoritma. Arsitektur Blackwell mendukung akselerasi FP4, termasuk format NVFP4 milik NVIDIA, yang memberikan peningkatan kinerja yang signifikan. Dalam putaran pelatihan MLPerf terbaru, GB200 NVL72 menunjukkan peningkatan kinerja hingga 1,4x menggunakan resep pelatihan NVFP4 dibandingkan dengan pengajuan FP8 dari putaran sebelumnya. Peningkatan ini tidak hanya menghasilkan pelatihan yang lebih cepat, tetapi juga peningkatan harga/kinerja pada infrastruktur GPU yang sama.

NVIDIA terus berupaya meningkatkan kinerja di seluruh ekosistem perangkat keras dan perangkat lunaknya, memungkinkan pelatihan dan penerapan model AI yang lebih besar dan lebih cerdas secara efisien, sehingga memberikan nilai signifikan bagi industri AI.