NVIDIA mengumumkan keluarga kernel MLP terpadu baru yang dirancang untuk meningkatkan efisiensi pelatihan untuk model dense dan Mixture-of-Experts (MoE). Dibangun dengan CuTe DSL, kernel ini menargetkan hambatan memori, overhead sinkronisasi, dan biaya kuantisasi yang umumnya membatasi kinerja pelatihan AI skala besar.

Menurut perusahaan, implementasi baru ini menggabungkan operasi GEMM, fungsi aktivasi, dan langkah kuantisasi ke dalam kernel terpadu. Pendekatan ini memberikan peningkatan kecepatan tingkat kernel mulai dari 1,3x hingga 2x dibandingkan dengan jalur eksekusi tradisional yang tidak terpadu, sekaligus memungkinkan eksekusi MoE tanpa sinkronisasi dengan CUDA Graph iterasi penuh.

NVIDIA melaporkan bahwa optimasi ini berkontribusi pada peningkatan kinerja end-to-end sebesar 8% dalam beban kerja pra-pelatihan DeepSeek-V3 dan hingga peningkatan 93% dalam lingkungan pra-pelatihan GPT-OSS. Perusahaan menyoroti peningkatan dukungan untuk alur kerja SwiGLU, GeGLU, sReLU, MXFP8, dan NVFP4.

Kernel hasil fusi tersedia melalui cuDNN Frontend, Transformer Engine, dan Megatron Core. NVIDIA menyatakan bahwa rencana pengembangan di masa mendatang mencakup pola fusi tambahan, dukungan JAX, kemampuan kompilasi ahead-of-time, dan optimasi kinerja yang lebih luas untuk beban kerja pelatihan AI skala besar.