NVIDIA mempresentasikan penelitian tentang Nonuniform Tensor Parallelism (NTP), sebuah pendekatan eksperimental yang dirancang untuk menjaga pelatihan model bahasa besar tetap produktif meskipun terjadi gangguan GPU sementara, sekaligus meningkatkan Goodput secara keseluruhan.

Kerangka kerja ini secara dinamis menyesuaikan paralelisme tensor ketika GPU tidak tersedia, memungkinkan perangkat yang tersisa untuk melanjutkan pemrosesan. Ia juga menggabungkan resharding data dengan komputasi untuk mengurangi overhead kinerja selama pemulihan.

Studi ini selanjutnya mengusulkan penggabungan NTP dengan peningkatan daya GPU sementara untuk mengkompensasi pengurangan sumber daya. Pendekatan ini dimaksudkan untuk meminimalkan penundaan sinkronisasi di seluruh klaster pelatihan terdistribusi dan mempertahankan throughput yang stabil.

NTP telah ditambahkan ke cabang pengembang NVIDIA Megatron Core, sementara kemampuan ketahanan produksi tetap tersedia melalui NVIDIA Resiliency Extension (NVRx). Perusahaan juga mengindikasikan bahwa konsep terkait sedang dieksplorasi untuk pelatihan Mixture-of-Experts melalui Nonuniform Expert Parallelism.