NVIDIA telah memperkenalkan teknik penjadwalan baru yang disebut Dynamic Context Parallelism (Dynamic-CP) ke dalam kerangka kerja Megatron Core-nya, yang dirancang untuk meningkatkan efisiensi pelatihan model bahasa skala besar (LLM) dan pembuatan video skala besar. Teknik ini secara dinamis menyesuaikan ukuran paralelisme konteks (CP) dari setiap mikro-batch, memungkinkan pemrosesan yang lebih efisien dari urutan dengan panjang variabel yang umum ditemukan dalam dataset dunia nyata. Implementasi Dynamic-CP menunjukkan peningkatan kecepatan hingga 1,48x pada dataset tersebut, menunjukkan potensinya dalam mengoptimalkan sumber daya komputasi.

Tantangan dalam melatih model skala besar terletak pada variabilitas panjang sekuens dalam data, yang dapat menyebabkan hambatan komputasi. Teknik tradisional seperti pengemasan tingkat sampel mencoba mengatasi masalah ini dengan mengemas sekuens pendek ke dalam satu mikro-batch. Namun, sifat kuadratik dari perhatian produk titik dapat menyebabkan ketidakseimbangan beban kerja komputasi dan GPU yang menganggur. Dynamic-CP mengatasi masalah ini dengan menyesuaikan ukuran CP agar sesuai dengan sekuens yang dikemas, mengurangi inefisiensi komputasi, dan meningkatkan pemanfaatan sumber daya.

Dynamic-CP bekerja dengan memilih ukuran CP yang sesuai untuk setiap micro-batch berdasarkan strategi pengemasan optimal yang ditentukan oleh solver. Solver mempertimbangkan urutan dengan panjang variabel dan menghitung pengemasan dan ukuran CP yang paling efisien sambil tetap memperhatikan batasan memori GPU. Solver bertujuan untuk mengurangi ketidakseimbangan paralelisme data dan inefisiensi CP dengan memodelkan biaya komputasi dan komunikasi. Pendekatan dinamis ini berbeda dengan metode statis, yang menetapkan ukuran CP berdasarkan urutan terpanjang dalam batch, yang seringkali menimbulkan overhead komunikasi CP yang tidak perlu.

Kerangka kerja Megatron Core telah dimodifikasi untuk mendukung Dynamic-CP. Ini melibatkan pembuatan beberapa grup CP per rank dan memperkenalkan data_iterator_wrapper yang ringan untuk mengelola penjadwalan ulang dinamis dan pengemasan data. Pendekatan ini meminimalkan perubahan pada logika penjadwalan yang ada dan memastikan eksekusi yang konsisten di seluruh tahapan pipeline. Manfaat Dynamic-CP terlihat jelas dalam kemampuannya untuk mengurangi gelembung pipeline dan ketidakseimbangan paralel data, secara signifikan meningkatkan kinerja pelatihan model. Repositori GitHub Megatron Core menyediakan sumber daya bagi mereka yang tertarik menggunakan optimasi ini untuk melatih model dengan urutan panjang variabel.