Seiring melonjaknya permintaan komputasi performa tinggi (HPC), didorong oleh kemajuan dalam Generative AI, model bahasa berskala besar, dan visi komputer, pemanfaatan GPU yang efisien menjadi krusial. Pemanfaatan GPU yang tidak efisien dapat menyebabkan peningkatan biaya operasional dan kemacetan klaster secara signifikan, sehingga kami berfokus untuk mengurangi pemborosan GPU yang tidak terpakai di seluruh klaster besar. Mengatasi masalah ini dapat membantu organisasi mencapai penghematan biaya yang signifikan, memungkinkan rentang beban kerja yang lebih luas untuk memanfaatkan sumber daya GPU, dan meningkatkan pengalaman pengembang.

Mengidentifikasi pemborosan GPU merupakan proses yang rumit dan membutuhkan solusi khusus untuk berbagai kategori. Salah satu masalah umum adalah GPU yang menganggur akibat pekerjaan yang menghabiskan sumber daya GPU tetapi tidak menghasilkan pekerjaan yang berarti. Untuk mengatasi masalah ini, berbagai pendekatan sedang diadopsi, termasuk program efisiensi kesehatan armada, inisiatif efisiensi okupansi, upaya optimasi aplikasi, dan strategi pengurangan pemborosan yang menganggur. Solusi yang ditargetkan ini dirancang untuk mengatasi perbedaan frekuensi masalah pemborosan dan meningkatkan efisiensi di seluruh klaster.

Menghilangkan pemborosan GPU yang menganggur secara efektif membutuhkan peralihan dari target pemanfaatan teoretis ke pengamatan perilaku klaster yang sebenarnya. Hal ini mendorong pengembangan alur metrik pemanfaatan GPU yang menggabungkan telemetri waktu nyata dengan metadata pekerjaan untuk menciptakan tampilan komprehensif konsumsi GPU. NVIDIA Data Center GPU Manager (DCGM) memainkan peran kunci dalam proses ini, menyediakan metrik terperinci untuk mengidentifikasi periode menganggur dan mengidentifikasi sumber inefisiensi dalam alur kerja tertentu.

Penetapan metrik untuk mengukur pemborosan GPU memungkinkan pengembangan berbagai alat dan layanan untuk menganalisis dan meningkatkan efisiensi klaster GPU. Ini mencakup portal pengguna untuk memantau penggunaan, job reaper otomatis untuk membersihkan pekerjaan yang tidak aktif, dan alat linting pekerjaan untuk mendeteksi kesalahan konfigurasi. Intervensi ini secara signifikan mengurangi pemborosan GPU dari sekitar 5,5% menjadi sekitar 1%, yang menunjukkan efektivitas penanganan inefisiensi operasional. Rencana ke Future mencakup peningkatan infrastruktur untuk lebih meminimalkan pemborosan dan meningkatkan pemanfaatan sumber daya GPU.