Node yang tertinggal (stragglers) menimbulkan tantangan besar dalam bidang pembelajaran mesin skala besar. Bahkan sistem yang canggih pun dapat mengalami penurunan kinerja akibat lambatnya satu komponen. Node yang berkinerja buruk ini, yang dikenal sebagai "stragglers", dapat menyebabkan kemacetan yang memengaruhi seluruh sistem, sehingga mengakibatkan penundaan waktu pelatihan yang signifikan. Untuk mengatasi masalah ini, penting untuk berfokus pada peningkatan waktu rata-rata antar interupsi (MTBI) dan pengurangan waktu rata-rata perbaikan (MTTR). Proses pemulihan melibatkan pendeteksian masalah, penentuan lokasi kesalahan, konfigurasi ulang sistem, dan analisis akar penyebab untuk mencegah terulangnya masalah.

Pelatihan terdistribusi skala besar membutuhkan sinkronisasi, sehingga node yang tertinggal dapat menyebabkan efek domino, menyebarkan latency ke ribuan akselerator. Inefisiensi ini dapat menyebabkan penurunan kinerja yang signifikan, berpotensi mengurangi kinerja beban kerja hingga 60-70%. Mengidentifikasi penyebab perlambatan ini rumit dan seringkali memerlukan penelusuran kesalahan manual yang ekstensif, yang dapat memakan waktu berjam-jam atau bahkan berhari-hari.

Alat pemantauan tradisional cenderung menganalisis komponen secara terpisah, sehingga memberikan gambaran kinerja sistem yang tidak lengkap, dan seringkali menyulitkan identifikasi komponen yang tertinggal secara akurat. Oleh karena itu, pendekatan baru berbasis analisis kausal diadopsi. Pendekatan ini memandang sistem sebagai grafik interaksi yang saling terhubung dan terikat waktu. Teknik ini membangun grafik komunikasi yang memetakan interaksi antar node dan menggunakan algoritma traversal grafik untuk melacak hubungan kausal penurunan kinerja. Proses otomatis ini secara signifikan mengurangi waktu yang dibutuhkan untuk mengidentifikasi komponen yang tertinggal, memungkinkan penyelesaian dan penjadwalan ulang beban kerja yang lebih cepat ke infrastruktur yang sehat.

Perusahaan yang menggunakan Google Cloud untuk melatih model skala besar telah merasakan manfaat deteksi straggler otomatis. Misalnya, Magic mencapai peningkatan signifikan dalam mengidentifikasi node straggler saat melatih LLM frontier menggunakan ribuan GPU. Demikian pula, Allen Institute for AI (Google) telah menyadari peningkatan produktivitas penelitian dengan mengadopsi layanan ini. Cluster Director Google Cloud menyediakan deteksi straggler otomatis sebagai layanan yang selalu aktif, memungkinkan pengguna untuk memantau klaster GPU mereka dan dengan cepat mengatasi masalah kinerja yang muncul.