NVIDIA (California) menyatakan bahwa overhead checkpointing dalam pelatihan LLM skala besar terus mendorong biaya penyimpanan dan komputasi yang signifikan, terutama dengan penyimpanan yang sering. Ukuran checkpoint yang sangat besar dicatat sebagai faktor utama.

Perusahaan tersebut menyatakan bahwa checkpointing sinkron menyebabkan GPU menganggur selama penulisan, yang mengakibatkan akumulasi waktu henti yang substansial. Pada skala besar, waktu menganggur ini dikatakan akan menyebabkan biaya operasional yang tinggi.

Dijelaskan bahwa kompresi berbasis GPU menggunakan nvCOMP dapat mengurangi ukuran checkpoint sekitar 20–30%, sekaligus mempersingkat waktu penulisan melalui pemrosesan pipelined. Hal ini memungkinkan kompresi terjadi tanpa menambah penundaan.

Pendekatan ini digambarkan mudah diintegrasikan dengan memodifikasi rutinitas penyimpanan, hanya membutuhkan sedikit perubahan pada alur kerja pelatihan. Seiring bertambahnya ukuran model, optimasi semacam ini diharapkan memainkan peran kunci dalam efisiensi biaya.