NVIDIA memperkenalkan Dynamo Snapshot, sebuah kerangka kerja checkpoint dan restore yang dirancang untuk mengurangi penundaan startup untuk beban kerja inferensi AI yang berjalan di Kubernetes. Pendekatan ini menargetkan masalah cold-start yang dapat menunda penskalaan selama lonjakan permintaan.

Sistem ini menggabungkan checkpointing CUDA untuk status GPU dengan restore proses berbasis CRIU untuk sumber daya sisi CPU. Arsitektur berbasis Kubernetes memungkinkan pekerja inferensi untuk di-checkpoint dan di-restore di seluruh node cluster dengan perubahan operasional minimal.

Para insinyur juga menerapkan optimasi yang mengurangi ukuran checkpoint dan mempercepat restore memori. Ini termasuk melepaskan alokasi cache KV yang tidak terpakai dan meningkatkan CRIU dengan restore memori paralel dan kemampuan I/O asinkron.

NVIDIA selanjutnya mengembangkan Layanan Memori GPU yang memisahkan bobot model dari checkpoint proses, memungkinkan jalur restore paralel. Pengujian internal menunjukkan waktu startup untuk model besar dapat dikurangi secara dramatis, dengan beberapa beban kerja di-restore dalam waktu kurang dari lima detik.