Seiring dengan semakin kompleksnya model AI, pengelolaan cache kunci-nilai (KV) selama inferensi menjadi semakin penting. Cache KV sangat penting untuk model bahasa skala besar (LLM) seperti GPT-OSS dan DeepSeek-R1 karena menyimpan data atensi yang penting untuk memproses perintah input. Namun, seiring bertambahnya panjang perintah, ukuran cache bertambah, membebani memori GPU yang terbatas dan mahal, serta berpotensi menciptakan kemacetan.

Untuk mengatasi masalah ini, pembaruan terbaru NVIDIA Dynamo memperkenalkan fitur pemindahan cache KV, yang memungkinkan cache dipindahkan dari memori GPU ke solusi penyimpanan yang lebih hemat biaya. Proses ini didukung oleh NVIDIA NIXL, sebuah pustaka transfer latensi rendah, yang memungkinkan pemindahan cache KV dengan cepat tanpa mengganggu proses inferensi. Pemindahan cache ini tidak hanya mengurangi kebutuhan memori GPU, tetapi juga memungkinkan jendela konteks yang lebih panjang dan peningkatan konkurensi pengguna, yang pada akhirnya menghasilkan biaya operasional yang lebih rendah.

Manfaat pembongkaran cache KV sangat signifikan bagi penyedia layanan inferensi. Pembongkaran cache KV memungkinkan dukungan untuk model dengan konteks yang diperluas tanpa mengorbankan ukuran prompt, mengurangi kebutuhan GPU tambahan, dan menghindari penghitungan ulang cache KV yang mahal. Hal ini mengurangi waktu respons dan meningkatkan pengalaman pengguna. Penyedia dapat mencapai throughput yang lebih tinggi dan biaya per token yang lebih rendah, sehingga meningkatkan skalabilitas dan efisiensi layanan mereka.

Faktanya, penyedia penyimpanan memanfaatkan pembongkaran cache KV untuk meningkatkan layanan mereka. Misalnya, Vast mendemonstrasikan integrasi performa tinggi dengan NVIDIA Dynamo, mencapai tingkat throughput yang luar biasa dan memastikan penyimpanan tidak menjadi hambatan. Demikian pula, uji lab WEKA menunjukkan bahwa Augmented Memory Grid-nya dapat mengalirkan cache KV ke GPU dengan kecepatan mendekati kecepatan memori, mengoptimalkan throughput token untuk beban kerja inferensi.

Secara keseluruhan, pemindahan cache KV menyediakan solusi berskala untuk mengelola tantangan inferensi dalam aplikasi Generative AI berskala besar, mengurangi biaya dan meningkatkan daya tanggap, memungkinkan penerapan yang lebih luas dan pemanfaatan model AI yang lebih efisien.