NVIDIA telah memperkenalkan format KV baru, NVFP4, untuk meningkatkan kinerja model bahasa skala besar (LLM) pada GPU NVIDIA Blackwell. NVFP4 dirancang untuk mengurangi jejak memori cache KV hingga 50%, yang secara efektif menggandakan anggaran konteks untuk LLM. Hal ini memungkinkan ukuran batch yang lebih besar dan urutan yang lebih panjang untuk diproses, sambil mencapai penurunan akurasi kurang dari 1% di berbagai benchmark.

Cache KV merupakan komponen penting dari LLM, yang menyimpan tensor key-value untuk menghindari komputasi berlebihan selama pembuatan token. NVFP4 mengkuantisasi cache KV dari presisi 16-bit menjadi 4-bit, menghilangkan hambatan memori dan bandwidth serta memungkinkan beban kerja inferensi yang lebih efisien.

Kuantisasi cache NVFP4 KV diimplementasikan oleh NVIDIA TensorRT Model Optimizer, yang memerlukan dekuantisasi dari NVFP4 ke FP8 sebelum menghitung matriks perhatian dan konteks. Optimasi ini mendukung kuantisasi pasca-pelatihan (PTQ) dan pelatihan sadar kuantisasi (QAT), yang berpotensi memberikan peningkatan kinerja yang signifikan untuk tugas inferensi.

Cache KV NVFP4 memberikan kontribusi signifikan terhadap kinerja LLM, meningkatkan latency time-to-first-token (TTFT) hingga 3x dan meningkatkan tingkat hit cache. Efisiensi ini memungkinkan pemanfaatan memori bandwidth tinggi (HBM) yang lebih efektif, melengkapi komponen-komponen lain yang direkayasa bersama dalam tumpukan inferensi NVIDIA. Meskipun terjadi kuantisasi, NVFP4 mempertahankan tingkat presisi yang tinggi, kehilangan kurang dari 1% dibandingkan dengan baseline BF16 dan FP8, sehingga memungkinkan kinerja yang tangguh bahkan pada tugas-tugas yang kompleks.