NVIDIA telah memperkenalkan fitur baru dalam TensorRT-LLM yang meningkatkan pemanfaatan GPU dan menyederhanakan proses penerapan bagi para pengembang. Fitur ini, yang dikenal sebagai chunked prefill, mengatasi tantangan komputasi yang ditimbulkan oleh fase prefill dan decode inference tradisional. Dengan membagi token input menjadi potongan-potongan yang lebih kecil, sistem dapat memproses cache KV dengan lebih efisien, memungkinkan penanganan beberapa permintaan secara bersamaan dan mencegah kemacetan selama fase prefill.

Pendekatan prapengisian berpotongan tidak hanya meningkatkan kinerja GPU tetapi juga memungkinkan sistem untuk mengelola konteks yang lebih panjang dan tingkat konkurensi yang lebih tinggi tanpa meningkatkan permintaan memori. Hal ini sangat bermanfaat karena memisahkan konsumsi memori dari panjang konteks permintaan yang masuk, sehingga memungkinkan pemrosesan panjang konteks yang lebih besar secara lebih efektif.

Selain itu, NVIDIA telah membuat langkah maju dalam menyederhanakan proses pembuatan mesin dengan penerapan ukuran chunk dinamis. Fitur ini secara otomatis merekomendasikan ukuran chunk optimal berdasarkan metrik penggunaan GPU, sehingga menghilangkan kebutuhan pengembang untuk secara manual menentukan panjang input maksimum. Hasilnya, ukuran buffer aktivasi kini ditentukan oleh ukuran chunk yang dikonfigurasi, yang menghasilkan penggunaan memori yang lebih efisien selama eksekusi.

Pengenalan chunked prefill di TensorRT-LLM menandai peningkatan signifikan dalam kinerja dan pemanfaatan sistem. Dengan memfasilitasi paralelisasi yang lebih baik antara fase prefill dan decode serta mengurangi waktu penyelesaian kueri, NVIDIA meningkatkan pengalaman pengguna. Pengembang yang tertarik memanfaatkan fitur ini dapat menemukan informasi lebih lanjut dan memulai melalui dokumentasi GitHub NVIDIA, mengikuti perkembangan terbaru dalam kinerja inferensi AI.