NVIDIA telah memperkenalkan fitur-fitur baru pada TensorRT-LLM yang meningkatkan pemanfaatan GPU dan menyederhanakan proses penerapan untuk pengembang. Fitur ini, yang disebut pra-pengisian potongan, mengatasi tantangan komputasi yang dihadapi dalam fase inferensi pra-pengisian dan dekode tradisional. Dengan membagi token masukan menjadi beberapa bagian yang lebih kecil, sistem dapat menangani cache KV dengan lebih efisien, menangani beberapa permintaan secara bersamaan, dan mencegah kemacetan selama fase pra-pengisian.

Pendekatan pra-pengisian yang terpotong tidak hanya meningkatkan kinerja GPU, namun juga memungkinkan sistem mengelola konteks yang lebih panjang dan tingkat konkurensi yang lebih tinggi tanpa meningkatkan kebutuhan memori. Hal ini sangat bermanfaat karena memisahkan konsumsi memori dari panjang konteks permintaan masuk, sehingga panjang konteks yang lebih panjang dapat ditangani dengan lebih efisien.

Selain itu, NVIDIA telah memberikan kontribusi yang signifikan dalam menyederhanakan proses pembuatan mesin dengan menerapkan ukuran potongan dinamis. Fitur ini secara otomatis merekomendasikan ukuran potongan optimal berdasarkan metrik penggunaan GPU, sehingga menghilangkan kebutuhan pengembang untuk menentukan panjang input maksimum secara manual. Hasilnya, ukuran buffer aktivasi kini ditentukan oleh ukuran potongan yang dikonfigurasi, sehingga menghasilkan penggunaan memori yang lebih efisien saat runtime.

Pengenalan prefill potongan di TensorRT-LLM secara signifikan meningkatkan performa dan pemanfaatan sistem. Dengan meningkatkan paralelisme antara fase pra-pengisian dan dekode serta mengurangi waktu penyelesaian kueri, NVIDIA meningkatkan pengalaman pengguna. Pengembang yang tertarik untuk memanfaatkan fitur ini dapat mempelajari lebih lanjut, memulai, dan terus mengikuti pembaruan kinerja inferensi AI terbaru dengan dokumentasi GitHub NVIDIA.