Kemajuan pesat dalam model bahasa skala besar (LLM) berkontribusi terhadap pesatnya pertumbuhan ekosistem, dengan beragam arsitektur model yang dikembangkan setiap hari. Model-model yang lebih besar ini membuka kemampuan-kemampuan dan kasus-kasus penggunaan baru, sehingga mengarah pada adopsi yang luas di berbagai industri. Alasan LLM mengubah lanskap pusat data. Bisnis mendapatkan keuntungan dari peningkatan kinerja dan peningkatan akurasi, sehingga menghasilkan total biaya kepemilikan (TCO) yang lebih tinggi. Inovasi dalam model ini meningkatkan pengalaman pelanggan, yang pada gilirannya menghasilkan peningkatan pendapatan dan keuntungan. Namun, mencapai kinerja terbaik menggunakan LLM canggih selama proyek penerapan inferensi bukannya tanpa tantangan. Pengoptimalan jarang terjadi secara otomatis dan mengharuskan pengguna untuk mempertimbangkan faktor penyesuaian seperti paralelisme, alur end-to-end, dan teknik penjadwalan tingkat lanjut. Selain itu, platform komputasi yang dapat menangani presisi campuran tanpa mengorbankan presisi sangatlah penting. "TensorRT-LLM" memberikan solusi terhadap tantangan ini. Hal ini mencakup Deep Learning Compiler TensorRT, kernel yang dioptimalkan, pra-pemrosesan dan pasca-pemrosesan, serta komunikasi multi-GPU/multi-node. Semua ini dikemas ke dalam API Python open source sederhana untuk mendefinisikan, mengoptimalkan, dan menjalankan LLM untuk inferensi dalam produksi. NVIDIA TensorRT-LLM saat ini sedang dalam akses awal dan akan segera diintegrasikan ke dalam framework NVIDIA NeMo. Hal ini akan memungkinkan developer dan peneliti mengakses TensorRT-LLM melalui framework NeMo di NGC atau repositori sumber di GitHub.