Pustaka NVIDIA NeMo-Skills diperkenalkan sebagai solusi untuk mengelola NVIDIA TensorRT-LLM, yang bertujuan untuk meningkatkan efisiensi model bahasa skala besar (LLM) dalam memecahkan masalah matematika yang kompleks. Pustaka ini merupakan kontributor utama dalam memenangkan Penghargaan AI Mathematics Olympiad 2024 dan menunjukkan peningkatan 4x lipat dalam kecepatan inferensi batch pada GPU NVIDIA H100 menggunakan kuantisasi FP8 dan dekode spekulatif ReDrafter.

Proses untuk membangun alur inferensi yang cepat dan sangat reproduktif terdiri dari persiapan dan kuantisasi model OpenMath untuk mesin FP8 TensorRT-LLM, pelatihan model draf ReDrafter untuk dekode spekulatif, dan peluncuran server inferensi yang dioptimalkan. Alur kerja ini dirancang agar skalabel dan dapat dijalankan di satu stasiun kerja atau di seluruh klaster dengan penyesuaian minimal.

Pengguna dipandu melalui proses konversi model Hugging Face ke mesin TensorRT-LLM yang dioptimalkan dengan kuantisasi FP8 dan integrasi teknologi ReDrafter untuk inferensi yang lebih cepat. Metode ReDrafter yang dikembangkan Apple memprediksi token menggunakan model draf yang lebih kecil, sehingga LLM utama dapat menghasilkan respons lebih cepat.

Makalah ini juga menekankan pentingnya pembandingan untuk membandingkan kinerja di berbagai konfigurasi, termasuk BF16, FP8, dan FP8 dengan ReDrafter. Hasil pembandingan menunjukkan bahwa penggunaan mesin TensorRT-LLM yang disempurnakan secara signifikan meningkatkan waktu pembuatan dan throughput sampel. Selain itu, pustaka ini mendukung eksekusi kode Python dalam sandbox yang aman, memungkinkan LLM untuk memecahkan masalah dengan menulis dan menjalankan kode selain pembuatan teks. Cobalah fitur-fitur dan peningkatan kinerja ini dengan menjalankan notebook pendamping yang disertakan dalam pustaka.