Postingan terbaru dalam seri kami tentang tolok ukur latensi-throughput untuk model bahasa berskala besar (LLM) memandu para pengembang melalui proses pembandingan inferensi LLM dengan TensorRT-LLM. Postingan ini dibuat berdasarkan postingan sebelumnya yang memperkenalkan konsep pembandingan dasar dan memberikan kiat-kiat tentang pemanfaatan alat-alat NVIDIA tertentu.

Saat mengadopsi kerangka kerja LLM, penting untuk memastikan bahwa kerangka kerja yang dipilih telah disesuaikan dengan baik untuk memenuhi metrik kinerja yang penting bagi aplikasi target. Mesin inferensi AI sumber terbuka NVIDIA, TensorRT-LLM, menyediakan serangkaian alat pembanding dan penyajian asli serta berbagai fitur yang dapat disesuaikan oleh pengembang untuk mengoptimalkan kinerja.

TensorRT-LLM menyertakan utilitas berbasis Python , trtllm-bench, yang dirancang untuk memungkinkan pembandingan model secara langsung tanpa menggunakan mesin inferensi lengkap. Utilitas ini menyederhanakan proses mendapatkan wawasan tentang kinerja model dengan mengonfigurasi mesin dengan pengaturan optimal, yang biasanya menghasilkan hasil yang lebih unggul. Sebelum pembandingan, pengembang perlu menyiapkan lingkungan GPU mereka dan menyiapkan kumpulan data. Kumpulan data dapat dipilih dari kumpulan data sintetis atau khusus dengan mengikuti dokumentasi yang disediakan.

Proses pembandingan menjalankan subperintah trtllm-bench throughput, yang secara otomatis memeriksa titik model dan melakukan bootstrap TRT-LLM menggunakan alur PyTorch. Hasil, termasuk berbagai metrik kinerja, disimpan dan ditampilkan setelah selesai. Metrik ini dapat membantu pengembang memahami kinerja model mereka dan membuat keputusan yang tepat tentang penyempurnaan model untuk kasus penggunaan spesifik mereka.

Saat melayani LLM, TensorRT-LLM dapat dengan mudah membuat titik akhir yang kompatibel dengan OpenAI menggunakan perintah trtllm-serve, yang memungkinkan pengembang menerapkan wawasan penyetelan yang diperoleh dari trtllm-bench untuk membangun server yang disetel dengan baik. Performa server kemudian dapat divalidasi menggunakan alat seperti GenAI-Perf atau port benchmark_serving.py.

Singkatnya, TensorRT-LLM menyediakan alat yang dibutuhkan pengembang untuk melakukan tolok ukur dan penyempurnaan LLM secara efektif, memastikan bahwa model mereka dioptimalkan untuk hasil kinerja yang diinginkan. Sumber daya tambahan tersedia bagi mereka yang tertarik untuk memperoleh pemahaman lebih mendalam tentang penyempurnaan dan pembandingan kinerja dalam kerangka kerja TensorRT-LLM.