TensorRT-LLM NVIDIA telah mencapai kemajuan signifikan, sehingga menghasilkan peningkatan kinerja inferensi secara signifikan untuk model bahasa skala besar (LLM). Peningkatan terbaru pada GPU NVIDIA H200 meningkatkan kecepatan Llama 2 70B LLM sebesar 6,7x, memungkinkan model yang lebih besar seperti Falcon-180B berjalan pada satu GPU. Kecepatan Llama 2 70B yang lebih cepat disebabkan oleh optimalisasi teknologi yang dikenal sebagai Grouped Query Attention (GQA), yang merupakan perpanjangan dari teknologi perhatian multi-head yang merupakan lapisan kunci di Llama 2 70B.

Falcon-180B adalah salah satu model bahasa open source berskala besar yang terbesar dan paling akurat, dan sebelumnya memerlukan setidaknya delapan GPU NVIDIA A100 Tensor Core untuk dapat dijalankan. Namun, kemajuan dalam TensorRT-LLM INT4 AWQ khusus memungkinkannya berjalan sepenuhnya pada satu GPU Tensor Core H200. GPU tersebut dilaporkan memiliki memori HBM3e terbaru sebesar 141 GB dengan bandwidth memori hampir 5 TB/dtk.

Versi terbaru TensorRT-LLM telah meningkatkan kernel Grouped Query Attention (GQA) selama fase pembuatan, memberikan peningkatan kinerja hingga 6,7x pada H200 dibandingkan dengan jaringan yang sama yang berjalan pada GPU NVIDIA A200. GQA yang digunakan di Llama 2 70B adalah jenis Multi-Head Attention (MHA) yang mengelompokkan kepala nilai kunci (KV), sehingga menghasilkan kepala KV yang lebih sedikit dibandingkan kepala kueri (Q). Implementasi khusus MHA ini mendukung GQA, multi-queryattention (MQA), dan MHA standar, memanfaatkan NVIDIA Tensor Core dalam fase pembuatan dan konteks, serta memberikan kinerja superior pada GPU NVIDIA.

Rilis terbaru TensorRT-LLM mengimplementasikan kernel khusus untuk AWQ dan memanfaatkan teknologi ini dengan menggunakan teknologi Hopper Tensor Core terbaru untuk melakukan komputasi dengan presisi FP8 pada GPU NVIDIA Hopper, bukan FP16. Pendekatan ini memungkinkan AWQ mengurangi penggunaan memori sekaligus menjaga akurasi lebih tinggi dibandingkan metode 4-bit lainnya. Hasilnya menunjukkan bahwa seluruh model Falcon-180B dapat ditampung pada satu H200 dan menjalankan model dengan throughput inferensi yang sangat baik hingga 800 token/detik. saus: