NVIDIAのTensorRT-LLMは大幅な進歩を遂げ、その結果、大規模言語モデル（LLM）の推論パフォーマンスが大幅に向上した。NVIDIA H200 GPUの最新の機能強化により、Llama 2 70B LLMの速度が6.7倍向上し、Falcon-180Bなどの大型モデルを単一のGPUで実行できるようになった。Llama 2 70Bの高速化は、Llama 2 70Bの重要な層であるマルチヘッドアテンション技術の拡張であるGrouped Query Attention（GQA）として知られる技術の最適化によるものだという。
Falcon-180Bは、最大かつ最も正確なオープンソース大規模言語モデルの1つであり、以前は実行するには少なくとも8つのNVIDIA A100 Tensor Core GPUが必要だった。ただし、カスタムINT4 AWQのTensorRT-LLMの進歩により、単一のH200 Tensor Core GPU上で完全に実行できるようになった。このGPUは、ほぼ5 TB/秒のメモリー帯域幅を備えた141 GBの最新のHBM3eメモリーを備えているという。
TensorRT-LLMの最新バージョンは、生成フェーズでGrouped Query Attention（GQA）カーネルが改善されており、NVIDIA A100 GPUで実行されている同じネットワークと比較して、H200で最大6.7倍のパフォーマンス向上を実現する。Llama 2 70Bで使用されるGQAは、key-value（KV）ヘッドをグループ化するマルチヘッドアテンション（MHA）の一種で、結果としてクエリー（Q）ヘッドよりもKVヘッドの数が少なくなる。このMHAのカスタム実装は、GQA、multi-query attention（MQA）、および標準MHAをサポートし、生成フェーズとコンテキストフェーズでNVIDIA Tensor Coreを活用し、NVIDIA GPUで優れたパフォーマンスを実現するという。
TensorRT-LLMの最新リリースでは、AWQ用のカスタムカーネルが実装されており、最新のHopper Tensor Coreテクノロジーを使用して、FP16ではなくNVIDIA Hopper GPUでFP8精度で計算を実行することで、この技術をさらに一歩進めている。このアプローチにより、AWQはメモリー使用量を削減しながら、他の4ビット方式よりも高い精度を維持できる。結果は、Falcon-180Bモデル全体が1台のH200に適合し、最大800トークン/秒の優れた推論スループットでモデルを実行できることを示している。
