Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

NVIDIA NeMo-Skillsライブラリは、NVIDIA TensorRT-LLMを管理するためのソリューションとして導入され、複雑な数学問題を解く際の大規模言語モデル（LLM）の効率向上を目指しています。このライブラリは、AI数学オリンピック賞2024の受賞に大きく貢献し、FP8量子化とReDrafter投機的デコードを用いたNVIDIA H100 GPU上でのバッチ推論速度が4倍に向上することを実証しました。

高速で再現性の高い推論パイプラインを構築するためのプロセスは、OpenMathモデルをFP8 TensorRT-LLMエンジン用に準備・量子化し、ReDrafterドラフトモデルを投機的デコード用に学習させ、最適化された推論サーバーを起動することから構成されます。このワークフローはスケーラブルに設計されており、最小限の調整で単一のワークステーションまたはクラスター全体で実行可能です。

ユーザーは、 Hugging FaceモデルをFP8量子化を備えた最適化されたTensorRT-LLMエンジンに変換する手順と、推論をさらに高速化するためのReDrafter技術を統合する手順をガイドされます。Appleが開発したReDrafter手法は、より小さなドラフトモデルを用いてトークンを予測することで、メインのLLMがより迅速にレスポンスを生成できるようにします。

本稿では、BF16、FP8、ReDrafterを使用したFP8など、異なる構成間でパフォーマンスを比較するためのベンチマークの重要性についても強調しています。ベンチマークでは、強化されたTensorRT-LLMエンジンを使用することで、生成時間とサンプルスループットが大幅に向上することが示されています。さらに、このライブラリはセキュアなサンドボックス内でのPythonコード実行をサポートしており、LLMはテキスト生成だけでなく、コードを記述して実行することで問題を解決することもできます。ライブラリに付属するコンパニオンノートブックを実行して、これらの機能とパフォーマンス向上をぜひお試しください。