Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

Meta は、最新の Llama 3.2 シリーズのビジョン言語モデルを発表しました。このモデルは、テキストと画像の入力を処理する 11B および 90B パラメータ バージョンの両方を提供します。また、1B および 3B パラメータのより小さなテキストのみの言語モデルのバリアントも導入されました。NVIDIA は、高性能データ センター ユニットからローカル RTX ワークステーション、さらには低電力の NVIDIA Jetson デバイスまで、幅広い GPU を活用して、これらのモデルを世界規模で効率的なパフォーマンスとコスト効率の高い展開のために微調整しました。

Llama 3.2 VLM は、広範なコンテキスト長と高解像度の画像を処理するように設計されており、迅速な応答時間と高いスループットを実現して、シームレスなユーザー エクスペリエンスを実現します。NVIDIA のテクノロジ スタック全体にわたる包括的な最適化は、これらのパフォーマンス メトリックの達成に重要な役割を果たします。SLM も同様に強化されており、NVIDIA RTX PC およびワークステーションで最適に動作し、量子化調整により NVIDIA Jetson エッジ デバイスで実行できます。

NVIDIA の Llama 3.2 モデルの AI 推論スループットの進歩は注目に値します。このモデルにはビジョン エンコーダーとテキスト デコーダーが組み込まれており、どちらも NVIDIA の TensorRT ライブラリを使用した高性能推論用に最適化されています。テキスト デコーダーのクロス アテンション メカニズムにより、VLM は視覚的なコンテキストを持つテキストを生成できるため、効率が向上します。NVIDIA はカスタム FP8 トレーニング後量子化レシピも開発しており、これを第 4 世代 FP8 Tensor コアと組み合わせると、精度を損なうことなくモデル スループットが向上し、レーテンシーが短縮されます。

NVIDIA プラットフォームでの Llama 3.2 モデルのパフォーマンスは印象的で、内部測定では最大スループットと最小レーテンシーの両方のシナリオでその能力が実証されています。これらの結果は、TensorRT ソフトウェアで最適化された NVIDIA H200 GPU の並外れたパフォーマンスを強調しています。さらに、Windows 環境では、Llama 3.2 SLM は ONNX Runtime Generative APIで動作するように最適化されており、NVIDIA GeForce RTX 4090 GPU で優れたスループット パフォーマンスを発揮します。NVIDIA のアクセラレーテッド コンピューティング プラットフォームは、データ センターからローカル ワークステーションまで、さまざまなプラットフォームで高性能モデルを構築できるようにし、迅速な導入と価値の実現を目指す企業のニーズに応えます。