Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

NVIDIAは、Jetson AGX Thorプラットフォームの大幅なパフォーマンス強化を発表しました。これにより、生成AIスループットは発売以来最大7倍に向上しました。NVIDIAのソフトウェア最適化への取り組みがこれらの改善につながり、LlamaやDeepSeekなどのモデルを扱う開発者にとってメリットとなります。NVIDIAは新しいAIモデルのサポートをリリース後数日以内に提供することが多く、開発者は最新の技術をプロジェクトに迅速に統合できます。

Jetson Thorプラットフォームは、NVIDIA Blackwell GPUアーキテクチャのNVFP4など、主要な量子化フォーマットのサポートも統合しています。この追加機能と投機的デコードなどの技術を組み合わせることで、特にエッジコンピューティングアプリケーションにおけるAI推論をさらに最適化します。最近リリースされたvLLMコンテナは、既存モデルと比較して最大3.5倍のパフォーマンス向上を実証しており、NVIDIAのソフトウェアエコシステムの強化への取り組みを示しています。

NVIDIAのJetson Thorプラットフォームは、vLLMコンテナでEagle 3の投機的デコードをサポートするようになり、生成AIモデルの速度が大幅に向上しました。例えば、Llama 3.3 70B モデルは投機的デコード機能を備えており、1秒あたり88.62トークンの出力を実現しています。これは、リリース当初の数値から大幅なパフォーマンス向上を示しています。これは、エッジにおける AI ワークロードを高速化するための強力なツールを開発者に提供することに NVIDIA が注力していることを示しています。

開発者は、Jetson Thor プラットフォーム上で最新の生成 AI モデルの Day 0 サポートを利用できるため、最先端テクノロジにすぐにアクセスできます。NVIDIA の量子化と投機的デコードへのアプローチは、プラットフォーム上で生成 AI のパフォーマンスを最大化するためのガイドとなります。毎月更新されるスタンドアロンの vLLM コンテナのリリースにより、NVIDIA は開発者が AI モデルの最適化とベンチマークを行うプロセスを簡素化し、エッジにおける AI テクノロジの進化における同社の役割を強化しています。