Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

NVIDIAは、AI運用におけるコスト効率の重要な指標であるワットあたりのトークンスループットを向上させるため、AIプラットフォームの強化に積極的に取り組んできました。GPU、CPU、ネットワーク、ソフトウェア、電力供給、冷却システム間の相乗効果を最適化することで、生成トークン100万個あたりのコストを削減することに成功しました。この改善は、個人消費者から大企業まで、様々なタスクにAIを活用するユーザーの増加に伴い、特に大きなメリットをもたらします。

NVIDIAの進歩はソフトウェアスタックにも及び、既存プラットフォームからより高いパフォーマンスを引き出せるよう微調整されています。この戦略は、NVIDIA GPUの性能を向上させるだけでなく、クラウドサービスプロバイダー、GPUクラウド、モデルビルダー、そして企業全体で既に導入されているインフラストラクチャの生産寿命を延ばすことにもつながります。

NVIDIAの推論ソフトウェアスタックへの最近のアップデートは、特にNVIDIA Blackwellアーキテクチャ上で実行する場合、大幅なパフォーマンス向上をもたらしました。これらのアップデートは、ソフトウェアスタックの全機能と相まって、洗練されたスパース混合エキスパート推論モデルであるDeepSeek-R1のパフォーマンス向上に大きく貢献しました。

72基のNVIDIA Blackwell GPUを搭載したNVIDIA GB200 NVL72ラックスケールプラットフォームは、AIパフォーマンスの最適化に対するNVIDIAのコミットメントを示すものです。このプラットフォームの設計は、頻繁なデータ交換を必要とするスパースMoEアーキテクチャに基づくモデル向けにカスタマイズされています。BlackwellアーキテクチャのNVFP4データ形式向けハードウェアアクセラレーションや、分散型サービングなどの最適化により、NVL72アーキテクチャとNVLinkスイッチテクノロジーがさらに活用され、DeepSeek-R1などのモデルで最高レベルのパフォーマンスを実現します。