Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

生成 AI とリアルタイム サービスの需要が急増する中、NVIDIA は最新の MLPerf Inference v4.1 ベンチマークでその実力を披露しました。同社のプラットフォームは、すべてのデータ センター テストでトップクラスのパフォーマンスを発揮し、近日登場の NVIDIA Blackwell プラットフォームは、Llama 2 70B ワークロードで NVIDIA H100 Tensor Core GPU を最大 4 倍上回りました。この効率の飛躍的向上は、プラットフォームの高度な Transformer Engine と FP4 Tensor Core によるものです。

NVIDIA の H200 Tensor Core GPU も好成績を収め、新しい Mixtral 8x7B Mixture of Experts (MoE) LLM を含むすべてのデータ センター ベンチマークで優れた結果を示しました。MoE モデルは、単一のデプロイメント内で幅広いクエリとタスクを処理でき、推論ごとに選択した数のエキスパートのみをアクティブ化することで速度と効率性を実現できるため、ますます人気が高まっています。

大規模言語モデル (LLM) の急成長により、リアルタイムのレーテンシー要件を満たしながら推論要求を管理するために、コンピューティング能力の強化が必要になっています。NVIDIA の NVLink および NVSwitch テクノロジは、リアルタイムの大規模モデル推論に不可欠な高帯域幅 GPU 通信を可能にします。Blackwell プラットフォームはこれらの機能を拡張し、最大 72 個の GPU を備えたさらに大規模な NVLink ドメインをサポートする予定です。さらに、10 社の NVIDIA パートナーが MLPerf Inference の提出に貢献しており、NVIDIA プラットフォームが広く採用されていることを示しています。

NVIDIA はソフトウェアの改良を続けており、アップデートのたびに大幅なパフォーマンス向上を実現しています。NVIDIA H200 GPU は、前回のラウンド以降、生成 AI 推論パフォーマンスが 27% 向上しました。NVIDIA AI プラットフォームの主要コンポーネントである NVIDIA Triton 推論サーバーにより、組織は AI モデルの展開を効率化し、所有コストを削減できます。最新のベンチマークでは、Triton は NVIDIA のベアメタル サブミッションのパフォーマンスに匹敵し、スループットを犠牲にすることなく、企業に堅牢な AI 推論サーバーを提供しています。

エッジでは、NVIDIA の Jetson プラットフォームがセンサー データをリアルタイムの分析情報に変換し、LLM やビジョン トランスフォーマーなどのさまざまなモデルを実行できます。Jetson AGX Orin モジュールは、スループットとレーテンシーの大幅な改善を実現し、開発者が人間の言語と対話する多用途のアプリケーションを作成できるようにしています。NVIDIA のプラットフォームは、データ センターからエッジ コンピューティングまで、全般的にその多用途性とパフォーマンスのリーダーシップを実証しています。H200 GPU 搭載システムは現在、CoreWeave、ASUS、Dell Technologies、HPE、QTC、Supermicro などのさまざまなプロバイダーから入手できます。