NVIDIA は Nebius 社と協力し、大規模言語モデル (LLM) 推論における NVIDIA Run:ai の部分的 GPU 割り当てによるパフォーマンス向上を評価しました。この共同ベンチマークでは、専用 NVIDIA GPU と NVIDIA Quantum InfiniBand ネットワークを備えた Nebius 社の AI Cloud を活用し、ソリューションのスケーラビリティと効率性を実証しました。ベンチマークは NVIDIA NIM マイクロサービスを使用して実施され、標準化された導入環境が確保されました。

ベンチマークの結果は非常に顕著で、GPU の容量の半分のみを使用することで、フル GPU の 77% のスループットを達成しながら、同時ユーザー容量の 86% を処理できることが明らかになりました。さらに、小規模モデルでは、GPU のリソースの 4 分の 1 を使用することで、2 倍の同時推論ユーザーをサポートできます。また、テストでは、混合ワークロードによって共有 GPU 上のシステムユーザー総数が 3 倍になり、さまざまな部分的 GPU サイズにわたってほぼ線形にスループットがスケーリングされることも示されました。

NVIDIA Run:ai のインテリジェント スケジューリングと動的 GPU 分割機能は、AI ワークロードの効率的なスケーリングという課題に直面している企業にとって不可欠であることが証明されています。GPU をより小さなユニットに分割するこのプラットフォームの能力により、パフォーマンスの大幅な低下を招くことなく、複数のワークロードを同時に実行できます。この動的な割り当ては、ワークロードの需要に基づいてリソース配分を最適化する NVIDIA Run:ai のインテリジェント スケジューラーによって補完され、レイテンシの影響を受けやすいタスクが優先され、SLA が満たされます。

NVIDIA と Nebius が実施したベンチマークテストは、企業が GPU 投資を増やすことなく推論ワークロードを大幅にスケーリングできる可能性を浮き彫りにしました。NVIDIA Run:ai の分割 GPU スケジューリングと Nebius AI Cloud のインフラストラクチャを活用することで、企業は利用率の向上、運用の複雑さの簡素化、そして総所有コストの削減を実現できます。