Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

Kubernetes環境においては、モデルの要件とGPUサイズのミスマッチが非効率性を招くことが多く、特にASRやTTSといった軽量モデルが、必要な容量のごく一部しか必要としないにもかかわらず、GPU全体を占有してしまう場合に顕著です。このような状況は、高価なコンピューティングリソースの利用率低下につながり、クラスタ密度を最適化し、追加のハードウェアなしでより多くのユーザーにサービスを提供するための戦略が必要となります。

NVIDIAのマルチインスタンスGPU（MIG）やタイムスライシング技術など、GPUパーティショニング戦略の実装とベンチマークを詳細に解説したガイドが公開されました。これらの手法は、高い信頼性を維持し、厳しいレーテンシー要件を満たすことに重点を置きながら、コンピューティングリソースを最大限に活用することを目的としています。このガイドでは、実運用レベルの音声AIパイプラインをテストベッドとして使用し、複数のモデルを組み合わせることでインフラストラクチャへの投資対効果を最大化する方法を示しています。

Kubernetes 用 NVIDIA デバイス プラグインは従来、GPU を整数リソースとして扱うため、大規模な言語モデル (LLM) が専用の計算処理を必要とする一方で、サポート モデルは GPU の容量の一部しか使用しない場合に非効率が生じます。この問題を解決するため、ガイドでは、ポッドと GPU の 1 対 1 の関係を解消することを提案しています。GPU パーティショニングには主に 2 つの戦略が評価されています。1 つはタイム スライシングと MPS によるソフトウェア ベースのパーティショニング、もう 1 つは MIG を使用したハードウェア ベースのパーティショニングです。それぞれの方法には利点と限界があり、MIG はハードウェア レベルの分離によって厳格なサービス品質を提供します。

音声AIパイプラインを用いた実験的なセットアップを用いて、これらのパーティショニング戦略を検証した。ASR、TTS、LLMワークロードを含むこのパイプラインを用いて、異なるパーティショニング手法がシステム効率と応答性に与える影響をベンチマークした。その結果、ASRとTTSを単一のGPUに統合することで、レーテンシーを維持しつつ、LLMインスタンスを追加するための計算リソースを確保できることが示された。MIGパーティショニングは、最高の効率性と安定性を提供するため、本番環境における推奨手法として浮上した。一方、タイムスライシングは、開発環境や低並行性アプリケーションに推奨された。

このガイドの最後には、NVIDIA NIMを使用してGPUパーティショニングとスケーリングを実装し、ASR、TTS、LLMワークロードを最大限に活用することで、インフラストラクチャのスループットと投資対効果を向上させるための推奨事項が記載されています。