Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

AI推論は大きな変革を遂げ、高度なオーケストレーションを必要とする複雑なシステムへと進化しました。AIモデルの展開には、プレフィル、デコード、ビジョンエンコーダなど、複数のコンポーネントが連携してタスクを実行する必要があります。この複雑性により、複数のレプリカを実行するという単純な作業から、これらのコンポーネントを統合されたユニットとして調整することへと焦点が移っています。各要素はそれぞれ独自の構成とリソース要件を持ち、効果的に機能させるには、特定の順序で起動し、ネットワークトポロジ内に配置する必要があります。

こうした高度なシステム管理の複雑な課題に対処するため、NVIDIA は NVIDIA Dynamo に NVIDIA Grove を導入しました。この Kubernetes API は、Kubernetes クラスター上で最新の ML 推論ワークロードの運用を容易にします。オープンソースでGitHubからアクセスできる Grove により、開発者は推論デプロイメントを単一のレプリカからデータセンター規模まで拡張でき、数千台の GPU をサポートします。Grove は推論システム全体を単一のカスタムリソースとして記述する方法を提供し、階層的なギャングスケジューリング、トポロジを考慮した配置、そしてマルチレベルの自動スケーリングを可能にします。

Grove の柔軟性は、単一ノード構成から複雑なエージェントパイプラインまで、様々な現実世界の推論アーキテクチャに対応できることに表れています。開発者は、複雑な AI スタックを、明確かつ宣言的、かつフレームワークに依存しない方法で定義できます。このシステムは、マルチレベルの自動スケーリング、ライフサイクル管理、階層型ギャングスケジューリング、トポロジを考慮したスケジューリングといったニーズに対応し、コンポーネントのオーケストレーションと初期化を確実に実行します。

Grove APIは、階層的なカスタムリソースを用いてマルチコンポーネントAIワークロードを管理し、ロール固有のロジックとマルチレベルのスケーリングを提供します。このアプローチにより、異なるクラスター環境間での最適なデプロイメントが保証されます。Grove対応のKubernetesクラスターは、GroveオペレーターとPodGangリソースを理解するスケジューラーを組み合わせ、ワークロード定義を具体的なスケジューリング制約に変換します。これにより、AIシステムの協調的なデプロイメントが実現され、コンポーネントは正しい順序で起動され、最適なパフォーマンスが得られるように配置され、統一されたグループとして復旧します。

分散型サービスアーキテクチャの導入に関心のある方のために、NVIDIAはDynamoとGroveを使用したステップバイステップガイドを提供しています。NVIDIAはコミュニティの皆様に、Groveの機能を探索し、開発に貢献し、 GitHubまたはDiscordでプロジェクトに参加することを呼びかけています。NVIDIAはまた、すべての貢献者、特にGroveプロジェクトへの多大なサポートと貢献をいただいたSAPに感謝の意を表します。