Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

NVIDIAは、分散環境における生成型AIおよび推論モデルのパフォーマンス向上を目的とした新しいAIフレームワーク「Dynamo 1.0」を発表しました。このプラットフォームは、低遅延かつ高スループットの分散推論を実現するように設計されており、本番環境レベルのマルチノードAIデプロイメントをサポートします。Dynamoは様々なオープンソースの推論エンジンと互換性があり、MLPerfやSemiAnalysis InferenceXなどのベンチマークテストで優れた結果を示しています。特にNVIDIAのBlackwellプラットフォームでは、リクエスト処理能力が最大7倍向上しました。

同社は、Dynamoが多数の組織で本番ワークフローに正常に統合され、マルチノード推論のスケーリング、スループットの最適化、レーテンシーの削減能力が実証されたと報告している。このフレームワークは主要なクラウドプロバイダーにも採用されており、マネージドKubernetes環境へのシームレスなデプロイが可能となっている。オープンソースフレームワークは、主要なプロセスを高速化するためにDynamoのコンポーネントを採用しており、AIコミュニティからの貢献によってその機能が拡張されている。

Dynamo 1.0では、特に画像処理負荷の高いワークロードにおいて、マルチモーダル推論の最適化を向上させるための新機能が導入されました。エンコード、プリフィル、デコードをそれぞれ独立した段階に分離することで、個別のスケーリングとパフォーマンスの向上を実現しています。さらに、このフレームワークはビデオ生成モデルをネイティブでサポートするようになり、最先端のビデオ生成を効率的に提供できるようになりました。

Dynamoの最新アップデートでは、AIアプリケーションの回復力向上にも重点が置かれています。障害検出機能とリクエスト移行機能が導入され、個々のワーカーに問題が発生した場合でも応答性を維持できるようになりました。また、KVブロックマネージャも更新され、オブジェクトストレージのサポートとグローバルKVイベントの発行が可能になり、モデルオペレーターにとって柔軟性と可視性が向上しました。

NVIDIAのDynamoロードマップには、マルチモーダル機能の拡張、リアルタイム高品質ビデオ生成のための拡散ベースモデルの進化、エージェントワークロードと強化学習のスケーリングなどが含まれています。同社は、Dynamoの継続的な開発へのコミュニティの参加を奨励しており、関心のある方はコードを探索したり、オフィスアワーに参加したり、技術ブログを読んで詳細情報を入手したりすることを推奨しています。