Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

NVIDIA（カリフォルニア州サンノゼ）は、大規模な生成推論およびエージェント型推論向けのオープンソースソフトウェア「NVIDIA Dynamo 1.0」を発表。このソフトウェアは、NVIDIA Blackwell GPUと組み合わせることで、AI推論の性能を大幅に向上させるとしている。

同社によると、Dynamo 1.0は、AIファクトリーの分散型「オペレーティングシステム」として機能し、GPUとメモリリソースをクラスター全体で調整。これにより、推論パフォーマンスが最大7倍に向上し、GPUのトークンコストを削減し、収益機会を増大させるという。

また、NVIDIAはDynamoおよびNVIDIA TensorRT™-LLMライブラリの最適化をLangChain、llm-d、LMCacheなどの主要なフレームワークに統合。これにより、オープンソースエコシステムの加速が期待される。NVIDIA推論プラットフォームは、Amazon Web Services (AWS)、Microsoft Azure、Google Cloudなどのクラウドサービスプロバイダーに加え、多数のグローバル企業に採用されている。

NVIDIAの創業者/CEOジェンスン フアンは、「推論はあらゆるクエリ、あらゆるエージェント、あらゆるアプリケーションを支えるインテリジェンスのエンジン」と述べ、Dynamo 1.0によるAIファクトリー向けの新しい「オペレーティングシステム」の構築を強調。Dynamo 1.0は、本日より開発者に提供される。詳細はNVIDIAのウェブページで確認できる。