Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

NVIDIA（米カリフォルニア州）は、生成AIがチャットボット中心の利用から、自律的にツールやサブエージェントを活用する「Agentic AI」へ移行しているとの分析を公表した。トークン消費量や長文コンテキスト需要が急増しているという。

同社によると、エージェント型AIは従来型チャット比で最大15倍のトークンを消費するケースがある。複数のツール呼び出しやサブエージェント処理、コンテキスト圧縮などが加わることで、推論コストやレイテンシー要件が大幅に高まるとしている。

また、長大なコンテキスト処理を支える基盤として「Vera Rubin NVL72」や「Groq 3 LPX」、NVLink 6、BlueField-4などを組み合わせた極限協調設計（Extreme Co-Design）戦略を紹介した。大規模MoEモデル向け推論効率改善を狙う。

さらに、DynamoやTRT-LLM WideEP、Speculative Decodingなどのソフトウェア群も公開した。400Kコンテキスト規模でも毎秒400超のトークン生成性能を目指し、エージェントAIの実用化加速につなげる考えを示した。