Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA（サンタクララ）は、自律型AIエージェントの推論処理性能を評価する新たなベンチマークテスト「SemiAnalysis AgentX」における検証結果を公表した模様だ。従来の固定長処理とは異なり、ツール呼び出しやコンテキスト蓄積を伴うリアルタイムな運用負荷に対する性能が計測されたとされる。

最新の「Vera Rubin NVL72」システムでは、前世代モデルと比較してメガワットあたりの処理能力が最大30倍向上したと伝えられている。電力効率を高めることでトークン単価の削減を実現し、データセンターにおける大規模な推論処理のコストパフォーマンスを大幅に改善する仕組みが整えられた見通しだ。

また「GB300 NVL72」においても高いスループットとコスト低減が実証されており、大規模な専門モデルの効率的な運用を可能にすると見込まれている。同社はハードウェアとソフトウェアの協調設計を通じて、AIファクトリーにおける高度な推論インフラの提供を加速させていく構想と報じられている。