NVIDIA（米国カリフォルニア州）は、自律型AIエージェントの性能を測定する評価フレームワークの分析結果を公表した。単一のテキスト出力や個別の関数呼び出しの精度だけでなく、実際の環境下で複数段階にわたる作業を完遂できるかを総合的に評価する仕組みが重視されている。

本手法では各工程の動作を検証するステップレベルのスコアと、最終的な処理結果を確認するエンドツーエンドのスコアを組み合わせて分析が行われる模様だ。呼び出しの正確性に加え、一連の処理に伴うコストや遅延時間といった観点も評価軸として盛り込まれているという。

あわせて自社モデルである『Nemotron 3.5 Lightning』を用いた検証例も提示されたとのことだ。評価指標の標準化を進めることで、企業におけるエージェント型AIの構築や導入判断を技術面から多角的に支援していく構想と報じられている。