Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

PaperBench は、最先端の AI 研究を再現する AI エージェントの能力を評価するために設計された新しいベンチマークとして導入されました。このベンチマークでは、エージェントに ICML 2024 カンファレンスから選ばれた 20 の論文の結果を再現するよう要求し、元の貢献を理解し、独自のコードベースを開発し、実験を成功させる必要があります。このベンチマークは 8,000 を超える採点可能なタスクで構成されており、各複製タスクは正確に評価できるように、より小さく明確に定義されたサブタスクに分割されています。

評価プロセスの正確性と現実性を確保するために、PaperBench の作成者は ICML 論文の著者と協力して、ルーブリックを共同開発しました。これらのルーブリックは、AI エージェントの複製試行を採点するためのガイドとして機能します。さらに、言語モデルを搭載した AI ベースの審査員が開発され、これらの試行を自動的に採点します。この AI 審査員のパフォーマンスは、審査員専用に作成された別のベンチマークによっても評価されます。

最近の評価では、PaperBench を使用していくつかの主要な AI モデルがテストされました。結果によると、最高スコアを獲得したエージェントであるオープンソース ツールを搭載した Claude 3.5 Sonnet は、平均 21.0% の複製スコアを達成しました。ただし、人間の専門家と比較すると、AI モデルは、ベンチマーク タスクのサブセットに挑戦するために採用されたトップクラスの機械学習博士のパフォーマンスをまだ上回っていません。

PaperBench の背後にあるチームは、AI エージェントのエンジニアリング機能に関するさらなる研究を促進することを目的として、コードを公開しています。この取り組みは、客観的なパフォーマンス評価のための堅牢なプラットフォームを提供することで、AI の研究開発の進歩に貢献することが期待されています。