Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

PaperBench được giới thiệu như một chuẩn mực mới được thiết kế để đánh giá khả năng tái tạo nghiên cứu AI tiên tiến của một tác nhân AI. Chuẩn mực này thách thức các tác nhân tái tạo kết quả của 20 bài báo được chọn từ hội nghị ICML 2024, yêu cầu họ phải hiểu các đóng góp ban đầu, phát triển cơ sở mã của riêng mình và chạy các thí nghiệm thành công. Chuẩn mực này bao gồm hơn 8.000 nhiệm vụ có thể chấm điểm, với mỗi nhiệm vụ được sao chép được chia thành các nhiệm vụ con nhỏ hơn, được xác định rõ ràng để cho phép đánh giá chính xác.

Để đảm bảo tính chính xác và tính thực tế của quá trình đánh giá, những người sáng tạo PaperBench đã làm việc với các tác giả của bài báo ICML để cùng phát triển các tiêu chí chấm điểm. Các tiêu chí chấm điểm này đóng vai trò là hướng dẫn để chấm điểm các nỗ lực sao chép của tác nhân AI. Ngoài ra, một giám khảo dựa trên AI được trang bị mô hình ngôn ngữ đã được phát triển để tự động chấm điểm các nỗ lực này. Hiệu suất của giám khảo AI này cũng được đánh giá bằng một chuẩn mực riêng được tạo riêng cho các giám khảo.

Trong một đánh giá gần đây, PaperBench đã được sử dụng để thử nghiệm một số mô hình AI hàng đầu. Kết quả cho thấy tác nhân có điểm cao nhất, Claude 3.5 Sonnet được hỗ trợ bởi các công cụ nguồn mở, đạt được điểm sao chép trung bình là 21,0%. Tuy nhiên, khi so sánh với các chuyên gia con người, mô hình AI vẫn chưa vượt qua được hiệu suất của các chuyên gia học máy hàng đầu được sử dụng để thách thức một tập hợp con các tác vụ chuẩn.

Nhóm đứng sau PaperBench đang phát hành mã với mục tiêu thúc đẩy nghiên cứu sâu hơn về khả năng kỹ thuật cho các tác nhân AI. Nỗ lực này dự kiến ​​sẽ góp phần thúc đẩy R&D AI bằng cách cung cấp một nền tảng mạnh mẽ để đánh giá hiệu suất khách quan.