Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Gần đây, tổ chức này đã mở rộng ComputeEval, một chuẩn mực mã nguồn mở để đánh giá các mô hình AI trên các tác vụ lập trình CUDA, bằng cách bổ sung hơn 100 thử thách mới. Bộ dữ liệu hiện bao gồm 232 bài toán, kết hợp các tính năng CUDA tiên tiến và các ứng dụng thực tế. Bản cập nhật này nhằm mục đích nâng cao khả năng đánh giá khả năng xử lý các tác vụ tính toán phức tạp của AI.

Chúng tôi đã thiết lập các chỉ số hiệu suất bằng cách thử nghiệm một số mô hình ngôn ngữ hàng đầu với ComputeEval. Kết quả cho thấy điểm số trong phiên bản mới giảm, điều này cho thấy độ khó của bài kiểm tra chuẩn tăng lên chứ không phải khả năng của mô hình AI giảm xuống. Đánh giá này cho phép AI hiểu rõ hơn về sự phức tạp của tính toán tăng tốc.

Công ty có kế hoạch phát triển ComputeEval hơn nữa bằng cách bổ sung các thư viện CUDA-X và kêu gọi sự đóng góp từ cộng đồng AI và điện toán hiệu năng cao. Các bên quan tâm có thể truy cập mã nguồn trên GitHub và bộ dữ liệu trên Hugging Face, thúc đẩy sự hợp tác và đổi mới trong lập trình CUDA hỗ trợ AI.