Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

HackerRank đã ra mắt ASTRABenchmark, công cụ mới nhất của họ nhằm mục đích đánh giá hiệu suất của các mô hình AI tiên tiến trong các tác vụ phát triển phần mềm. Điểm chuẩn được thiết kế để kiểm tra khả năng AI trong các tình huống mã hóa thực tế bằng cách sử dụng các vấn đề dựa trên dự án, nhiều tệp. Vivek Ravisankar, CEO của HackerRank, nhấn mạnh tầm quan trọng của việc hiểu được khả năng kết hợp của con người và AI trong phát triển phần mềm và tin rằng chuyên môn của họ trong lĩnh vực này giúp họ có lợi thế để đánh giá các mô hình AI.

ASTRABenchmark cung cấp đánh giá toàn diện về các mô hình AI, bao gồm 65 bài toán mã hóa dựa trên dự án trên 10 lĩnh vực kỹ năng mã hóa chính. Mỗi bài toán chứa trung bình 12 mã nguồn và tệp cấu hình, và trung bình 61 dòng mã giải pháp. Điểm chuẩn này cũng cung cấp đánh giá chi tiết về độ chính xác và tính nhất quán của mô hình, sử dụng các số liệu như điểm trung bình và độ lệch chuẩn trung vị.

Kết quả ban đầu từ ASTRABenchmark cho thấy mô hình o1 của OpenAI hoạt động tốt hơn các mô hình khác, trong đó Claude- -3.5-sonnet cho kết quả nhất quán hơn. HackerRank mở mã nguồn chuẩn để khuyến khích cộng đồng AI thử nghiệm các mô hình và đóng góp vào sự tiến bộ của công nghệ AI. Báo cáo và phân tích đầy đủ về kết quả chuẩn có sẵn trên trang web HackerRank.

HackerRank là công ty dẫn đầu trong lĩnh vực kỹ năng dành cho nhà phát triển, phục vụ hơn 2.500 khách hàng và có cộng đồng hơn 25 triệu nhà phát triển. Công ty này nổi tiếng với việc giúp các công ty thiết lập chiến lược kỹ năng, quảng bá thương hiệu của họ tới các nhà phát triển và triển khai quy trình tuyển dụng dựa trên kỹ năng bằng AI. Để biết thêm thông tin về ASTRABenchmark, vui lòng liên hệ với chúng tôi qua email liên hệ được cung cấp.