Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

SWE-Lancer được giới thiệu như một chuẩn mực toàn diện bao gồm hơn 1.400 nhiệm vụ kỹ thuật phần mềm tự do có nguồn gốc từ Upwork, với tổng giá trị hơn 1 triệu đô la tiền thanh toán thực tế. Bộ dữ liệu mở rộng này bao gồm nhiều nhiệm vụ khác nhau, từ các bản sửa lỗi nhỏ có giá 50 đô la đến các dự án phát triển tính năng lớn có giá 32.000 đô la. Nó cũng bao gồm các nhiệm vụ hành chính mà mô hình phải đánh giá và lựa chọn từ các đề xuất kỹ thuật khác nhau.

Các nhiệm vụ trong SWE-Lancer được đánh giá kỹ lưỡng. Các nhiệm vụ kỹ thuật độc lập trải qua quá trình kiểm tra đầu cuối nghiêm ngặt và được các kỹ sư phần mềm giàu kinh nghiệm kiểm tra ba lần về độ chính xác, trong khi các nhiệm vụ quản lý được đánh giá bằng cách so sánh các quyết định của mô hình với các quyết định của người quản lý kỹ thuật ban đầu được thuê cho công việc. Cách tiếp cận kép này đảm bảo đánh giá toàn diện về việc hoàn thành nhiệm vụ.

Mặc dù bản chất rộng lớn của chuẩn mực, các đánh giá ban đầu cho thấy ngay cả các mô hình tiên tiến nhất cũng gặp khó khăn trong việc hoàn thành thành công phần lớn các tác vụ có trong SWE-Lancer. Kết quả này làm nổi bật những hạn chế hiện tại của AI trong các tình huống kỹ thuật phần mềm phức tạp.

Để hỗ trợ cho quá trình nghiên cứu đang diễn ra, những người sáng tạo ra SWE-Lancer đã phát hành một hình ảnh Docker tích hợp và một bản phân chia đánh giá công khai có tên là SWE-Lancer Diamond. Điểm chuẩn này nhằm mục đích cung cấp thông tin chi tiết về tác động kinh tế của những tiến bộ AI trong lĩnh vực kỹ thuật phần mềm bằng cách liên hệ hiệu suất mô hình với giá trị tiền tệ. Nỗ lực nguồn mở này được kỳ vọng sẽ là một nguồn tài nguyên có giá trị cho các nhà nghiên cứu đang nghiên cứu về sự giao thoa giữa AI và việc tạo ra giá trị kinh tế trong phát triển phần mềm.