SWE-Lancer diperkenalkan sebagai tolok ukur komprehensif yang terdiri dari lebih dari 1.400 tugas rekayasa perangkat lunak lepas yang bersumber dari Upwork, dengan nilai total lebih dari $1 juta dalam bentuk pembayaran riil. Kumpulan data yang luas ini mencakup berbagai macam tugas, mulai dari perbaikan bug kecil yang menghabiskan biaya $50 hingga proyek pengembangan fitur besar yang menghabiskan biaya $32.000. Ini juga mencakup tugas administratif di mana model harus mengevaluasi dan memilih dari berbagai proposal teknis.

Tugas-tugas dalam SWE-Lancer dievaluasi secara menyeluruh. Tugas-tugas rekayasa independen menjalani pengujian menyeluruh yang ketat dan diperiksa ulang keakuratannya oleh teknisi perangkat lunak yang berpengalaman, sementara tugas-tugas manajemen dievaluasi dengan membandingkan keputusan model dengan keputusan manajer rekayasa awal yang dipekerjakan untuk pekerjaan tersebut. Pendekatan ganda ini memastikan evaluasi menyeluruh atas penyelesaian tugas.

Meskipun tolok ukur ini bersifat ekstensif, evaluasi awal menunjukkan bahwa bahkan model yang paling canggih pun kesulitan untuk berhasil menyelesaikan sebagian besar tugas yang disertakan dalam SWE-Lancer. Hasil ini menyoroti keterbatasan AI saat ini dalam skenario rekayasa perangkat lunak yang kompleks.

Untuk mendukung penelitian yang sedang berlangsung, para kreator SWE-Lancer telah merilis citra Docker terintegrasi dan evaluasi publik yang disebut SWE-Lancer Diamond. Tolok ukur ini bertujuan untuk memberikan wawasan tentang dampak ekonomi dari kemajuan AI di bidang rekayasa perangkat lunak dengan mengkorelasikan kinerja model dengan nilai moneter. Upaya sumber terbuka ini diharapkan menjadi sumber daya yang berharga bagi para peneliti yang mempelajari hubungan antara AI dan penciptaan nilai ekonomi dalam pengembangan perangkat lunak.