Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

SWE-Lancer は、 Upworkから提供された 1,400 件を超えるフリーランス ソフトウェア エンジニアリング タスクで構成される包括的なベンチマークとして導入されました。これらのタスクの総額は、実際の支払いで 100 万ドルを超えます。この広範なデータセットには、50 ドルの小さなバグ修正から 32,000 ドルの大規模な機能開発プロジェクトまで、さまざまなタスクが含まれています。また、モデルがさまざまな技術提案を評価して選択する必要がある管理タスクも含まれています。

SWE-Lancer 内のタスクは、綿密に評価されます。独立したエンジニアリング タスクは、厳格なエンドツーエンド テストを受け、熟練したソフトウェア エンジニアによって正確さが 3 度チェックされます。一方、管理タスクは、モデルの決定と、その仕事のために雇用された元のエンジニアリング マネージャーの決定を比較して評価されます。この二重のアプローチにより、タスク完了の包括的な評価が保証されます。

ベンチマークの広範囲にわたる性質にもかかわらず、初期評価では、最も高度なモデルでさえ、SWE-Lancer に含まれるタスクの大部分を正常に完了するのに苦労することが示されています。この結果は、複雑なソフトウェア エンジニアリング シナリオにおける AI の現在の限界を浮き彫りにしています。

進行中の研究をサポートするため、SWE-Lancer の作成者は、統合されたDockerイメージと、SWE-Lancer Diamond という公開評価分割をリリースしました。このベンチマークは、モデルのパフォーマンスと金銭的価値を相関させることで、ソフトウェア エンジニアリングの分野における AI の進歩の経済的影響に関する洞察を提供することを目指しています。このオープン ソースの取り組みは、ソフトウェア開発における AI と経済的価値の創造の交差点を研究する研究者にとって貴重なリソースになると期待されています。