Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Các nhà nghiên cứu từ nhiều tổ chức khác nhau đã hợp tác để giải quyết những thách thức bảo mật do các mô hình ngôn ngữ lớn (LLM) đặt ra trong quá trình tạo mã tự động. Họ nhận thấy rằng mặc dù các mô hình này có thể đơn giản hóa các tác vụ kỹ thuật phần mềm, nhưng chúng cũng có nguy cơ tạo ra mã chứa các lỗi bảo mật hoặc sai lệch. Để khắc phục điều này, nhóm đã phát triển một phương pháp mới kết hợp red teaming - kiểm tra các mô hình chống lại các yêu cầu và mẫu không an toàn - với blue teaming, tập trung vào các cơ chế phòng thủ để ngăn chặn những lỗi này.

Bài báo có tựa đề "BlueCodeAgent: Một tác nhân blue teaming được kích hoạt bởi Automated Red Teaming cho AI CodeGen", giới thiệu một tác nhân blue teaming mới được hưởng lợi từ quy trình red-teaming đa dạng. Tác nhân này, được gọi là BlueCodeAgent, tận dụng kiến thức tích lũy từ red-teaming để nâng cao hiệu suất phát hiện mã không an toàn. Các nhà nghiên cứu đã đề xuất hai chiến lược: Phòng thủ Cấp độ Nguyên tắc, sử dụng các quy trình để hướng dẫn việc ra quyết định, và Phân tích Cấp độ Sắc thái, sử dụng thử nghiệm động để xác định các lỗ hổng. Sự kết hợp của các chiến lược này đã dẫn đến sự cải thiện đáng kể khả năng phát hiện rủi ro của tác nhân, với mức tăng trung bình 12,7% trong điểm F1 trên nhiều tập dữ liệu và tác vụ khác nhau.

BlueCodeAgent nổi bật với khả năng khái quát hóa cho cả rủi ro đã thấy và chưa thấy, nhờ kiến thức toàn diện về nhóm đỏ. Nó cũng giải quyết vấn đề thường gặp về tính bảo thủ quá mức trong việc phát hiện mã dễ bị tấn công bằng cách kết hợp kiểm thử động, giúp giảm thiểu các kết quả dương tính giả. Bản chất không phụ thuộc vào mô hình của tác nhân cho phép nó hoạt động trên nhiều LLM khác nhau, và cách tiếp cận phòng thủ có nguyên tắc của nó đảm bảo rằng nó vẫn tuân thủ các nguyên tắc đạo đức và bảo mật.

Nhóm nghiên cứu hình dung BlueCodeAgent sẽ tiếp tục phát triển để bao phủ các loại rủi ro bổ sung trong quá trình tạo mã và mở rộng ứng dụng của nó sang các cơ sở mã lớn hơn. Họ cũng đặt mục tiêu mở rộng khả năng của tác nhân sang các phương thức khác, chẳng hạn như văn bản, hình ảnh, video và âm thanh, để đảm bảo tính an toàn và độ tin cậy trong phạm vi ứng dụng AI rộng hơn.