Para peneliti dari berbagai institusi telah berkolaborasi untuk mengatasi tantangan keamanan yang ditimbulkan oleh model bahasa besar (LLM) dalam pembangkitan kode otomatis. Mereka telah mengidentifikasi bahwa meskipun model-model ini dapat menyederhanakan tugas-tugas rekayasa perangkat lunak, mereka juga berisiko menghasilkan kode dengan kelemahan atau bias keamanan. Untuk mengatasi hal ini, tim telah mengembangkan pendekatan baru yang menggabungkan red teaming—menguji model terhadap permintaan dan pola yang tidak aman—dengan blue teaming, yang berfokus pada mekanisme pertahanan untuk mencegah kegagalan tersebut.

Makalah berjudul "BlueCodeAgent: Agen Blue Teaming yang Diaktifkan oleh Red Teaming Otomatis untuk CodeGen AI," memperkenalkan agen blue teaming baru yang memanfaatkan beragam alur red-teaming. Agen ini, yang dikenal sebagai BlueCodeAgent, memanfaatkan pengetahuan yang terakumulasi dari red teaming untuk meningkatkan kinerjanya dalam mendeteksi kode yang tidak aman. Para peneliti telah mengusulkan dua strategi: Pertahanan Tingkat Prinsip, yang menggunakan konstitusi untuk memandu pengambilan keputusan, dan Analisis Tingkat Nuansa, yang menggunakan pengujian dinamis untuk mengidentifikasi kerentanan. Kombinasi strategi ini telah menghasilkan peningkatan signifikan dalam kemampuan agen untuk mendeteksi risiko, dengan peningkatan skor F1 rata-rata sebesar 12,7% di berbagai set data dan tugas.

BlueCodeAgent unggul karena kemampuannya untuk menggeneralisasi risiko yang terlihat maupun yang tidak terlihat, berkat pengetahuan red-teaming yang komprehensif. BlueCodeAgent juga mengatasi masalah umum konservatisme yang berlebihan dalam deteksi kode yang rentan dengan menggabungkan pengujian dinamis, yang mengurangi positif palsu. Sifat agen yang agnostik terhadap model memungkinkannya untuk bekerja di berbagai LLM, dan pendekatannya yang berprinsip terhadap pertahanan memastikan bahwa agen tersebut tetap selaras dengan prinsip-prinsip etika dan keamanan.

Tim peneliti membayangkan pengembangan BlueCodeAgent lebih lanjut untuk mencakup kategori risiko tambahan dalam pembuatan kode dan untuk menskalakan aplikasinya ke basis kode yang lebih besar. Mereka juga bertujuan untuk memperluas kemampuan agen ke modalitas lain, seperti teks, gambar, video, dan audio, untuk memastikan keamanan dan keandalan dalam aplikasi AI yang lebih luas.