Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Các tác nhân lập trình AI đang thay đổi cách thức làm việc của các nhà phát triển bằng cách tự động hóa và tăng tốc nhiều tác vụ khác nhau. Tuy nhiên, vì các công cụ này hoạt động với cùng quyền hạn như người dùng, chúng tiềm ẩn những rủi ro bảo mật đáng kể và có thể trở thành mục tiêu của các cuộc tấn công mạng. Nhóm AI Red Team của NVIDIA đã xác định việc chèn lệnh gián tiếp là một mối đe dọa chính. Điều này cho phép kẻ tấn công thao túng mô hình ngôn ngữ điều khiển tác nhân thông qua nội dung độc hại trong kho lưu trữ, yêu cầu kéo hoặc tệp cấu hình. Điều này có thể khiến tác nhân thực hiện các hành động có hại mà người dùng không hề hay biết.

Để chống lại những rủi ro này, Nhóm AI Red Team của NVIDIA khuyến nghị một loạt các biện pháp kiểm soát. Kiểm soát đầu ra mạng là rất cần thiết để ngăn chặn việc rò rỉ dữ liệu và truy cập từ xa trái phép. Hạn chế các thao tác ghi tệp bên ngoài không gian làm việc của nhà phát triển là điều cần thiết để chặn các cơ chế duy trì và thực thi mã từ xa. Ngoài ra, các tệp cấu hình phải được bảo vệ khỏi các sửa đổi trái phép để ngăn chặn việc khai thác hệ thống.

Nhóm cũng nhấn mạnh tầm quan trọng của việc cách ly toàn bộ môi trường phát triển và các quy trình liên quan. Công nghệ ảo hóa có thể cô lập nhân sandbox khỏi nhân máy chủ, tăng cường bảo mật hơn nữa. Việc phê duyệt của người dùng được khuyến nghị đối với các hành động có thể vi phạm các biện pháp kiểm soát cô lập. Điều này đặc biệt quan trọng để ngăn chặn việc lưu trữ ủy quyền và lạm dụng trong tương lai. Việc quản lý bí mật phải được thực hiện cẩn thận để đảm bảo rằng chỉ những thông tin xác thực cần thiết cho một nhiệm vụ cụ thể mới được tiết lộ cho các tác nhân.

Quản lý vòng đời của hộp cát cũng là một khía cạnh quan trọng, với việc sử dụng các hộp cát tạm thời và thiết lập lại định kỳ được khuyến nghị để ngăn chặn sự tích tụ dữ liệu nhạy cảm. Những biện pháp này nhằm mục đích cân bằng sự tiện lợi của tự động hóa với nhu cầu bảo mật mạnh mẽ. Kết quả nghiên cứu của Nhóm Đỏ AI của NVIDIA nhấn mạnh bản chất đang phát triển của các công cụ tác nhân và tầm quan trọng của việc đánh giá bảo mật liên tục để bảo vệ chống lại các mối đe dọa mới nổi.