Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Các tác nhân AI ngày càng trở nên thành thạo hơn trong việc duyệt web, truy xuất thông tin và hành động tự động, điều này, mặc dù có lợi, nhưng lại mở ra những con đường mới cho các cuộc tấn công mạng. Những cuộc tấn công này, được gọi là tấn công chèn lệnh (prompt injection), liên quan đến việc nhúng các lệnh vào nội dung bên ngoài để thao túng hành vi của AI. Khi những kẻ tấn công chuyển sang các chiến thuật kỹ thuật xã hội tinh vi hơn, thách thức không chỉ dừng lại ở việc lọc đầu vào đơn giản. Giờ đây, nó đòi hỏi các hệ thống phải được thiết kế để hạn chế thiệt hại do các thao tác thành công gây ra.

Sự phát triển của các cuộc tấn công chèn mã độc đã chuyển từ việc chèn lệnh đơn giản, chẳng hạn như sửa đổi một trang Wikipedia, sang các chiến lược kỹ thuật xã hội phức tạp hơn. Ví dụ, một email được tạo ra để thao túng trợ lý AI nhằm thu thập dữ liệu trái phép cho thấy sự tinh vi của các cuộc tấn công hiện đại. Những cuộc tấn công tinh vi này thường vượt qua tường lửa AI truyền thống, vốn khó phân biệt giữa các đầu vào độc hại và thông thường nếu không có ngữ cảnh.

Để chống lại những mối đe dọa này, phương pháp bảo mật AI đang được điều chỉnh. Thay vì chỉ cố gắng xác định các đầu vào độc hại, trọng tâm là thiết kế các tác nhân và hệ thống AI nhằm giảm thiểu tác động của việc thao túng. Điều này bao gồm việc đặt ra các ràng buộc đối với khả năng của AI, tương tự như cách các nhân viên dịch vụ khách hàng hoạt động trong các thông số được kiểm soát để giảm thiểu rủi ro trong một môi trường có khả năng độc hại.

Trong trường hợp của ChatGPT, sự kết hợp giữa nhận thức về kỹ thuật xã hội và kỹ thuật bảo mật truyền thống, chẳng hạn như phân tích nguồn-đích, được sử dụng. Mục tiêu là để đảm bảo rằng các hành động tiềm ẩn nguy hiểm hoặc việc truyền tải thông tin nhạy cảm không được thực hiện mà không có các biện pháp bảo vệ thích hợp. Mặc dù hầu hết các cuộc tấn công đều bị ngăn chặn bởi quá trình huấn luyện an toàn của AI, các biện pháp bổ sung như chiến lược giảm thiểu rủi ro URL an toàn vẫn được áp dụng để ngăn chặn hoặc cảnh báo người dùng về việc truyền tải dữ liệu trái phép. Cơ chế phòng thủ toàn diện này mở rộng đến nhiều ứng dụng khác nhau, đảm bảo an ninh người dùng luôn là ưu tiên hàng đầu.