Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Quy trình làm việc của tác nhân đã nổi lên như một phương pháp tiếp cận mang tính chuyển đổi trong AI, cho phép các nhà phát triển tạo ra các chuỗi tương tác phức tạp cho các mô hình AI. Các quy trình làm việc này cho phép các mô hình AI tự động thực hiện các tác vụ phức tạp với sự can thiệp tối thiểu của con người, cải thiện khả năng truy cập dữ liệu và tự động hóa các hành động. Tuy nhiên, các mô hình cốt lõi, thường là các mô hình ngôn ngữ lớn (LLM), dễ bị tấn công tiêm nhắc, trong đó dữ liệu không đáng tin cậy có thể thao túng đầu ra của hệ thống.

NVIDIA đã giới thiệu Khung tự chủ của tác nhân để giải quyết các mối lo ngại về bảo mật vốn có trong các hệ thống AI tiên tiến này. Khung này nhằm mục đích hiểu và giảm thiểu các rủi ro liên quan đến sự phức tạp ngày càng tăng của quy trình làm việc AI. Nó cũng đóng vai trò là một công cụ để mô hình hóa các mối đe dọa đối với các hệ thống tác nhân, khiến nó đặc biệt phù hợp với các ứng dụng an ninh mạng. Khung này là một phần trong chiến lược bảo mật rộng hơn của NVIDIA và đã được mô tả chi tiết tại sự kiện GTC.

Việc khai thác các ứng dụng hỗ trợ AI phụ thuộc vào hai yếu tố: khả năng của kẻ thù trong việc đưa dữ liệu độc hại vào hệ thống và các tác động hạ lưu tiếp theo mà dữ liệu này có thể gây ra. Tiêm nhắc trực tiếp và tiêm nhắc gián tiếp là hai phương pháp mà kẻ tấn công sử dụng để thao túng LLM. Việc tiêm nhắc trực tiếp, chẳng hạn như nhắc "bất cứ điều gì ngay bây giờ", thường có tác động hạn chế và chỉ ảnh hưởng đến phiên của người dùng đang hoạt động. Ngược lại, việc tiêm nhắc gián tiếp có thể gây ra hậu quả nghiêm trọng hơn vì nó ảnh hưởng đến phiên của người dùng khác thông qua nguồn dữ liệu bị thao túng.

Tính bảo mật của hệ thống tác nhân được kết hợp chặt chẽ với các công cụ và plugin mà hệ thống có quyền truy cập. Khi mức độ tự chủ tăng lên, việc dự đoán hành vi của hệ thống và đánh giá tác động của dữ liệu không đáng tin cậy trở nên khó khăn hơn. Khung của NVIDIA phân loại các hệ thống theo mức độ tự chủ của chúng và cung cấp một cấu trúc rõ ràng để hiểu các rủi ro và các biện pháp kiểm soát bảo mật cần thiết. Ví dụ: hệ thống cấp độ 0 rất đơn giản, trong khi hệ thống cấp độ 3 với các đường dẫn thực thi phức tạp đòi hỏi các biện pháp bảo mật tiên tiến hơn, chẳng hạn như theo dõi nhiễm bẩn và phê duyệt thủ công các hành động nhạy cảm.

Tóm lại, việc gia tăng quy trình làm việc của tác nhân đòi hỏi một cách tiếp cận tinh tế đối với bảo mật. Khung của NVIDIA cung cấp một cách để đánh giá một cách có hệ thống các rủi ro liên quan đến các mức độ tự chủ khác nhau của hệ thống và triển khai các biện pháp kiểm soát bảo mật phù hợp. Khi các hệ thống AI ngày càng trở nên tự chủ hơn, việc hiểu và quản lý luồng dữ liệu không đáng tin cậy sẽ rất quan trọng để duy trì tính toàn vẹn và an toàn của các giải pháp công nghệ tiên tiến này.