Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Nghiên cứu mới trình bày một phương pháp đột phá để xác định các lỗ hổng trong các mô hình ngôn ngữ trọng lượng mở, vốn rất quan trọng để duy trì tính toàn vẹn của các hệ thống AI. Các nhà nghiên cứu phát hiện ra rằng những hành vi "cửa hậu" này trong các mô hình AI có thể được kích hoạt trong những điều kiện nhất định, gây ra rủi ro cho an ninh của hệ thống. Nghiên cứu này nhấn mạnh tầm quan trọng của các chiến lược phòng thủ mạnh mẽ, bao gồm các quy trình xây dựng an toàn, đánh giá kỹ lưỡng và giám sát chặt chẽ, để đảm bảo triển khai AI đáng tin cậy và an toàn.

Nghiên cứu này đi sâu vào khám phá sự phức tạp của việc can thiệp vào mô hình ngôn ngữ, phân biệt giữa thao tác mã và làm nhiễm độc mô hình. Trong khi can thiệp mã là một mối đe dọa an ninh đã được công nhận, thì làm nhiễm độc mô hình tinh vi hơn, liên quan đến việc nhúng hành vi có hại vào trọng số của mô hình trong quá trình huấn luyện. Điều này có thể khiến một mô hình hoạt động bình thường cho đến khi bị kích hoạt bởi một cụm từ cụ thể thực hiện hành vi độc hại. Kết quả của nghiên cứu này rất cần thiết để phát triển các công cụ nhằm phát hiện và giảm thiểu những rủi ro này, đồng thời tăng độ tin cậy của công nghệ AI.

Nhóm nghiên cứu đã xác định các chỉ số quan trọng cho thấy sự hiện diện của cửa hậu trong mô hình ngôn ngữ, bao gồm các mẫu chú ý đặc trưng và sự thay đổi về entropy đầu ra khi được kích hoạt, cũng như xu hướng mô hình bị nhiễm độc vô tình làm rò rỉ dữ liệu huấn luyện của chính nó. Hơn nữa, nghiên cứu cho thấy rằng các cửa hậu thường được kích hoạt bởi các biến thể của tác nhân kích hoạt dự định, mở rộng phạm vi phát hiện. Dựa trên những phát hiện này, một công cụ quét thực tiễn đã được phát triển có thể xác định các cửa hậu tiềm ẩn mà không cần huấn luyện mô hình bổ sung hoặc kiến ​​thức trước đó về hành vi của cửa hậu.

"Nghiên cứu này thừa nhận một số hạn chế nhất định, chẳng hạn như việc không thể áp dụng công cụ quét cho các mô hình độc quyền chỉ có thể truy cập thông qua API và trọng tâm hiện tại là các cửa hậu đầu ra mang tính xác định. Mặc dù gặp phải những thách thức này, nghiên cứu này vẫn thể hiện một bước tiến đáng kể trong lĩnh vực an ninh AI và cung cấp một công cụ có thể được tích hợp vào các chiến lược phòng thủ rộng hơn. Các nhà nghiên cứu hy vọng sẽ khuyến khích sự hợp tác trong cộng đồng AI để tiếp tục hoàn thiện và triển khai các kỹ thuật phát hiện này, đảm bảo sự phát triển liên tục của các hệ thống AI an toàn và đáng tin cậy."