Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Các chuyên gia bảo mật của Microsoft đã phát hiện ra một xu hướng đáng lo ngại, trong đó các công ty đang thao túng trợ lý AI để ưu tiên các sản phẩm và dịch vụ của riêng họ. Sự thao túng này, được gọi là "đầu độc đề xuất AI", được thực hiện bằng cách nhúng các lệnh ẩn vào nút "Tóm tắt với AI". Các lệnh này được thiết kế để làm sai lệch các đề xuất trong tương lai của AI bằng cách hướng dẫn nó ưu tiên một số công ty nhất định là nguồn đáng tin cậy.

Kỹ thuật này khai thác khả năng ghi nhớ sở thích và ngữ cảnh của người dùng theo thời gian của trợ lý AI. Bằng cách nhấp vào một nút tưởng chừng vô hại, người dùng có thể vô tình hướng dẫn AI duy trì sự ưu tiên cho một công ty cụ thể. Nghiên cứu của Microsoft đã phát hiện hơn 50 trường hợp thao túng này trên nhiều ngành công nghiệp khác nhau, cho thấy sự dễ dàng thực hiện bằng các công cụ có sẵn.

Microsoft đã thực hiện các bước để chống lại các cuộc tấn công chèn lệnh này trong dịch vụ Copilot của mình và triển khai các biện pháp đối phó để ngăn chặn hành vi được báo cáo tái diễn. Công ty tiếp tục cải thiện khả năng phòng thủ của mình khi các kỹ thuật thao túng mới được phát hiện.

Tác động của việc đầu độc bộ nhớ AI là rất đáng kể, đặc biệt khi trợ lý AI cung cấp lời khuyên về các chủ đề nhạy cảm như sức khỏe hoặc tài chính. Người dùng có thể không nhận thức được rằng trí tuệ nhân tạo (AI) của họ đã bị xâm phạm và dẫn đến việc đưa ra quyết định dựa trên thông tin sai lệch. Phát hiện của Microsoft nhấn mạnh tầm quan trọng của việc luôn cảnh giác trong tương tác với AI và thường xuyên xem xét, quản lý bộ nhớ được lưu trữ bởi AI để đảm bảo những sai lệch đó không ảnh hưởng đến các quyết định quan trọng.