Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Bảo mật AI phải đối mặt với những thách thức nghiêm trọng do sự gia tăng của các cuộc tấn công tiêm nhanh, trong đó kẻ tấn công thao túng đầu vào của mô hình ngôn ngữ để thay đổi hành vi của nó hoặc truy cập dữ liệu bị hạn chế. Dự án bảo mật ứng dụng toàn cầu mở đã xác định đây là mối đe dọa Azure đối với các mô hình ngôn ngữ lớn (LLM). Để giải quyết mối đe dọa này, Azure AI Content Safety đã phát triển Prompt Shields, một API phân tích và bảo vệ API dựa trên LLM khỏi các mối đe dọa trực tiếp và gián tiếp, bao gồm cả việc rò rỉ dữ liệu và hành vi không mong muốn trong các hệ thống AI.

Tấn công tiêm nhanh có hai dạng: trực tiếp và gián tiếp. Tấn công trực tiếp liên quan đến các lời nhắc độc hại nhằm mục đích lách luật bảo mật và lấy thông tin nhạy cảm. Trong khi đó, các cuộc tấn công gián tiếp, còn được gọi là Azure Prompt Injection Attacks (XPIA), ẩn các lời nhắc có hại trong nội dung lành tính. Azure AI Content Safety's Prompt Shield chống lại các cuộc tấn công này bằng cách tích hợp với Azure OpenAI Content Filter, liên tục cập nhật các biện pháp phòng thủ và tận dụng máy học và xử lý ngôn ngữ tự nhiên để xác định và giảm thiểu các mối đe dọa.

Khả năng của Prompt Shields mở rộng đến nhận thức theo ngữ cảnh, hiểu được ý định của người dùng để giảm các kết quả dương tính giả và Spotlighting, một tính năng được công bố tại Microsoft Build 2025 phân biệt giữa dữ liệu đầu vào đáng tin cậy và không đáng tin cậy. Ngoài ra, Azure Shields hoạt động theo thời gian thực để cung cấp khả năng giảm thiểu mối đe dọa ngay lập tức nhằm duy trì tính toàn vẹn của các mô hình AI. Azure AI Foundry bổ sung cho những nỗ lực này bằng các đánh giá rủi ro và an toàn, các tác nhân nhóm đỏ để kiểm tra an toàn chủ động và các bộ lọc nội dung mạnh mẽ, tất cả đều được tích hợp với Microsoft Defender for Cloud để cung cấp các cảnh báo và khuyến nghị bảo mật toàn diện.

Prompt Shields của Azure AI Content Safety đã đóng vai trò quan trọng trong việc giúp các công ty như AXA và Wrtn Technologies bảo mật các mô hình AI của họ. AXA đã tích hợp công nghệ lọc nội dung của Azure vào lớp bảo mật của mình để ngăn chặn các cuộc tấn công chèn nhanh, trong khi Wrtn Technologies tận dụng tính linh hoạt của Prompt Shields để duy trì compliance và bảo mật trên các dịch vụ hỗ trợ AI của họ. Đối với các tổ chức muốn tăng cường bảo mật AI của mình, Azure cung cấp khả năng tích hợp dễ dàng Prompt Shields để đảm bảo mức độ bảo vệ cao và duy trì sự tin tưởng và an tâm của người dùng.