Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Microsoft đã công bố phát hành mã nguồn mở hai công cụ an toàn AI mới, “RAMPART” và “Clarity”, nhằm mục đích cải thiện tính bảo mật và độ tin cậy của các tác nhân AI trong doanh nghiệp.

Theo công ty, các hệ thống AI hiện đại đã phát triển vượt ra ngoài việc chỉ tạo văn bản, trở thành những tác nhân có khả năng truy cập email, truy xuất hồ sơ CRM , thực thi mã và thực hiện các hành động trên các hệ thống được kết nối. Microsoft cho biết sự thay đổi này đòi hỏi an toàn AI phải trở thành một nguyên tắc kỹ thuật liên tục chứ không phải là một quy trình xem xét một lần.

RAMPART là một khung kiểm thử an toàn tác nhân được xây dựng để tích hợp kiểm thử đối kháng trực tiếp vào quy trình phát triển. Khung này cho phép các kỹ sư mã hóa các cuộc tấn công tiêm mã nhanh và các kịch bản đe dọa khác thành các bài kiểm thử có thể lặp lại, chạy trong các đường dẫn CI. Microsoft cho biết thêm rằng RAMPART hỗ trợ kiểm thử thống kê cho hành vi LLM xác suất và có thể chuyển đổi vĩnh viễn các phát hiện của nhóm tấn công hoặc các sự cố AI thành các bài kiểm thử hồi quy.

Trong khi đó, Clarity được thiết kế để giúp các nhóm xác thực các giả định trong giai đoạn lập kế hoạch của các dự án phần mềm. Công cụ này hướng dẫn các nhà phát triển và nhóm sản phẩm thông qua các cuộc thảo luận có cấu trúc xoay quanh việc xác định vấn đề, thiết kế giải pháp, phân tích lỗi và theo dõi quyết định. Kết quả đầu ra được lưu trữ dưới dạng các tệp markdown dễ đọc trong kho lưu trữ để hỗ trợ cộng tác và khả năng xem xét lâu dài.

Microsoft tuyên bố rằng cả hai dự án đều là một phần của nỗ lực rộng lớn hơn nhằm thiết lập các thực tiễn an toàn AI ngay từ khâu kỹ thuật. Công ty cho biết các công cụ này có sẵn ngay lập tức dưới dạng các dự án mã nguồn mở và mời gọi sự đóng góp từ cộng đồng cũng như các đối tác doanh nghiệp.