Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Microsoft đã giới thiệu CTI-REALM, một công cụ đánh giá mã nguồn mở được thiết kế để đánh giá hiệu quả của các tác nhân AI trong lĩnh vực an ninh mạng. Công cụ này vượt xa các công cụ đánh giá truyền thống bằng cách đánh giá toàn bộ quy trình kỹ thuật phát hiện, bao gồm đọc báo cáo về mối đe dọa, phân tích dữ liệu đo từ xa và tạo ra các quy tắc phát hiện đã được xác thực. CTI-REALM hướng đến việc cung cấp một thước đo toàn diện hơn về khả năng của tác nhân AI trong việc chuyển đổi thông tin tình báo về mối đe dọa mạng thành các biện pháp phòng thủ thực tiễn.

Công ty xử lý một lượng lớn tín hiệu bảo mật mỗi ngày, nhấn mạnh tầm quan trọng của trí tuệ nhân tạo (AI) trong phòng thủ mạng hiện đại. Cam kết của Microsoft đối với sự đa dạng mô hình AI và ứng dụng có trách nhiệm được thể hiện rõ qua quyết định cung cấp CTI-REALM cho toàn ngành. Sáng kiến ​​này khuyến khích sự hợp tác trong việc nâng cao hệ thống bảo mật và viết mã mạnh mẽ hơn.

Khả năng đánh giá hiệu năng của CTI-REALM trải rộng trên nhiều nền tảng khác nhau, bao gồm các thiết bị đầu cuối Linux, Azure Kubernetes Service (AKS) và cơ sở hạ tầng đám mây Azure . Nó sử dụng 37 báo cáo CTI được chọn lọc từ các nguồn uy tín để mô phỏng các kịch bản thực tế mà các tác nhân AI cần xử lý. Hệ thống chấm điểm của công cụ này không chỉ đánh giá các quy tắc phát hiện cuối cùng mà còn cả các bước trung gian, cung cấp cái nhìn sâu sắc về quá trình ra quyết định của AI.

Đánh giá mới nhất của Microsoft về 16 cấu hình mô hình AI trên CTI-REALM-50 cho thấy các mô hình có khả năng suy luận trung bình hoạt động tốt hơn các mô hình có khả năng suy luận cao hơn, cho thấy rằng các phương pháp đơn giản hơn có thể hiệu quả hơn trong một số bối cảnh bảo mật nhất định. Kết quả cũng nhấn mạnh tầm quan trọng của các công cụ chuyên dụng cho CTI và hướng dẫn có cấu trúc trong việc nâng cao hiệu suất mô hình. Thông tin chi tiết đầy đủ về đánh giá có thể được tìm thấy trong bài báo đã được công bố của họ, và điểm chuẩn có thể truy cập thông qua kho lưu trữ Inspect AI, mời các nhà phát triển mô hình và các nhóm bảo mật đóng góp và chia sẻ những phát hiện của họ.