Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Datadog(New York) đã công bố các tính năng mới để hỗ trợ giám sát và thử nghiệm các tác nhân AI tại hội nghị thường niên "DASH". Các tính năng mới bao gồm Giám sát tác nhân AI, Thử nghiệm LLM và Bảng điều khiển tác nhân AI, giúp trực quan hóa hoạt động của các tác nhân AI và giúp tập trung hóa việc đánh giá và quản lý chất lượng của các ứng dụng LLM.

Sự xuất hiện của Generative AI và các tác nhân tự động đang thay đổi cách các công ty phát triển và cung cấp phần mềm. Nhiều công ty phải đối mặt với thách thức là hiểu được hành vi và giá trị của các hệ thống AI. Datadog đã giới thiệu một phương pháp quan sát sử dụng nhật ký và số liệu để hiểu và phân tích trạng thái nội bộ của các hệ thống AI.

Các tính năng mới cho phép các công ty theo dõi hành vi của hệ thống AI, chạy thử nghiệm trên LLM và đánh giá xu hướng sử dụng tác nhân và tác động. Điều này cho phép triển khai nhanh chóng và an toàn cũng như cải tiến liên tục các ứng dụng LLM. Irie Garnier của Datadog cho biết các tính năng mới được công bố với mục đích tăng hiệu quả đầu tư vào AI.

AI Agent Monitoring trực quan hóa luồng ra quyết định của tác nhân trong một biểu đồ tương tác. Có thể phân tích các lỗi như latency tăng đột ngột, lệnh gọi công cụ không chính xác và vòng lặp vô hạn, đồng thời hiểu chúng liên quan đến chất lượng, bảo mật và chi phí. Timothée Lacroix của Mistral AI cho biết khả năng quan sát giúp hiểu và phân tích hành vi của các tác nhân AI theo thời gian thực.

Thí nghiệm LLM là một chức năng để xác minh các yếu tố ảnh hưởng đến hiệu suất của các ứng dụng LLM. Các thí nghiệm sử dụng dữ liệu theo dõi và bộ dữ liệu khách hàng giúp nắm bắt định lượng hiệu ứng của các cải tiến về độ chính xác và chi phí phản hồi và ngăn ngừa sự hồi quy. Michael Gerstenhaber của Anthropic nhấn mạnh tầm quan trọng của khả năng quan sát.

AI ​​Agents Console là một chức năng để hiểu hành vi, cách sử dụng và quyền của các tác nhân AI bên ngoài và tối ưu hóa việc triển khai tác nhân. Almita Paymandost của Salesforce đã nói về tầm quan trọng của việc trực quan hóa tác động của các tác nhân AI và bày tỏ hy vọng rằng sự phát triển về khả năng quan sát của Datadog sẽ cải thiện tính minh bạch và khả năng mở rộng của các tác nhân AI. Bạn có thể tìm thêm thông tin trên trang web Datadog .