Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã công bố hướng dẫn nêu rõ sự khác biệt giữa việc đánh giá mô hình AI và đánh giá tác nhân AI, nhấn mạnh rằng các tác nhân trong thực tế cần được đánh giá dựa trên quỹ đạo chứ không chỉ dựa vào điểm chuẩn tĩnh.

Công ty cho biết việc đánh giá nhân viên nên ưu tiên các chỉ số như Tỷ lệ hoàn thành nhiệm vụ, Độ chính xác cuộc gọi công cụ và Hiệu quả quỹ đạo để đo lường việc thực thi quy trình công việc trong môi trường năng động.

Nó cũng nhấn mạnh tầm quan trọng của việc giám sát lựa chọn công cụ, compliance lược đồ, latency, việc sử dụng mã thông báo và chất lượng suy luận để xác định các điểm yếu trong vận hành và việc tiêu thụ tài nguyên quá mức.

NVIDIA đã giới thiệu NeMo Agent Toolkit như một khuôn khổ cho việc phát triển dựa trên đánh giá, cho phép các nhà phát triển ghi lại quỹ đạo, các lệnh gọi công cụ và các chỉ số kết quả trên các hệ thống tác nhân hiện có.