Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA thông báo rằng nền tảng GB300 NVL72 của họ đã đạt được kết quả ấn tượng trong bài kiểm tra hiệu năng AA-AgentPerf mới được giới thiệu, được thiết kế để đo lường hiệu suất suy luận của tác nhân AI trong các tác vụ lập trình thực tế.

Công ty Artificial Analysis đã tạo ra tiêu chuẩn này để đánh giá xem một hệ thống có thể hỗ trợ bao nhiêu tác nhân AI hoạt động đồng thời trong khi vẫn duy trì các mục tiêu về mức độ dịch vụ đã được xác định trước đối với tốc độ phản hồi và latency.

Theo NVIDIA, GB300 NVL72 cung cấp số lượng tác nhân mã hóa đồng thời trên mỗi megawatt cao hơn tới 20 lần so với nền tảng H200 thế hệ trước khi chạy các tác vụ DeepSeek-V4-Pro. Kết quả này cho thấy sự cải thiện đáng kể về hiệu quả suy luận dựa trên tác nhân quy mô lớn.

Công ty cho biết các công nghệ bao gồm kết nối NVLink, TensorRT LLM, SGLang, vLLM và tối ưu hóa MoE đã góp phần vào những cải tiến này. NVIDIA cũng cho biết nền tảng Vera Rubin sắp ra mắt dự kiến ​​sẽ tiếp tục cải thiện hiệu suất và hiệu quả công việc của các tác nhân.