Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã đánh giá hiệu năng hệ thống trên các tác vụ trí tuệ nhân tạo dựa trên tác nhân bằng bộ công cụ đo hiệu năng SemiAnalysis AgentX. Phương pháp thử nghiệm tái hiện các phiên lập trình thực tế để đo lường khả năng xử lý ngữ cảnh dài, quản lý bộ nhớ và hiệu quả năng lượng trên các tác vụ đa bước phức tạp.

Kết quả thực nghiệm cho thấy kiến ​​trúc Vera Rubin NVL72 mang lại thông lượng xử lý trên mỗi megawatt cao hơn tới 30 lần so với các cấu hình trước đây. Các tối ưu hóa hệ thống giúp duy trì tương tác người dùng theo thời gian thực đồng thời tối đa hóa sản lượng tính toán trong giới hạn năng lượng cố định của trung tâm dữ liệu một cách liên tục.

Ngoài ra, nền tảng GB300 NVL72 đã đạt được mức giảm chi phí đáng kể trên mỗi triệu token khi chạy các mô hình hỗn hợp chuyên gia quy mô lớn. Sự tích hợp phần cứng và phần mềm cho phép triển khai quy mô lớn các quy trình suy luận tự động trên các môi trường điện toán doanh nghiệp hiện đại.