Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA báo cáo rằng các hệ thống sử dụng GPU Blackwell Ultra đạt hiệu năng suy luận hàng đầu trên nhiều bài kiểm tra trong MLPerf Inference v6.0, phản ánh thông lượng mạnh mẽ trên nhiều khối lượng công việc AI khác nhau.

Công ty cho biết họ là nền tảng duy nhất gửi kết quả trên tất cả các mô hình mới được giới thiệu, bao gồm DeepSeek-R1 và Qwen3-VL, đồng thời mang lại hiệu năng dẫn đầu trong mỗi trường hợp.

Cũng cần lưu ý rằng các tối ưu hóa phần mềm, đặc biệt là thông qua TensorRT-LLM, đã cải thiện tốc độ suy luận lên đến 2,7 lần trên cùng phần cứng, giảm đáng kể chi phí tạo token.

Ngoài ra, các cấu hình quy mô lớn được kết nối với InfiniBand được cho là đã cho phép xử lý hàng triệu token mỗi giây, làm nổi bật tác động của thiết kế phần cứng và phần mềm tích hợp đối với hiệu quả cơ sở hạ tầng AI.