Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

SemiAnalysis đã công bố InferenceMAX™ v1, một sáng kiến mã nguồn mở nhằm đánh giá hiệu suất phần cứng suy luận. Những phát hiện của sáng kiến này chứng minh rằng GPU NVIDIA mang lại hiệu suất tốt nhất trên nhiều khối lượng công việc khác nhau. Đặc biệt, dòng Blackwell của NVIDIA cho thấy những cải tiến hiệu suất đáng kể so với thế hệ Hopper trước đó, cho thấy tiềm năng doanh thu đáng kể.

Nền tảng InferenceMAX v1 có các bài kiểm tra tự động hàng ngày bao gồm nhiều khuôn khổ và cấu hình suy luận. Phương pháp này đảm bảo các điểm chuẩn phản ánh chính xác các tình huống triển khai AI trong thế giới thực. Các bài kiểm tra toàn diện bao gồm nhiều mô hình và độ dài chuỗi, cung cấp xác thực chi tiết về hiệu suất phần cứng suy luận.

Kiến trúc Blackwell của NVIDIA đã chứng minh hiệu quả và hiệu quả chi phí vượt trội trong bài kiểm tra InferenceMAX v1. Với lõi Tensor tiên tiến và băng thông NVLink cao, dòng Blackwell đã chứng minh những cải tiến ấn tượng về hiệu suất tính toán trên mỗi watt và băng thông bộ nhớ. Những cải tiến này đã cải thiện hiệu suất năng lượng và giảm chi phí trên mỗi triệu token, khẳng định vị thế dẫn đầu của nền tảng NVIDIA trong việc triển khai AI quy mô lớn.

Hiệu suất phần cứng của NVIDIA đang không ngừng được cải thiện thông qua việc tối ưu hóa phần mềm liên tục. Đội ngũ kỹ sư của NVIDIA đã và đang nỗ lực cải tiến ngăn xếp TensorRT-LLM, giúp tăng đáng kể thông lượng của LLM nguồn mở. Những tiến bộ này, cùng với bản chất nguồn mở của InferenceMAX v1, cho phép cộng đồng AI xác thực và tận dụng vị thế dẫn đầu về hiệu suất của NVIDIA trong nhiều tình huống suy luận AI.