Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã thiết lập một chuẩn mực mới về hiệu suất AI với hiệu năng vượt trội trong bài kiểm tra chuẩn SemiAnalysis InferenceMAX v1 mới nhất. Bài kiểm tra chuẩn này, lần đầu tiên đo lường tổng chi phí tính toán trên nhiều mô hình và kịch bản, đã chứng minh rằng nền tảng Blackwell của NVIDIA mang lại hiệu suất và hiệu quả hàng đầu trong ngành. Thành tựu này đặc biệt quan trọng đối với các nhà máy AI, nơi mà kinh tế học suy luận ngày càng trở nên quan trọng.

Hệ thống GB200 NVL72 của công ty đã chứng minh được lợi tức đầu tư (ROI) ấn tượng, chuyển đổi khoản đầu tư 5 triệu đô la thành doanh thu token 75 triệu đô la. ROI gấp 15 lần này thể hiện rõ ràng tác động kinh tế của các giải pháp AI của NVIDIA. Hơn nữa, việc tối ưu hóa phần mềm B200 đã giảm đáng kể tổng chi phí sở hữu (TCO), với chi phí gpt-oss chỉ còn 2 xu cho mỗi triệu token, bằng một phần năm chi phí trước đây.

Hệ thống B200 của NVIDIA cũng vượt trội về thông lượng và tương tác, đạt 60.000 token mỗi giây trên mỗi GPU và duy trì 1.000 token mỗi giây trên mỗi người dùng trong gpt-oss. Những kết quả này có được nhờ bộ công cụ NVIDIA TensorRT-LLM mới nhất, được thiết kế để đáp ứng nhu cầu ngày càng tăng về suy luận phức tạp trong các ứng dụng AI. Phó Chủ tịch NVIDIA, Ian Buck, nhấn mạnh tầm quan trọng của hiệu suất và hiệu quả trong việc triển khai AI quy mô lớn, thể hiện cam kết của công ty đối với phương pháp tiếp cận toàn diện.

Điểm chuẩn InferenceMAX v1 thể hiện vị thế dẫn đầu của NVIDIA trong lĩnh vực AI, liên tục thúc đẩy đổi mới thông qua tối ưu hóa đồng thiết kế phần cứng và phần mềm. Các tính năng kiến ​​trúc Blackwell như định dạng độ chính xác thấp NVFP4 và NVIDIA NVLink thế hệ thứ 5 góp phần mang lại hiệu suất vượt trội. Với hệ sinh thái mạnh mẽ và tập trung vào cải tiến liên tục, NVIDIA có vị thế tốt để giúp khách hàng chuyển đổi từ AI thí điểm sang nhà máy AI quy mô lớn, giúp họ tối đa hóa ROI và kiếm tiền từ hiệu suất.