Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA (Santa Clara) đã đạt được kết quả dẫn đầu trong MLPerf Inference v6.0, thiết lập kỷ lục hiệu năng mới trên nhiều kiến ​​trúc mô hình AI khác nhau. GPU Blackwell Ultra của hãng mang lại thông lượng cao nhất, nâng tổng số chiến thắng tích lũy lên 291 kể từ năm 2018. Điều này gấp chín lần số chiến thắng của tất cả các đối thủ cạnh tranh khác cộng lại.

Công ty đã chứng minh được những cải tiến đáng kể về hiệu quả thông qua kỹ thuật toàn diện và tối ưu hóa phần mềm. Hệ thống GB300 NVL72 của họ đã cải thiện hiệu suất của DeepSeek-R1 lên 2,7 lần so với kết quả ban đầu sáu tháng trước. Những cải tiến này giúp giảm chi phí sản xuất token hơn 60%, cho phép các nhà điều hành nhà máy AI phục vụ nhiều người dùng hơn một cách hiệu quả.

Số lượng kỷ lục 14 đối tác đã gửi kết quả kiểm tra hiệu năng trên nền tảng NVIDIA, thể hiện một hệ sinh thái toàn cầu mạnh mẽ. Các kết quả kiểm tra bao gồm các khối lượng công việc mới được bổ sung, bao gồm tạo video, mô hình ngôn ngữ thị giác và hệ thống đề xuất tạo sinh. Kết quả nhấn mạnh tính linh hoạt của nền tảng trong việc xử lý nhiều phương thức và các kịch bản triển khai phức tạp.

NVIDIA đã mở rộng thông lượng lên hàng triệu token mỗi giây bằng cách sử dụng mạng InfiniBand Quantum-X800 với 288 GPU. Hiện tại, họ đang hợp tác với liên minh MLCommons để định nghĩa các chuẩn mực điểm cuối mới. Các số liệu sắp tới này nhằm mục đích cung cấp một bức tranh chính xác về các dịch vụ AI đã triển khai trong điều kiện lưu lượng API thực tế.