Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã công bố Blackwell Ultra, một nền tảng điện toán tốc độ cao mới được thiết kế để đáp ứng nhu cầu suy luận AI ngày càng tăng, bao gồm mở rộng quy mô trong quá trình đào tạo, sau đào tạo và thử nghiệm. Nền tảng này sẽ được cung cấp bởi hệ thống NVIDIA GB300 NVL72, có giải pháp cân bằng làm mát bằng chất lỏng kết hợp 36 CPU NVIDIA Grace và 72 GPU Blackwell Ultra. Hệ thống này tự hào có băng thông NVLink ấn tượng 130 TB/s, định vị nó là một giải pháp mạnh mẽ cho suy luận AI quy mô lớn.

Nền tảng Blackwell Ultra hứa hẹn mang lại hiệu suất suy luận AI nâng cao cần thiết cho các hệ thống AI đa tác nhân thời gian thực và suy luận bối cảnh dài. Các lõi Blackwell Ultra Tensor mới tăng đáng kể FLOPS tính toán AI, với mẫu GB300 NVL72 mang lại FLOPS AI cao hơn tới 70 lần so với các mẫu trước đó. Việc tăng hiệu suất này được hỗ trợ bởi bộ nhớ HBM3e lên tới 288 GB trên mỗi GPU và bộ nhớ kết hợp tốc độ cao lên tới 40 TB trên mỗi giá để xử lý đồng thời các mô hình lớn và các tác vụ phức tạp.

Để tối ưu hóa hiệu suất cho suy luận đa nút, quy mô lớn, Blackwell Ultra trang bị kết nối PCIe Gen6 và NVIDIA ConnectX-8 800G SuperNIC giúp tăng băng thông mạng lên 800 Gb/s. Điều này được bổ sung bởi NVIDIA Dynamo, một thư viện nguồn mở được thiết kế để mở rộng quy mô các dịch vụ AI suy luận trên các nút GPU. Việc tích hợp với nền tảng mạng NVIDIA Quantum-X800 và NVIDIA Spectrum-X cho phép các nhà máy AI và trung tâm dữ liệu đám mây quản lý hiệu quả nhu cầu khối lượng công việc được xác định theo ba quy luật mở rộng.

GB300 NVL72 của NVIDIA dự kiến ​​sẽ tăng đáng kể sản lượng của các nhà máy AI, với mã thông báo thông lượng cao hơn gấp 10 lần mỗi giây cho mỗi người dùng và mã thông báo thông lượng cao hơn gấp 5 lần mỗi giây trên mỗi megawatt. Hiệu ứng kết hợp này có khả năng tăng hiệu suất đầu ra tổng thể của nhà máy AI của bạn lên gấp 50 lần. Các sản phẩm Blackwell Ultra dự kiến ​​sẽ có mặt từ các đối tác vào cuối năm 2025 với sự hỗ trợ từ các nhà cung cấp dịch vụ đám mây và nhà sản xuất máy chủ hàng đầu.