Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã công bố dữ liệu chuẩn hiệu năng đo được cho nền tảng Vera Rubin NVL72 được thiết kế để chạy các tác vụ trí tuệ nhân tạo dựa trên tác nhân. Kiến trúc được tăng tốc này đạt được thông lượng hoạt động cao hơn tới 30 lần trên mỗi megawatt đồng thời giảm đáng kể chi phí xử lý token.

Các tối ưu hóa hệ thống giải quyết sự tăng trưởng ngữ cảnh liên tục trong các tác vụ suy luận tính toán đa bước tự động trên các hệ thống nhà máy AI. Các tính năng thiết kế đồng bộ phần cứng và phần mềm tích hợp, bao gồm Tensor Core tùy chỉnh, giúp tăng tốc độ xử lý để duy trì mức tiêu thụ năng lượng thấp hơn trong các hoạt động mạng phức tạp.

Việc nâng cao thông lượng cho phép các cơ sở xử lý dữ liệu bị hạn chế về năng lượng thực hiện các quy trình làm việc của tác nhân một cách hiệu quả. Các bản cập nhật phần mềm liên tục và sự tích hợp hệ sinh thái đối tác nhằm mục đích nâng cao hiệu quả xử lý trong các triển khai tương lai một cách liên tục.