Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã tiết lộ các chi tiết kỹ thuật về nền tảng CPU Vera của mình, được thiết kế đặc biệt để tối ưu hóa khối lượng công việc của các tác nhân trí tuệ nhân tạo trong các trung tâm dữ liệu hiện đại. Kiến trúc này mang lại hiệu năng đơn luồng cao cùng với khả năng xử lý song song nhiều luồng để xử lý hiệu quả các bước suy luận tuần tự phức tạp.

Phân tích dữ liệu đo từ xa của các phiên làm việc thực tế cho thấy các tác vụ của tác nhân dựa trên các chuỗi thực thi dài và nhạy cảm với độ trễ, xen kẽ với các đợt xử lý song song ngắn. Cấu trúc phần cứng cân bằng này ngăn ngừa tình trạng thiếu tài nguyên trong khi vẫn duy trì băng thông bộ nhớ và khả năng phản hồi hoạt động liên tục.

Ước tính hiệu năng cho thấy sự cải thiện đáng kể về khả năng xử lý so với các bộ xử lý doanh nghiệp cạnh tranh trên các bài kiểm tra trình biên dịch và thực thi. Việc triển khai bộ xử lý thống nhất tối ưu hóa hiệu quả kinh tế của hệ thống bằng cách tăng số lượng tác vụ người dùng hoàn thành trong môi trường điện toán hạn chế về năng lượng.