Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA cho biết các trung tâm dữ liệu đang chuyển dịch sang “các nhà máy token AI”, nơi các tác vụ suy luận chiếm ưu thế và sản lượng được đo bằng token thay vì năng lực tính toán thô.

Công ty này chỉ ra rằng các chỉ số truyền thống như chi phí tính toán và FLOPS trên mỗi đô la không thể phản ánh hiệu suất thực tế. Họ nhấn mạnh chi phí trên mỗi token là chỉ số quan trọng cho kinh tế cơ sở hạ tầng AI.

Theo phân tích, việc tối đa hóa sản lượng token trực tiếp làm giảm chi phí và tăng tiềm năng doanh thu. Các yếu tố như thông lượng, hiệu quả năng lượng và tối ưu hóa phần mềm ảnh hưởng đáng kể đến kết quả triển khai thực tế.

So sánh cho thấy các hệ thống Blackwell mới hơn mang lại hiệu quả token cao hơn nhiều so với các kiến ​​trúc trước đó, dẫn đến chi phí trên mỗi token thấp hơn đáng kể. Sự chuyển dịch này báo hiệu một sự thay đổi rộng hơn trong cách các doanh nghiệp đánh giá cơ sở hạ tầng AI.