Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã công bố các phương pháp mới để cải thiện hiệu quả năng lượng và lợi nhuận trong các nhà máy AI, nơi chi phí điện năng có thể chiếm một phần đáng kể trong chi phí vận hành. Công ty cho biết hiệu suất trên mỗi watt đã trở thành thước đo quan trọng đối với các triển khai AI quy mô lớn.

Theo thông báo, các công nghệ bao gồm nền tảng GB200 NVL72 và kiến ​​trúc DSX giúp tăng thông lượng suy luận trong phạm vi ngân sách điện năng cố định. Làm mát bằng chất lỏng, phân bổ điện năng động và tối ưu hóa cơ sở hạ tầng dự kiến ​​sẽ cải thiện hiệu suất sử dụng tổng thể.

Nghiên cứu được thực hiện với Sáng kiến ​​ML.ENERGY của Đại học Michigan cho thấy rằng việc điều chỉnh tốc độ hoạt động của GPU trong quá trình huấn luyện mô hình lớn có thể giảm mức tiêu thụ năng lượng trong khi vẫn duy trì thời gian hoàn thành huấn luyện.

Công ty cho biết thêm rằng DSX cung cấp khả năng điều phối điện năng và quản lý khối lượng công việc theo thời gian thực. Các tính năng này nhằm mục đích giúp người vận hành tối đa hóa số token được tạo ra trên mỗi watt và cải thiện lợi nhuận kinh tế trong môi trường AI bị hạn chế về điện năng.