Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA (California) cho biết chi phí lưu trữ và tính toán phát sinh khi huấn luyện mô hình tuyến tính quy mô lớn, đặc biệt là khi lưu thường xuyên, vẫn là một yếu tố quan trọng. Kích thước điểm lưu lớn được xem là nguyên nhân chính.

Công ty này cho rằng việc lưu điểm đồng bộ khiến GPU phải hoạt động ở trạng thái nhàn rỗi trong quá trình ghi dữ liệu, dẫn đến thời gian ngừng hoạt động tích lũy đáng kể. Ở quy mô lớn, thời gian nhàn rỗi này được cho là sẽ dẫn đến chi phí vận hành cao.

Họ giải thích rằng việc nén dữ liệu dựa trên GPU sử dụng nvCOMP có thể giảm kích thước điểm lưu khoảng 20-30%, đồng thời rút ngắn thời gian ghi thông qua xử lý theo đường ống. Điều này cho phép quá trình nén diễn ra mà không làm tăng độ trễ.

Phương pháp này được mô tả là dễ tích hợp bằng cách sửa đổi các quy trình lưu, chỉ cần thay đổi tối thiểu quy trình huấn luyện. Khi mô hình ngày càng lớn, việc tối ưu hóa như vậy dự kiến ​​sẽ đóng vai trò quan trọng trong việc tiết kiệm chi phí.