Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã giới thiệu một phương pháp luận để đánh giá hiệu suất huấn luyện độ chính xác thấp trong các mô hình AI dựa trên Transformer, giúp các nhà phát triển xác định các định dạng độ chính xác hiệu quả nhất trước khi bắt đầu huấn luyện quy mô lớn.

Phương pháp này chuyển đổi cấu hình mô hình thành khối lượng công việc GEMM thực tế và so sánh hiệu năng của chúng trên các định dạng BF16, FP8, MXFP8 và NVFP4. Phân tích được thiết kế để tiết lộ thời gian huấn luyện được dành cho đâu và có thể tăng tốc ở đâu.

Sử dụng mô hình CodonFM 5B làm ví dụ, công ty đã chứng minh cách các phép toán ma trận khác nhau phản ứng với việc thực thi độ chính xác thấp. Khối lượng công việc lớn hơn cho thấy sự cải thiện mạnh mẽ hơn, trong khi các phép toán liên quan đến cơ chế chú ý nhỏ hơn lại ít được hưởng lợi từ việc giảm độ chính xác.

Theo NVIDIA, khung đánh giá hiệu năng này cho phép các nhóm ước tính tốc độ tăng tốc huấn luyện thực tế, định lượng chi phí lượng tử hóa và đưa ra các quyết định về kiến ​​trúc trước khi dành nhiều tài nguyên GPU cho việc huấn luyện mô hình quy mô sản xuất.