Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Khi nhu cầu về các mô hình AI lớn hơn ngày càng tăng, cộng đồng AI đang chuyển trọng tâm từ huấn luyện độ chính xác BF16 truyền thống sang khám phá những lợi ích của các phương pháp huấn luyện độ chính xác thấp. Các phương pháp này, sử dụng ít bit hơn để biểu diễn số, cho phép tăng số lượng phép toán trên mỗi chu kỳ trên GPU, dẫn đến hiệu quả huấn luyện được nâng cao và chi phí giảm.

Gần đây, đã có những so sánh giữa ba định dạng huấn luyện độ chính xác thấp—FP8-CS, MXFP8 và NVFP4—và độ chính xác BF16 đã được thiết lập. Những so sánh này, dựa trên các lần chạy huấn luyện trước rộng rãi và các điểm chuẩn tiếp theo, đã chỉ ra rằng huấn luyện độ chính xác thấp có thể mang lại thông lượng cao hơn khoảng 1,6 lần, tiết kiệm bộ nhớ đáng kể và chất lượng mô hình tương đương với độ chính xác BF16.

Các định dạng huấn luyện độ chính xác thấp như FP8-CS, MXFP8 và NVFP4 được thiết kế để tối ưu hóa hiệu quả bộ nhớ và thông lượng. FP8-CS sử dụng tỷ lệ trên mỗi tensor, MXFP8 sử dụng tỷ lệ cấp khối được tối ưu hóa cho các kiến ​​trúc GPU cụ thể và NVFP4 giới thiệu định dạng 4 bit với chiến lược tỷ lệ phân cấp. Các định dạng này đã được thử nghiệm trên các kiến ​​trúc transformer dày đặc, chứng minh sự hội tụ ổn định và độ chính xác được duy trì trong các tác vụ tiếp theo.

Ưu điểm của việc áp dụng huấn luyện độ chính xác thấp là rõ ràng, với những cải thiện đáng kể về thông lượng huấn luyện và hiệu quả bộ nhớ. Điều này cho phép huấn luyện đầu cuối nhanh hơn và khả năng mở rộng được cải thiện, đặc biệt là trên các nền tảng GPU tiên tiến. Thư viện mã nguồn mở NeMo Megatron Bridge tạo điều kiện thuận lợi cho việc áp dụng các kỹ thuật huấn luyện độ chính xác thấp này, cung cấp các công thức sẵn sàng cho sản xuất và tích hợp đơn giản vào các quy trình làm việc hiện có. Khi các mô hình AI tiếp tục mở rộng quy mô, huấn luyện độ chính xác thấp được kỳ vọng sẽ đóng vai trò quan trọng trong việc phát triển hiệu quả các mô hình thế hệ tiếp theo.