Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA vừa công bố một loạt các kỹ thuật tối ưu hóa mô hình nhằm cải thiện hiệu quả và khả năng mở rộng của việc triển khai AI trên GPU. Các kỹ thuật này giải quyết sự phức tạp ngày càng tăng của các mô hình và kiến ​​trúc AI, hướng đến mục tiêu cải thiện hiệu suất và tổng chi phí sở hữu (TCO) của các hệ thống AI. Một kỹ thuật đáng chú ý là lượng tử hóa sau huấn luyện (PTQ), giúp nén các mô hình hiện có thành định dạng có độ chính xác thấp hơn, ngay lập tức cải thiện latency và thông lượng.

Một kỹ thuật quan trọng khác là huấn luyện có nhận thức lượng tử hóa (QAT), bao gồm giai đoạn tinh chỉnh để điều chỉnh mô hình cho các lỗi độ chính xác thấp. Kỹ thuật này đặc biệt hiệu quả khi PTQ đơn thuần không thể đáp ứng yêu cầu về độ chính xác. Ngoài ra, NVIDIA đã phát triển phương pháp chưng cất có nhận thức lượng tử hóa (QAD), giúp cải thiện hơn nữa độ chính xác của mô hình bằng cách kết hợp tổn thất chưng cất vào quá trình huấn luyện và phù hợp với các tác vụ nhạy cảm với sự suy giảm hiệu suất sau khi lượng tử hóa.

NVIDIA cũng cung cấp giải mã suy đoán, một kỹ thuật giúp tăng tốc quá trình tạo bằng cách đề xuất trước nhiều token và xác thực chúng song song. Điều này giúp giảm latency mà không cần sửa đổi trọng số của mô hình. Cuối cùng, một chiến lược tối ưu hóa cấu trúc kết hợp giữa cắt tỉa và chưng cất kiến ​​thức được trình bày. Chiến lược này không chỉ giảm kích thước mô hình mà còn huấn luyện mô hình đã được cắt tỉa để bắt chước hành vi của một mô hình "giáo viên" lớn hơn.

Các kỹ thuật tối ưu hóa này có thể áp dụng ngay lập tức và có thể giảm đáng kể chi phí, cải thiện hiệu suất và tăng tốc độ suy luận ở quy mô lớn cho các nhóm sử dụng GPU của NVIDIA. Đối với những người quan tâm đến việc triển khai các tối ưu hóa này, NVIDIA cung cấp mô tả kỹ thuật chi tiết, thông tin chi tiết về hiệu suất và hướng dẫn từng bước bằng Jupyter Notebook để hướng dẫn người dùng thực hiện quy trình.