Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Theo Hussein Hazimeh, một nhà nghiên cứu trong nhóm Athena của Google và Riade Benbaki, một sinh viên tốt nghiệp tại MIT, hiệu suất vượt trội của các mạng thần kinh hiện đại thường phải trả giá bằng việc đòi hỏi các tài nguyên tính toán, điều mà người ta cho rằng rất khó để giới thiệu. nó trong môi trường có hạn chế.
Để giải quyết vấn đề này, Google đã giới thiệu phương pháp tiếp cận CHITA (Thuật toán ngưỡng lặp không có Hessian kết hợp) để cắt tỉa các mạng thần kinh được đào tạo trước một cách hiệu quả mà không ảnh hưởng đến hiệu suất.

Các tác giả giải thích trong bài báo của họ rằng việc cắt tỉa bao gồm việc loại bỏ một số trọng số nhất định khỏi mạng lưới thần kinh để giảm độ phức tạp tính toán trong khi vẫn duy trì tính hữu dụng. CHITA cung cấp một phương pháp dựa trên tối ưu hóa mới vượt trội đáng kể so với các phương pháp hiện có về cả khả năng mở rộng và đánh đổi hiệu suất.

Cách tiếp cận của CHITA bao gồm hai cải tiến quan trọng:

Sử dụng hiệu quả thông tin thứ cấp: Các phương pháp truyền thống thường dựa vào ma trận Hessian, tốn kém về mặt tính toán do kích thước lớn của chúng. CHITA sử dụng thông tin thứ cấp một cách hiệu quả mà không cần tính toán rõ ràng ma trận Hessian, giúp cải thiện khả năng mở rộng.

Tối ưu hóa tổ hợp: Không giống như các phương pháp dựa trên tối ưu hóa truyền thống cắt bớt trọng số riêng lẻ, CHITA sử dụng tối ưu hóa tổ hợp nâng cao. Điều này đảm bảo rằng tác động của việc cắt bớt một trọng lượng lên các trọng lượng khác sẽ được tính đến và tránh khả năng làm mất đi những trọng lượng quan trọng.

Các tác giả mô tả một công thức của CHITA coi việc cắt tỉa là vấn đề lựa chọn tập hợp con tốt nhất, với mục đích bảo toàn các trọng số quan trọng nhất để giảm thiểu tổn thất. Bằng cách khai thác khéo léo cấu trúc cấp thấp của ma trận thông tin Fisher theo kinh nghiệm, CHITA sử dụng thông tin đó một cách hiệu quả đồng thời tránh được gánh nặng tính toán của ma trận Hessian.

Về khả năng mở rộng và độ chính xác, CHITA đã chứng tỏ khả năng vượt trội của mình thông qua các thử nghiệm với nhiều kiến ​​trúc mạng thần kinh khác nhau. Ví dụ: chúng tôi chứng minh tốc độ tăng hơn 1000 lần khi cắt bớt ResNet và độ chính xác trong thử nghiệm của chúng tôi vượt trội so với các phương pháp tương đương ở các mức độ thưa thớt khác nhau.