Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Trong thế giới huấn luyện mô hình AI đầy cạnh tranh, một công cụ tối ưu hóa mới có tên Muon đã xuất hiện, tạo nên tiếng vang lớn khi đạt được hiệu suất tương đương mà chỉ cần giảm một nửa số lượng GPU. Bước tiến này đã được nhiều viện nghiên cứu AI đón nhận và những cải thiện đáng kể về khả năng mở rộng đã được báo cáo. Tuy nhiên, việc Muon phụ thuộc vào phép nhân ma trận mở rộng đặt ra những thách thức cho các mô hình lớn, đòi hỏi nhiều giao tiếp.

Để giải quyết điểm nghẽn này, một công cụ tối ưu hóa mới có tên Dion đã được giới thiệu. Phương pháp của Dion tập trung vào các bản cập nhật trực giao, nhằm mục đích làm cho các thay đổi kích hoạt đầu ra trong quá trình huấn luyện không thay đổi theo hướng đầu vào. Phương pháp này hứa hẹn sẽ duy trì hiệu suất đồng thời giảm tải tính toán, đặc biệt là đối với các mô hình lớn, nơi giao tiếp và tính toán là những yếu tố quan trọng.

Phương pháp của Dion sử dụng một chiến lược có khả năng mở rộng, chỉ trực giao hóa các vectơ kỳ dị trên cùng, do đó giảm tải giao tiếp và tính toán. Công cụ tối ưu hóa này đã được chứng minh là hoạt động tốt ngay cả ở cấp độ thấp, cho thấy tiềm năng hiệu quả của nó trong các mô hình rất lớn. Các nhà phát triển đã công khai phát hành phiên bản triển khai Dion của họ với hy vọng thúc đẩy việc huấn luyện các mô hình lớn hiệu quả hơn trong cộng đồng AI.

Trong các thử nghiệm của chúng tôi, Dion đã cho thấy một xu hướng thú vị. Mặc dù việc thêm các ràng buộc thường dẫn đến giảm hiệu suất, Dion lại vượt trội hơn Muon ở quy mô lớn. Điều này cho thấy độ chính xác trực giao hóa của Dion trở nên hữu ích hơn khi mô hình được mở rộng. Bộ tối ưu hóa này cũng cho thấy khả năng chống lại sự suy giảm hiệu suất do tăng kích thước lô, một vấn đề thường gặp trong huấn luyện mô hình. Những kết quả này cho thấy Dion có tiềm năng trở thành một công cụ hữu ích để huấn luyện các mô hình AI quy mô lớn, và việc phát hành dưới dạng mã nguồn mở hy vọng sẽ mang lại lợi ích cho cộng đồng nghiên cứu AI nói chung.