Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA Megatron Core đã trở thành một khung sườn quan trọng để huấn luyện các mô hình ngôn ngữ quy mô lớn, nhờ vào thư viện mã nguồn mở cung cấp khả năng song song hóa vượt trội và hiệu năng tối ưu hóa cho GPU. Khung sườn này hiện đang được phát triển theo phương pháp ưu tiên GitHub, cho phép sự tham gia rộng rãi hơn của cộng đồng và khả năng thích ứng cho việc phát triển các mô hình AI trong tương lai.

Viện Đổi mới Công nghệ (TII) đã có những đóng góp đáng kể cho Megatron Core, đặc biệt là việc tích hợp dòng mô hình Falcon. Việc TII triển khai kiến ​​trúc lai song song Falcon-H1 trong Megatron Bridge là một ví dụ nổi bật, giải quyết được sự phức tạp trong việc phối hợp các lớp Transformer và Mamba không đồng nhất với các bộ nhân µP không thể học được. Ngoài ra, TII đã tích hợp BitNet vào Megatron Core, thay thế các lớp tuyến tính tiêu chuẩn bằng các lớp tham số tam phân, nâng cao hiệu quả huấn luyện và khả năng mở rộng.

Những tiến bộ này minh họa tiềm năng cho người dùng Megatron Core trong việc tùy chỉnh khung phần mềm để phù hợp với các kiến ​​trúc mô hình độc đáo và các chức năng huấn luyện phức tạp. Việc tích hợp kiến ​​trúc lai Falcon-H1 vào Megatron Bridge đòi hỏi TII phải vượt qua những thách thức kỹ thuật đáng kể, dẫn đến một số đổi mới về kiến ​​trúc. Điều này bao gồm việc phát triển một hệ thống đặc tả lớp thống nhất và ánh xạ trọng lượng chuyên biệt cho việc chuyển đổi điểm kiểm tra, đảm bảo tích hợp liền mạch với hệ sinh thái Megatron.

Hơn nữa, việc TII tích hợp BitNet cho dòng Falcon Edge vào Megatron Core đánh dấu một bước tiến hướng tới quy trình huấn luyện trước có khả năng mở rộng với các mô hình ngôn ngữ 1-bit. Sự tích hợp này duy trì khả năng tương thích với các tính năng song song và hiệu năng của Megatron, đồng thời giới thiệu các lớp tuyến tính song song mới với logic lượng tử hóa BitNet. Kết quả là một mô hình có dung lượng bộ nhớ giảm và tốc độ suy luận nhanh hơn, mà không ảnh hưởng đến chất lượng cập nhật của trình tối ưu hóa.

Những cải tiến này đối với Megatron Core và Megatron Bridge của TII thể hiện nỗ lực hợp tác trong cộng đồng AI nhằm nâng cao khả năng của các mô hình nền tảng. Người dùng quan tâm đến việc tận dụng những đóng góp này có thể truy cập chúng thông qua các kho lưu trữ GitHub tương ứng, nơi họ có thể khám phá quá trình huấn luyện trước BitNet, hỗ trợ lớp ParallelHybrid, chuyển đổi điểm kiểm tra Falcon-H1 và xử lý bộ nhân µP.