Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã giới thiệu một kỹ thuật lập lịch mới có tên là Song song ngữ cảnh động (Dynamic Context Parallelism - Dynamic-CP) vào khung Megatron Core của mình, được thiết kế để cải thiện hiệu quả của việc huấn luyện mô hình ngôn ngữ (LLM) quy mô lớn và tạo video quy mô lớn. Kỹ thuật này tự động điều chỉnh kích thước song song ngữ cảnh (CP) của mỗi micro-batch, cho phép xử lý hiệu quả hơn các chuỗi có độ dài thay đổi thường thấy trong các tập dữ liệu thực tế. Việc triển khai Dynamic-CP đã chứng minh tốc độ tăng lên tới 1,48 lần trên các tập dữ liệu như vậy, cho thấy tiềm năng của nó trong việc tối ưu hóa tài nguyên tính toán.

Một thách thức trong việc huấn luyện các mô hình quy mô lớn nằm ở sự biến đổi về độ dài chuỗi trong dữ liệu, điều này có thể dẫn đến tắc nghẽn tính toán. Các kỹ thuật truyền thống như đóng gói ở cấp độ mẫu cố gắng giải quyết vấn đề này bằng cách đóng gói các chuỗi ngắn vào một micro-batch duy nhất. Tuy nhiên, bản chất bậc hai của cơ chế chú ý tích vô hướng có thể dẫn đến sự mất cân bằng trong khối lượng công việc tính toán và GPU nhàn rỗi. Dynamic-CP giải quyết những vấn đề này bằng cách điều chỉnh kích thước CP để phù hợp với các chuỗi đã được đóng gói, giảm thiểu sự thiếu hiệu quả trong tính toán và cải thiện việc sử dụng tài nguyên.

Dynamic-CP hoạt động bằng cách chọn kích thước CP phù hợp cho mỗi micro-batch dựa trên chiến lược đóng gói tối ưu được xác định bởi bộ giải. Bộ giải xem xét các chuỗi có độ dài thay đổi và tính toán kích thước CP và cách đóng gói hiệu quả nhất trong khi tuân thủ các ràng buộc về bộ nhớ GPU. Bộ giải nhằm mục đích giảm thiểu sự mất cân bằng song song dữ liệu và sự thiếu hiệu quả của CP bằng cách mô hình hóa chi phí tính toán và truyền thông. Cách tiếp cận động này trái ngược với các phương pháp tĩnh, vốn cố định kích thước CP dựa trên chuỗi dài nhất trong batch, điều này thường gây ra chi phí truyền thông CP không cần thiết.

Khung Megatron Core đã được sửa đổi để hỗ trợ Dynamic-CP. Điều này bao gồm việc xây dựng nhiều nhóm CP cho mỗi rank và giới thiệu một data_iterator_wrapper nhẹ để quản lý việc lập lịch lại động và đóng gói dữ liệu. Cách tiếp cận này giảm thiểu các thay đổi đối với logic lập lịch hiện có và đảm bảo thực thi nhất quán trên các giai đoạn của pipeline. Lợi ích của Dynamic-CP thể hiện rõ ở khả năng giảm thiểu các "bong bóng" trong pipeline và sự mất cân bằng song song dữ liệu, cải thiện đáng kể hiệu suất huấn luyện mô hình. Kho lưu trữ GitHub của Megatron Core cung cấp các tài nguyên cho những người quan tâm đến việc sử dụng các tối ưu hóa này để huấn luyện các mô hình với các chuỗi có độ dài thay đổi.