Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã trình bày cách thức giảm tải trên máy chủ (host offloading) trong JAX có thể giảm áp lực lên bộ nhớ băng thông cao của GPU trong quá trình huấn luyện mô hình ngôn ngữ quy mô lớn. Kỹ thuật này chuyển các kích hoạt được chọn đến bộ nhớ máy chủ được ghim và khôi phục chúng trong quá trình lan truyền ngược thay vì tính toán lại.

Công ty cho biết phương pháp này đặc biệt hiệu quả trên các hệ thống Grace Blackwell, nơi NVLink-C2C cho phép giao tiếp CPU-GPU băng thông cao. Kết hợp với lập lịch che giấu độ trễ và truyền tải theo đường ống, giảm tải trên máy chủ có thể chồng chéo việc di chuyển dữ liệu với tính toán để cải thiện hiệu quả.

Các bài kiểm tra hiệu năng sử dụng MaxText với Llama 3.1 405B và DeepSeek-V3 671B cho thấy thông lượng huấn luyện cao hơn và hỗ trợ cấu hình lô lớn hơn. NVIDIA cho biết các nhà phát triển có thể áp dụng phương pháp này thông qua JAX Toolbox và các ví dụ MaxText được tối ưu hóa để cải thiện việc sử dụng bộ nhớ và khả năng mở rộng huấn luyện.