Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo
NVIDIA nhấn mạnh tầm quan trọng của việc chuyển tải dữ liệu JAX Host cho chương trình đào tạo LLM.
Generatived
0:00 14/7/26
NVIDIA đã trình bày cách thức giảm tải trên máy chủ (host offloading) trong JAX có thể giảm áp lực lên bộ nhớ băng thông cao của GPU trong quá trình huấn luyện mô hình ngôn ngữ quy mô lớn. Kỹ thuật này chuyển các kích hoạt được chọn đến bộ nhớ máy chủ được ghim và khôi phục chúng trong quá trình lan truyền ngược thay vì tính toán lại.
Công ty cho biết phương pháp này đặc biệt hiệu quả trên các hệ thống Grace Blackwell, nơi NVLink-C2C cho phép giao tiếp CPU-GPU băng thông cao. Kết hợp với lập lịch che giấu độ trễ và truyền tải theo đường ống, giảm tải trên máy chủ có thể chồng chéo việc di chuyển dữ liệu với tính toán để cải thiện hiệu quả.
Các bài kiểm tra hiệu năng sử dụng MaxText với Llama 3.1 405B và DeepSeek-V3 671B cho thấy thông lượng huấn luyện cao hơn và hỗ trợ cấu hình lô lớn hơn. NVIDIA cho biết các nhà phát triển có thể áp dụng phương pháp này thông qua JAX Toolbox và các ví dụ MaxText được tối ưu hóa để cải thiện việc sử dụng bộ nhớ và khả năng mở rộng huấn luyện.
Chia sẻ bài viết này:
Tin tức mới nhất
NVIDIA chia sẻ hướng dẫn thiết kế phần cứng cho LLM.
0:00 14/7/26
NVIDIA đã phát hành một hướng dẫn thiết kế phác thảo các phương pháp thực hành nhận biết phần cứng cho các mô hình ngôn ngữ lớn.
Microsoft mở rộng chương trình Copilot với các đại lý dịch vụ bán hàng.
0:00 14/7/26
Microsoft đã công bố các khả năng AI hỗ trợ mới cho Microsoft 365 Copilot và Dynamics 365, giới thiệu Sales Agent và Service Agent nhằm giúp các đội ngũ bán hàng
NVIDIA nhấn mạnh tầm quan trọng của việc chuyển tải dữ liệu JAX Host cho chương trình đào tạo LLM.
0:00 14/7/26
NVIDIA đã trình bày cách thức giảm tải trên máy chủ (host offloading) trong JAX có thể giảm áp lực lên bộ nhớ băng thông cao của GPU trong quá trình huấn luyện mô hình ngôn ngữ quy mô lớn.
Copyright © 2024 Generatived - All right Reserved.
Chia sẻ bài viết này:
Chia sẻ bài viết này:
Danh mục
Tin tức
AI và luật/hệ thống/kinh tế/xã hội
Hãy theo dõi chúng tôi
Ngôn ngữ
Generatived là dịch vụ cung cấp thông tin và xu hướng chuyên về Generative AI. Chúng tôi sẽ cố gắng hết sức để cung cấp thông tin về thế giới đang thay đổi nhanh chóng.
Generatived là dịch vụ cung cấp thông tin và xu hướng chuyên về Generative AI. Chúng tôi sẽ cố gắng hết sức để cung cấp thông tin về thế giới đang thay đổi nhanh chóng.
Hãy theo dõi chúng tôi
Ngôn ngữ
Tin tức mới nhất
NVIDIA chia sẻ hướng dẫn thiết kế phần cứng cho LLM.
0:00 14/7/26
NVIDIA đã phát hành một hướng dẫn thiết kế phác thảo các phương pháp thực hành nhận biết phần cứng cho các mô hình ngôn ngữ lớn.
Microsoft mở rộng chương trình Copilot với các đại lý dịch vụ bán hàng.
0:00 14/7/26
Microsoft đã công bố các khả năng AI hỗ trợ mới cho Microsoft 365 Copilot và Dynamics 365, giới thiệu Sales Agent và Service Agent nhằm giúp các đội ngũ bán hàng
NVIDIA nhấn mạnh tầm quan trọng của việc chuyển tải dữ liệu JAX Host cho chương trình đào tạo LLM.
0:00 14/7/26
NVIDIA đã trình bày cách thức giảm tải trên máy chủ (host offloading) trong JAX có thể giảm áp lực lên bộ nhớ băng thông cao của GPU trong quá trình huấn luyện mô hình ngôn ngữ quy mô lớn.