Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo
NVIDIA nhấn mạnh tầm quan trọng của việc chuyển tải dữ liệu JAX Host cho chương trình đào tạo LLM.
Generatived
9:00 14/7/26
NVIDIA đã trình bày cách thức giảm tải trên máy chủ (host offloading) trong JAX có thể giảm áp lực lên bộ nhớ băng thông cao của GPU trong quá trình huấn luyện mô hình ngôn ngữ quy mô lớn. Kỹ thuật này chuyển các kích hoạt được chọn đến bộ nhớ máy chủ được ghim và khôi phục chúng trong quá trình lan truyền ngược thay vì tính toán lại.
Công ty cho biết phương pháp này đặc biệt hiệu quả trên các hệ thống Grace Blackwell, nơi NVLink-C2C cho phép giao tiếp CPU-GPU băng thông cao. Kết hợp với lập lịch che giấu độ trễ và truyền tải theo đường ống, giảm tải trên máy chủ có thể chồng chéo việc di chuyển dữ liệu với tính toán để cải thiện hiệu quả.
Các bài kiểm tra hiệu năng sử dụng MaxText với Llama 3.1 405B và DeepSeek-V3 671B cho thấy thông lượng huấn luyện cao hơn và hỗ trợ cấu hình lô lớn hơn. NVIDIA cho biết các nhà phát triển có thể áp dụng phương pháp này thông qua JAX Toolbox và các ví dụ MaxText được tối ưu hóa để cải thiện việc sử dụng bộ nhớ và khả năng mở rộng huấn luyện.
Chia sẻ bài viết này:
Tin tức mới nhất
Snowflake Consulting ra mắt dịch vụ Giờ làm việc AI
7:00 31/8/26
Snowflake Consulting đã giới thiệu dịch vụ tại chỗ mang tên AI Office Hour để hỗ trợ các công ty trong việc áp dụng trí tuệ nhân tạo tạo sinh.
F&M mở rộng nền tảng AI đến các văn phòng lao động.
7:00 31/8/26
F&M thông báo rằng nền tảng trí tuệ nhân tạo chuyên dụng của họ đã tiếp cận hơn bốn trăm văn phòng tư vấn lao động chỉ trong vòng một tháng kể từ khi triển khai.
Dịch vụ hỗ trợ CX cập nhật kỹ thuật số của Dentsu
7:00 28/8/26
Dentsu Digital đã hợp tác với các công ty con để nâng cấp đội ngũ tiếp thị chuyên biệt, dentsu CX-Connect, thành một dịch vụ hỗ trợ khách hàng nội bộ.
Copyright © 2024 Generatived - All right Reserved.
Chia sẻ bài viết này:
Chia sẻ bài viết này:
Danh mục
Tin tức
AI và luật/hệ thống/kinh tế/xã hội
Hãy theo dõi chúng tôi
Ngôn ngữ
Generatived là dịch vụ cung cấp thông tin và xu hướng chuyên về Generative AI. Chúng tôi sẽ cố gắng hết sức để cung cấp thông tin về thế giới đang thay đổi nhanh chóng.
Generatived là dịch vụ cung cấp thông tin và xu hướng chuyên về Generative AI. Chúng tôi sẽ cố gắng hết sức để cung cấp th ông tin về thế giới đang thay đổi nhanh chóng.
Hãy theo dõi chúng tôi
Ngôn ngữ
Tin tức mới nhất
Snowflake Consulting ra mắt dịch vụ Giờ làm việc AI
7:00 31/8/26
Snowflake Consulting đã giới thiệu dịch vụ tại chỗ mang tên AI Office Hour để hỗ trợ các công ty trong việc áp dụng trí tuệ nhân tạo tạo sinh.
F&M mở rộng nền tảng AI đến các văn phòng lao động.
7:00 31/8/26
F&M thông báo rằng nền tảng trí tuệ nhân tạo chuyên dụng của họ đã tiếp cận hơn bốn trăm văn phòng tư vấn lao động chỉ trong vòng một tháng kể từ khi triển khai.
Dịch vụ hỗ trợ CX cập nhật kỹ thuật số của Dentsu
7:00 28/8/26
Dentsu Digital đã hợp tác với các công ty con để nâng cấp đội ngũ tiếp thị chuyên biệt, dentsu CX-Connect, thành một dịch vụ hỗ trợ khách hàng nội bộ.