Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo
%20(1).webp)
NVIDIA tăng tốc quá trình huấn luyện MoE với Kernel Fusion.
Generatived
0:00 22/6/26
NVIDIA vừa công bố một dòng nhân MLP hợp nhất mới được thiết kế để cải thiện hiệu quả huấn luyện cho các mô hình dày đặc và mô hình hỗn hợp chuyên gia (MoE). Được xây dựng bằng ngôn ngữ DSL CuTe, các nhân này nhắm đến các điểm nghẽn bộ nhớ, chi phí đồng bộ hóa và chi phí lượng tử hóa thường hạn chế hiệu suất huấn luyện AI quy mô lớn.
Theo công ty, cách triển khai mới này kết hợp các phép toán GEMM, hàm kích hoạt và các bước lượng tử hóa vào các nhân thống nhất. Phương pháp này mang lại tốc độ tăng ở cấp độ nhân từ 1,3 đến 2 lần so với các đường dẫn thực thi không hợp nhất truyền thống, đồng thời cho phép thực thi MoE không cần đồng bộ hóa với đồ thị CUDA lặp đầy đủ.
NVIDIA báo cáo rằng việc tối ưu hóa này góp phần tăng hiệu suất đầu cuối 8% trong khối lượng công việc huấn luyện trước DeepSeek-V3 và cải thiện tới 93% trong môi trường huấn luyện trước GPT-OSS. Công ty nhấn mạnh sự hỗ trợ được nâng cao cho các quy trình làm việc SwiGLU, GeGLU, sReLU, MXFP8 và NVFP4.
Các nhân hợp nhất có sẵn thông qua cuDNN Frontend, Transformer Engine và Megatron Core. NVIDIA cho biết kế hoạch phát triển trong tương lai bao gồm các mô hình hợp nhất bổ sung, hỗ trợ JAX, khả năng biên dịch trước thời hạn và tối ưu hóa hiệu năng rộng hơn cho các khối lượng công việc huấn luyện AI quy mô lớn.
Chia sẻ bài viết này:
Tin tức mới nhất
OpenAI thúc đẩy sự phát triển của hóa dược thông qua nghiên cứu trí tuệ nhân tạo.
0:00 22/6/26
OpenAI đã công bố kết quả từ một dự án hóa dược được thực hiện với Molecule.one, kết nối GPT-5.4 với nền tảng phòng thí nghiệm tự động Maria để hỗ trợ việc hình thành giả thuyết
%20(1).webp)
NVIDIA mở rộng các công cụ phát triển AI cho Unreal Engine.
0:00 22/6/26
NVIDIA đã công bố mở rộng khả năng tích hợp giữa các công nghệ RTX của mình và Unreal Engine 5, giới thiệu các công cụ mới nhằm giúp các nhà phát triển xây dựng các nhân vật
NVIDIA công bố quy trình làm việc của mô hình nền tảng giao dịch tài chính.
0:00 22/6/26
NVIDIA đã công bố quy trình làm việc dành cho nhà phát triển để xây dựng các mô hình nền tảng giao dịch học hỏi các mẫu hành vi từ lịch sử giao dịch tài chính quy mô lớn nhằm hỗ trợ phát hiện gian lận
Copyright © 2024 Generatived - All right Reserved.
Chia sẻ bài viết này:
Chia sẻ bài viết này:
Danh mục
Tin tức
AI và luật/hệ thống/kinh tế/xã hội
Hãy theo dõi chúng tôi
Ngôn ngữ
Generatived là dịch vụ cung cấp thông tin và xu hướng chuyên về Generative AI. Chúng tôi sẽ cố gắng hết sức để cung cấp thông tin về thế giới đang thay đổi nhanh chóng.
Generatived là dịch vụ cung cấp thông tin và xu hướng chuyên về Generative AI. Chúng tôi sẽ cố gắng hết sức để cung cấp thông tin về thế giới đang thay đổi nhanh chóng.
Hãy theo dõi chúng tôi
Ngôn ngữ
Tin tức mới nhất
OpenAI thúc đẩy sự phát triển của hóa dược thông qua nghiên cứu trí tuệ nhân tạo.
0:00 22/6/26
OpenAI đã công bố kết quả từ một dự án hóa dược được thực hiện với Molecule.one, kết nối GPT-5.4 với nền tảng phòng thí nghiệm tự động Maria để hỗ trợ việc hình thành giả thuyết
NVIDIA mở rộng các công cụ phát triển AI cho Unreal Engine.
0:00 22/6/26
NVIDIA đã công bố mở rộng khả năng tích hợp giữa các công nghệ RTX của mình và Unreal Engine 5, giới thiệu các công cụ mới nhằm giúp các nhà phát triển xây dựng các nhân vật
NVIDIA công bố quy trình làm việc của mô hình nền tảng giao dịch tài chính.
0:00 22/6/26
NVIDIA đã công bố quy trình làm việc dành cho nhà phát triển để xây dựng các mô hình nền tảng giao dịch học hỏi các mẫu hành vi từ lịch sử giao dịch tài chính quy mô lớn nhằm hỗ trợ phát hiện gian lận