Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA vừa công bố một dòng nhân MLP hợp nhất mới được thiết kế để cải thiện hiệu quả huấn luyện cho các mô hình dày đặc và mô hình hỗn hợp chuyên gia (MoE). Được xây dựng bằng ngôn ngữ DSL CuTe, các nhân này nhắm đến các điểm nghẽn bộ nhớ, chi phí đồng bộ hóa và chi phí lượng tử hóa thường hạn chế hiệu suất huấn luyện AI quy mô lớn.

Theo công ty, cách triển khai mới này kết hợp các phép toán GEMM, hàm kích hoạt và các bước lượng tử hóa vào các nhân thống nhất. Phương pháp này mang lại tốc độ tăng ở cấp độ nhân từ 1,3 đến 2 lần so với các đường dẫn thực thi không hợp nhất truyền thống, đồng thời cho phép thực thi MoE không cần đồng bộ hóa với đồ thị CUDA lặp đầy đủ.

NVIDIA báo cáo rằng việc tối ưu hóa này góp phần tăng hiệu suất đầu cuối 8% trong khối lượng công việc huấn luyện trước DeepSeek-V3 và cải thiện tới 93% trong môi trường huấn luyện trước GPT-OSS. Công ty nhấn mạnh sự hỗ trợ được nâng cao cho các quy trình làm việc SwiGLU, GeGLU, sReLU, MXFP8 và NVFP4.

Các nhân hợp nhất có sẵn thông qua cuDNN Frontend, Transformer Engine và Megatron Core. NVIDIA cho biết kế hoạch phát triển trong tương lai bao gồm các mô hình hợp nhất bổ sung, hỗ trợ JAX, khả năng biên dịch trước thời hạn và tối ưu hóa hiệu năng rộng hơn cho các khối lượng công việc huấn luyện AI quy mô lớn.