Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã trình bày nghiên cứu về Song song Tensor Không Đồng nhất (NTP), một phương pháp thử nghiệm được thiết kế để duy trì hiệu quả huấn luyện mô hình ngôn ngữ quy mô lớn bất chấp sự gián đoạn tạm thời của GPU đồng thời cải thiện hiệu suất tổng thể.

Khung này tự động điều chỉnh song song tensor khi GPU không khả dụng, cho phép các thiết bị còn lại tiếp tục xử lý. Nó cũng kết hợp việc phân chia lại dữ liệu với tính toán để giảm chi phí hiệu năng trong quá trình phục hồi.

Nghiên cứu cũng đề xuất kết hợp NTP với việc tăng cường sức mạnh GPU tạm thời để bù đắp cho việc giảm tài nguyên. Phương pháp này nhằm mục đích giảm thiểu độ trễ đồng bộ hóa trên các cụm huấn luyện phân tán và duy trì thông lượng ổn định.

NTP đã được thêm vào nhánh phát triển của NVIDIA Megatron Core, trong khi khả năng phục hồi sản xuất vẫn có sẵn thông qua NVIDIA Resiliency Extension (NVRx). Công ty cũng cho biết các khái niệm liên quan đang được nghiên cứu cho huấn luyện hỗn hợp chuyên gia thông qua Song song Chuyên gia Không Đồng nhất.