Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Để giải quyết thách thức tạo ra các hạt nhân chú ý GPU mà không cần lập trình rõ ràng, các kỹ sư NVIDIA đã tiến hành thử nghiệm với mô hình AI DeepSeek-R1 nguồn mở. Bằng cách tận dụng sức mạnh tính toán bổ sung trong giai đoạn suy luận, mô hình đã có thể tạo ra các hạt nhân, trong một số trường hợp, vượt trội hơn các hạt nhân do các kỹ sư giàu kinh nghiệm tạo ra. Phương pháp này, được gọi là mở rộng thời gian thử nghiệm, cải thiện hiệu suất AI bằng cách xem xét nhiều kết quả trước khi chọn kết quả hiệu quả nhất.

Khái niệm chú ý đã đóng vai trò quan trọng trong sự phát triển của các mô hình ngôn ngữ quy mô lớn (LLM), cho phép AI tập trung vào các phân đoạn dữ liệu có liên quan để nâng cao dự đoán và khám phá các mẫu ẩn. Tuy nhiên, độ phức tạp của các hoạt động chú ý tăng theo độ dài của chuỗi đầu vào, đòi hỏi các hạt nhân GPU được tối ưu hóa để đạt hiệu quả và tránh các vấn đề về thời gian chạy. Các kỹ sư thường kết hợp các biến thể chú ý khác nhau để giải quyết các tác vụ cụ thể, làm phức tạp thêm việc tạo ra các hạt nhân được tối ưu hóa này.

Để giải quyết những phức tạp này, các kỹ sư NVIDIA đã thiết kế một quy trình làm việc kết hợp mô hình DeepSeek-R1 với một công cụ xác thực chạy trên GPU NVIDIA H100. Được khởi tạo bằng lời nhắc thủ công, hệ thống vòng kín này tinh chỉnh mã GPU được tạo theo từng bước. Quá trình kéo dài 15 phút đã tạo ra các hạt nhân chính xác về mặt số cho tất cả các vấn đề Cấp độ 1 và 96% các vấn đề Cấp độ 2, theo chuẩn KernelBench của Đại học Stanford.

Kết quả từ các thí nghiệm của chúng tôi cho thấy việc tận dụng khả năng mở rộng thời gian thử nghiệm có thể cải thiện đáng kể việc tạo ra các hạt nhân GPU được tối ưu hóa. Khả năng tự động tạo ra các hạt nhân chú ý hiệu quả của mô hình DeepSeek-R1 cho thấy tiềm năng của lĩnh vực nghiên cứu mới này. Mặc dù cần nhiều công sức hơn để đạt được kết quả tốt một cách nhất quán trên nhiều vấn đề hơn, nhưng kết quả ban đầu rất hứa hẹn. Các bên quan tâm có thể tìm hiểu thêm tại dịch vụ vi mô DeepSeek-R1 NIM.