Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Một mô hình AI mới, Nemotron 3 Super, đã được giới thiệu để tăng cường khả năng của các hệ thống đa tác tử trong các ứng dụng phức tạp như phát triển phần mềm và an ninh mạng. Mô hình này tự hào có tổng kích thước tham số là 120 tỷ với 12 tỷ tham số hoạt động, được thiết kế để tối đa hóa hiệu quả tính toán và độ chính xác. Nó được phát hành sau Nemotron 3 Nano và nhằm mục đích khắc phục những thách thức của "bùng nổ ngữ cảnh" và "gánh nặng tư duy" cản trở hiệu suất của các hệ thống đa tác tử.

Nemotron 3 Super tích hợp kiến ​​trúc hỗn hợp chuyên gia (MoE), giúp tăng đáng kể thông lượng so với phiên bản tiền nhiệm. Nó có cửa sổ ngữ cảnh 1 triệu token, cung cấp cho các tác tử bộ nhớ dài hạn để duy trì sự phù hợp mục tiêu và độ chính xác suy luận. Mô hình này được cung cấp công khai, với các trọng số, tập dữ liệu và công thức có thể truy cập, cho phép các nhà phát triển tùy chỉnh và triển khai nó theo nhu cầu của họ.

Kiến trúc của Nemotron 3 Super bao gồm một số cải tiến để cân bằng giữa hiệu quả và độ chính xác. Mô hình sử dụng Latent MoE để tham khảo ý kiến ​​của nhiều chuyên gia mà không làm tăng chi phí suy luận và sử dụng dự đoán đa token (MTP) để giảm thời gian tạo chuỗi dài. Mô hình cũng tích hợp kiến ​​trúc Hybrid Mamba-Transformer để tăng hiệu quả chuỗi và độ chính xác trong suy luận. Ngoài ra, nó được huấn luyện trước bằng NVFP4 trên NVIDIA Blackwell, giúp tăng hiệu quả bộ nhớ và tốc độ suy luận.

Nemotron 3 Super được huấn luyện thông qua một quy trình toàn diện bao gồm huấn luyện trước, tinh chỉnh có giám sát và học tăng cường đa môi trường. Chế độ huấn luyện này đảm bảo kiến ​​thức thế giới rộng lớn, định hình hành vi cụ thể theo nhiệm vụ và tinh chỉnh các kết quả có thể kiểm chứng trong các môi trường đa dạng. Mô hình đã chứng minh hiệu suất vượt trội trên các bộ dữ liệu chuẩn cho các tác nhân tự động chạy dài hạn, chẳng hạn như bộ kiểm thử PinchBench. Các nhà phát triển quan tâm đến việc sử dụng Nemotron 3 Super có thể truy cập một loạt các tài nguyên, bao gồm các điểm kiểm tra tham số đầy đủ, công thức huấn luyện và đánh giá, và sách hướng dẫn triển khai, để tùy chỉnh và tối ưu hóa mô hình cho các trường hợp sử dụng cụ thể của họ.