Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã công bố dòng sản phẩm Nemotron 3, một bộ mô hình mở được thiết kế để cung cấp sức mạnh cho các hệ thống AI dựa trên tác nhân. Các mô hình này, bao gồm Nano, Super và Ultra, được thiết kế riêng cho các ứng dụng yêu cầu thông lượng nhanh, suy luận chính xác và tính nhất quán trên lượng dữ liệu đầu vào lớn. Dòng Nemotron 3 tự hào sở hữu kiến trúc chuyên gia hỗn hợp kết hợp Mamba và Transformer, học tăng cường trên các môi trường tương tác và cửa sổ ngữ cảnh một triệu token, cho phép suy luận thông lượng cao, dài hạn trong các ứng dụng đa tác nhân.

Các mô hình Nemotron 3 kết hợp lớp Mamba để mô hình hóa chuỗi hiệu quả, lớp Transformer để suy luận độ chính xác cao và định tuyến MoE để đạt hiệu quả tính toán có thể mở rộng. Kiến trúc này đặc biệt phù hợp với các cụm tác nhân phải đồng thời thực hiện các tác vụ như lập kế hoạch, kiểm tra ngữ cảnh và thực thi quy trình làm việc. Hơn nữa, Nemotron 3 được huấn luyện bằng học tăng cường trong nhiều môi trường khác nhau được cung cấp bởi thư viện mã nguồn mở NeMo Gym, để điều chỉnh mô hình cho phù hợp với các nhiệm vụ tác nhân trong thế giới thực.

Cam kết của NVIDIA đối với tính mở được thể hiện rõ trong phiên bản Nemotron 3 Nano hiện tại. Mô hình này được tối ưu hóa cho GPU của NVIDIA và được thiết kế để mang lại hiệu suất cao trong khi vẫn duy trì tính minh bạch và khả năng tùy chỉnh cho các nhà phát triển. Các mô hình Super và Ultra sắp ra mắt dự kiến sẽ tiếp tục cải thiện độ sâu và hiệu quả suy luận với các tính năng như MoE tiềm ẩn và dự đoán đa token.

Các nhà phát triển sẽ có quyền truy cập vào nguồn tài nguyên phong phú, bao gồm các bộ dữ liệu mở được sử dụng trong phát triển mô hình, các công thức huấn luyện trước và học tăng cường, cũng như các mẫu cấu hình để triển khai nhanh chóng. Cách tiếp cận mã nguồn mở của NVIDIA cung cấp cho các nhà phát triển các công cụ và dữ liệu họ cần để huấn luyện, tùy chỉnh và đánh giá các mô hình Nemotron của riêng họ, thúc đẩy sự đổi mới và hợp tác trong cộng đồng AI.