Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA vừa công bố mở rộng hỗ trợ triển khai cho MiniMax M3, một mô hình kết hợp đa phương thức gồm nhiều chuyên gia được thiết kế cho suy luận ngữ cảnh dài, quy trình lập trình và các ứng dụng hiểu biết trực quan.

Mô hình này có 428 tỷ tham số, hỗ trợ tối đa một triệu token ngữ cảnh và xử lý văn bản, hình ảnh và video trong một kiến ​​trúc thống nhất. NVIDIA cho biết MiniMax Sparse Attention của họ giúp cải thiện hiệu quả cho các khối lượng công việc quy mô lớn.

Các nhà phát triển có thể triển khai MiniMax M3 trên cơ sở hạ tầng tăng tốc của NVIDIA bằng cách sử dụng TensorRT LLM, SGLang, vLLM hoặc Dynamo. Công ty cho biết mô hình này phù hợp cho các phiên lập trình kéo dài, phân tích video và tạo nội dung sáng tạo.

NVIDIA cũng nhấn mạnh khả năng hỗ trợ tùy chỉnh thông qua NeMo Framework, cho phép tinh chỉnh và thực hiện các quy trình học tăng cường. Các nhà phát triển có thể truy cập mô hình thông qua API build.nvidia.com hoặc tải xuống trọng số từ Hugging Face.