Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA và Mistral AI gần đây đã công bố Mistral NeMo 12B, một mô hình ngôn ngữ quy mô lớn (LLM) đặt ra các tiêu chuẩn mới về hiệu suất trên nhiều tiêu chuẩn khác nhau. Dựa trên thành công này, các công ty đã công bố phát hành Mistral-NeMo-Minitron 8B, một mô hình truy cập mở tiên tiến với độ chính xác tốt nhất trong chín tiêu chuẩn chính. Mistral-NeMo-Minitron 8B được phát triển bằng kỹ thuật gọi là cắt tỉa chiều rộng của Mistral NeMo 12B lớn hơn, sau đó là quy trình đào tạo lại bằng cách chắt lọc kiến ​​thức. Phương pháp này đã được xác thực trên các model trước đó như NVIDIA Minitron 8B và 4B, Llama-3.1-Minitron 4B.

Quá trình cắt tỉa và chắt lọc mô hình làm giảm kích thước của mô hình để làm cho nó hiệu quả hơn mà không ảnh hưởng đáng kể đến khả năng dự đoán của nó. Mô hình Mistral-NeMo-Minitron 8B được tạo ra bằng cách giảm có chọn lọc chiều rộng của mô hình ban đầu và sau đó áp dụng chế độ luyện tập lại ánh sáng. Cách tiếp cận này đã được chứng minh là hiệu quả và tiết kiệm chi phí, cho phép tạo ra các mô hình nhỏ hơn nhưng vẫn duy trì chất lượng cao so với các mô hình được đào tạo từ đầu.

Trong môi trường cạnh tranh LLM, Mistral-NeMo-Minitron 8B nổi bật nhờ các chỉ số hiệu suất vượt trội. Độ chính xác của mô hình này được nêu bật trong bảng so sánh và luôn vượt trội so với các mô hình khác có kích thước tương tự, chẳng hạn như Gemma 7B và Llama-3.1 8B. Bảng này cho thấy hiệu suất tuyệt vời của mô hình trên nhiều tiêu chuẩn khác nhau, với những con số in đậm biểu thị điểm số cao nhất trong lớp mô hình 8B.

Việc phát hành Mistral-NeMo-Minitron 8B là một bước quan trọng trong quá trình phát triển các mô hình ngôn ngữ. Điều này không chỉ thể hiện tính hiệu quả của việc giảm trọng lượng có cấu trúc kết hợp với chắt lọc kiến ​​thức mà còn đặt nền tảng cho những tiến bộ trong tương lai trong lĩnh vực này. Công nghệ được sử dụng để phát triển mô hình này sẽ được tích hợp vào khung NVIDIA NeMo dành cho Generative AI, dự kiến ​​sẽ nâng cao hơn nữa khả năng của công nghệ xử lý ngôn ngữ. nước xốt: