NVIDIA dan Mistral AI baru-baru ini mengumumkan Mistral NeMo 12B, model bahasa skala besar (LLM) yang menetapkan standar baru untuk kinerja di berbagai tolok ukur. Berdasarkan kesuksesan ini, perusahaan mengumumkan peluncuran Mistral-NeMo-Minitron 8B, model akses terbuka tingkat lanjut dengan akurasi terbaik di kelasnya pada sembilan tolok ukur utama. Mistral-NeMo-Minitron 8B dikembangkan menggunakan teknik yang disebut pemangkasan lebar dari Mistral NeMo 12B yang lebih besar, diikuti dengan proses pelatihan ulang menggunakan penyulingan pengetahuan. Metode ini telah divalidasi pada model sebelumnya seperti NVIDIA Minitron 8B dan 4B, Llama-3.1-Minitron 4B.

Proses pemangkasan dan penyulingan model mengurangi ukuran model agar lebih efisien tanpa mengurangi kemampuan prediktifnya secara signifikan. Model Mistral-NeMo-Minitron 8B dibuat dengan mengurangi lebar model asli secara selektif dan kemudian menerapkan program pelatihan ulang ringan. Pendekatan ini telah terbukti efektif dan hemat biaya, memungkinkan terciptanya model yang lebih kecil yang mempertahankan kualitas tinggi dibandingkan dengan model yang dilatih dari awal.

Dalam lingkungan kompetitif LLM, Mistral-NeMo-Minitron 8B menonjol karena metrik kinerjanya yang unggul. Keakuratan model ini disorot dalam tabel perbandingan dan secara konsisten mengungguli model lain dengan ukuran serupa, seperti Gemma 7B dan Llama-3.1 8B. Tabel ini menunjukkan performa model yang luar biasa pada berbagai tolok ukur, dengan angka tebal yang menunjukkan skor tertinggi di antara kelas model 8B.

Peluncuran Mistral-NeMo-Minitron 8B merupakan langkah penting dalam evolusi model bahasa. Hal ini tidak hanya menunjukkan efektivitas pengurangan berat badan terstruktur yang dikombinasikan dengan penyulingan pengetahuan, namun juga meletakkan dasar bagi kemajuan masa depan dalam bidang ini. Teknologi yang digunakan untuk mengembangkan model ini akan diintegrasikan ke dalam kerangka NVIDIA NeMo untuk AI generatif, yang diharapkan dapat semakin meningkatkan kemampuan teknologi pemrosesan bahasa. saus: