Viettel Solutions telah memberikan kontribusi signifikan untuk meningkatkan kemampuan AI untuk bahasa Vietnam dengan NVIDIA NeMo Curator. Alat ini telah membantu menciptakan kumpulan data berkualitas tinggi untuk melatih Llama 3 ViettelSolution 8B, sebuah model bahasa tingkat lanjut. Dengan mengkurasi kumpulan data yang ekstensif, Viettel Solutions meningkatkan akurasi model, mengurangi waktu pelatihan, dan secara signifikan mengurangi ukuran kumpulan data.

Prosesnya dimulai dengan mengumpulkan berbagai data teks Vietnam dari berbagai sumber, termasuk data yang dijelajahi melalui web dan Wikipedia. Data ini kemudian distandarisasi dan diformat agar konsisten. Viettel Solutions menyempurnakan kumpulan data menggunakan berbagai teknik kurasi data, termasuk pemformatan ulang Unicode dan deduplikasi yang tepat. Langkah-langkah ini sangat penting dalam memastikan keunikan dan kualitas data pelatihan.

Untuk lebih meningkatkan kualitas kumpulan data, metode penyaringan berbasis heuristik dan pengklasifikasi juga diterapkan. Filter ini membantu menghilangkan konten berkualitas rendah dan menyempurnakan data berdasarkan pola kompleks yang mungkin diabaikan oleh aturan sederhana. Hasilnya adalah kumpulan data dengan distribusi panjang teks dan jumlah token yang lebih merata, dengan pengurangan signifikan pada outlier dan data yang tidak stabil.

Upaya Viettel Solutions tidak hanya meningkatkan kinerja model bahasa, tetapi juga mempertahankan keberagaman kumpulan data, yang penting untuk membangun model bahasa serbaguna dan serbaguna. Kolaborasi perusahaan dengan NVIDIA dan penggunaan NeMo Curator menunjukkan potensi AI untuk memenuhi kebutuhan bahasa spesifik negara-negara yang tidak berbahasa Inggris dan memastikan pengalaman pelanggan yang lebih inklusif dan berdampak.