Viettel Solutions memanfaatkan Kurator NVIDIA NeMo untuk meningkatkan kemampuan AI di Vietnam secara signifikan. Alat ini telah membantu kami membuat kumpulan data berkualitas tinggi untuk melatih model bahasa tingkat lanjut Llama 3 ViettelSolution 8B. Dengan melakukan kurasi kumpulan data yang ekstensif, Viettel Solutions telah meningkatkan akurasi model, mengurangi waktu pelatihan, dan mengurangi ukuran kumpulan data secara signifikan.

Prosesnya dimulai dengan mengumpulkan berbagai data teks bahasa Vietnam dari berbagai sumber, termasuk data penjelajahan web dan Wikipedia. Data ini kemudian distandarisasi dan diformat untuk konsistensi. Viettel Solutions menyempurnakan kumpulan data menggunakan berbagai teknik kurasi data, termasuk pemformatan ulang Unicode dan deduplikasi yang tepat. Langkah-langkah ini penting untuk memastikan keunikan dan kualitas data pelatihan.

Metode pemfilteran berbasis heuristik dan pengklasifikasi juga diterapkan untuk lebih meningkatkan kualitas kumpulan data. Filter ini membantu menghapus konten berkualitas rendah dan menyaring data berdasarkan pola kompleks yang mungkin terlewatkan oleh aturan sederhana. Hasilnya adalah kumpulan data dengan distribusi panjang teks dan jumlah token yang lebih merata, serta mengurangi data outlier dan noise secara signifikan.

Upaya Viettel Solutions tidak hanya meningkatkan kinerja model bahasa, namun juga menjaga keragaman kumpulan data, yang penting untuk membangun model bahasa yang serbaguna dan bertujuan umum. Kolaborasi perusahaan dengan NVIDIA dan penggunaan NeMo Curator menunjukkan potensi AI untuk memenuhi kebutuhan bahasa spesifik di negara-negara yang tidak berbahasa Inggris dan memastikan pengalaman pelanggan yang lebih inklusif dan berdampak.