NVIDIA memperkenalkan alur kerja iteratif untuk menghasilkan lebih dari 500.000 judul berita keuangan unik guna mengatasi keterbatasan dan ketidakseimbangan dataset yang digunakan untuk pelatihan model bahasa besar keuangan. Alur kerja ini menggabungkan model NeMo Data Designer, NeMo Curator, dan Nemotron untuk meningkatkan keragaman dan kualitas semantik.

Proses ini berulang kali menghasilkan judul berita, menyaring output yang salah format, menghilangkan duplikat semantik, memperbarui contoh few-shot, dan menyesuaikan bobot kategori. Selama 82 iterasi, alur kerja ini menghasilkan 502.536 judul berita unik yang mencakup 12 topik keuangan dan satu kategori umum tambahan.

Deduplikasi semantik bergantung pada pencocokan kesamaan berbasis embedding, sementara contoh few-shot dipilih menggunakan strategi farthest-from-centroid untuk mendorong generasi baru. Pembobotan ulang kategori dinamis juga diterapkan untuk meningkatkan cakupan peristiwa keuangan yang kurang terwakili.

Dataset FinHeadlineMix yang dihasilkan telah dirilis untuk penelitian NLP keuangan, distilasi model, dan alur kerja fine-tuning. NVIDIA juga menyediakan alur kerja yang dapat direproduksi menggunakan NeMo Data Designer dan NeMo Curator, yang memungkinkan organisasi untuk menyesuaikan alur kerja tersebut untuk tugas pembuatan data keuangan sintetis mereka sendiri.