Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

NVIDIA（米国カリフォルニア州）は、金融分野向け大規模言語モデル（LLM）の学習データ不足を補うため、50万件超の金融ニュース見出しを生成する反復型データ生成パイプラインを公開したと発表した。NeMo Data Designer、NeMo Curator、Nemotronモデルを組み合わせ、多様性と品質を両立したデータセット構築手法を示したという。

同手法は、生成・品質フィルタリング・意味重複除去・Few-shot例更新・カテゴリ分布補正を繰り返す構成を採用。50万件規模の一括生成では重複が多発する課題に対し、82回の反復処理を実施し、最終的に50万2,536件のユニークな金融ニュース見出しを作成したとしている。

意味的重複除去にはNeMo Curatorを利用し、埋め込みベクトルによる類似度判定で重複を排除。さらにクラスタ中心から最も離れた見出しをFew-shot例として採用することで、各反復で新しい表現を誘導し、カテゴリごとの偏りも動的に補正したという。

生成したデータセット「FinHeadlineMix」は公開済みで、金融ニュース分類やモデル蒸留、LLMファインチューニングなどへの活用を想定。NVIDIAは、NeMo Data DesignerやNeMo Curatorを利用した再現手順も提供し、金融AI向けデータ生成ワークフローへの応用を促進すると説明した。