Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

Viettel Solutions は、NVIDIA NeMo Curator を利用して、ベトナム語の AI 機能の強化に大きく貢献しました。このツールは、高度な言語モデルである Llama 3 ViettelSolution 8B のトレーニング用の高品質データセットの作成に役立っています。Viettel Solutions は、広範なデータセットをキュレーションすることで、モデルの精度を向上させ、トレーニング時間を短縮し、データセットのサイズを大幅に削減しました。

このプロセスは、Web クロールされたデータや Wikipedia など、複数のソースからさまざまなベトナム語テキスト データを収集することから始まりました。次に、このデータは標準化され、一貫性を保つようにフォーマットされました。Viettel Solutions は、Unicode の再フォーマットや正確な重複排除など、さまざまなデータ キュレーション手法を使用してデータセットを改良しました。これらの手順は、トレーニング データの一意性と品質を確保する上で重要でした。

データセットの品質をさらに向上させるために、ヒューリスティックおよび分類子ベースのフィルタリング方法も適用されました。これらのフィルターは、低品質のコンテンツを削除し、単純なルールでは見落とされる可能性のある複雑なパターンに基づいてデータを改良するのに役立ちました。その結果、テキストの長さとトークン数の分布がより均一になり、外れ値とノイズの多いデータが大幅に削減されたデータセットが生まれました。

Viettel Solutions の取り組みにより、言語モデルのパフォーマンスが向上しただけでなく、多用途で汎用的な言語モデルの構築に不可欠なデータセットの多様性も維持されました。同社の NVIDIA とのコラボレーションと NeMo Curator の使用は、AI が非英語圏の国の特定の言語ニーズを満たし、より包括的で影響力のある顧客体験を保証する可能性を実証しています。