Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

NVIDIAは、言語モデル機能の向上ワークフローを簡素化するために設計された新しいライブラリ、NeMo-Skillsを発表しました。言語モデルの強化プロセスには、合成データの生成、モデルの学習、評価といった段階が一般的に含まれており、それぞれに異なるツールが必要であり、統合が煩雑になる場合があります。NeMo-Skillsは、様々なフレームワークをシームレスに統合できる高レベルの抽象化を提供し、モデル開発への統一的なアプローチを促進します。

このライブラリは、AIMO2 KaggleコンペティションにおけるNVIDIAの勝利に大きく貢献し、モデルの数学的推論能力の強化における有効性を実証しました。NeMo-Skillsの利用に関心のあるユーザーは、NVIDIA DGXボックスや同等の構成のSlurmクラスターなど、特定のハードウェアにアクセスする必要があります。このライブラリはジョブオーケストレーションにDockerコンテナを活用しており、ユーザーはローカルワークステーションにNeMo-Skillsをセットアップし、 SSH経由でSlurmクラスターのジョブを管理できます。

NeMo-Skillsパイプラインは、モデルのパフォーマンスのベースラインを確立することから始まり、NVIDIA TensorRT-LLMやvLLMなどのツールを用いて合成データを生成します。生成されたデータはモデルの学習に使用され、微調整にはNeMo-AlignerまたはNeMo-RLを使用するオプションがあります。データ生成からモデルの学習と評価までの全プロセスは、単一のスクリプトで実行できるため、迅速なプロトタイピングと大規模な実験への拡張が可能です。

NVIDIAのNeMo-Skillsは、OpenMathReasoningデータセット、OpenMath-Nemotronモデル、OpenCodeReasoningおよびOpenCodeInstructコレクションなど、様々なモデルやデータセットの作成に活用されています。また、Llama-Nemotronモデルシリーズのデータ​​キュレーションにも貢献しています。このライブラリは開発者や研究者がプロジェクトに統合することができ、言語モデルの改善を効率的に行うことができます。