Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

NVIDIAは最近、人間のデモンストレーションにおける教師あり微調整（SFT）を含むLLMの強化に関する記事を発表した。NVIDIA研究チームは、LLMのカスタマイズを簡素化する新しい技術であるSteerLMの開発により、大規模言語モデル（LLM）の分野で大きな進歩を遂げた。GPT-3、Megatron-TuringなどのLLMによる自然言語生成の目覚ましい進歩にもかかわらず、これらのモデルはユーザーの好みに合わせた微妙な応答を提供するのに苦労することがよくあるという。

LLMを強化する現在の方法には、人間のデモンストレーションに対する教師あり微調整（SFT）と、それに続く人間のフィードバックからの強化学習（RLHF）が含まれる。RLHFはパフォーマンスを向上させることができるが、トレーニングの複雑さやユーザー制御の制限などの課題を抱えている。

NVIDIA NeMoの一部であるSteerLMは、指定された属性に基づいてモデル出力の動的なステアリングを可能にすることで、これらの問題に対処する。この革新的な技術によりカスタマイズプロセスが簡素化され、ユーザーがよりアクセスしやすくなる。

LLMは広範なテキストコーパスで事前トレーニングされており、幅広い言語能力と世界知識を備えている。これらは、翻訳、質問応答、テキスト生成など、さまざまな自然言語処理タスクに適用されて成功している。ただし、多くの場合、ユーザーが提供した指示に従わず、代わりに一般的なテキストまたは意味不明なテキストが生成される。SteerLMの開発は、これらの問題への対処における大きな進歩を示しているとのことだ。ソース：