Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

AI テクノロジーの最新の進歩により、メモリが限られたデバイス上で大規模言語モデル (LLM) を効率的に使用できるようにする新しい機能が RTX AI ツールキット内に開発されました。このイノベーションにより、モデルの複数のインスタンスをホストする必要なく、多言語翻訳アシスタントなどの複数のユースケースを同時に処理できるようになります。

開発者は、最小限のメモリ要件で単一の LLM をカスタマイズできる手法である低ランク適応 (LoRA) を利用できるようになりました。LoRA は、タスク固有の小さなアダプターを基本モデルに接続することで機能し、デバイス上のさまざまなアプリケーションに対応できるように拡張できます。このアプローチは、システム リソースを共有しながら複数のアプリケーションとタスクを同時に管理する必要があるデバイスに特に役立ちます。

RTX AI ツールキットの一部である NVIDIA の TensorRT-LLM は、マルチ LoRA サポートを導入しました。これは、RTX AI PC およびワークステーションにとって大きな機能強化です。この機能により、推論時にさまざまなユースケースに対応できるようになり、開発者は大きなメモリ オーバーヘッドなしでアプリケーションに AI 機能を実装しやすくなります。

LoRA 技術自体には、LoRA アダプターと呼ばれるモデル内のパラメーターの小さなサブセットを微調整することが含まれます。これらのアダプターはカスタマイズされますが、メインのモデル パラメーターは変更されません。トレーニングされたアダプターは、推論中に基礎モデルに統合され、レーテンシーやスループットのオーバーヘッドが最小限に抑えられます。この方法は、メモリ効率が高いだけでなく、カスタム モデルを使用して複数のクライアントにサービスを提供する場合でも高いパフォーマンスを維持します。