Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

NVIDIA は、ドメイン固有のデータに合わせて調整された AI モデルの展開を効率化する新しいソリューションを導入しました。NVIDIA 推論サーバー (NIS) は、事前構築された推論マイクロサービスを提供しており、AI 基盤モデルをエンタープライズ アプリケーションに迅速に統合できます。これらのマイクロサービスは、パラメーター効率の良い微調整 (PEFT) などのさまざまな方法で微調整されたモデルをサポートするように設計されており、最適なパフォーマンスを保証します。

同社は、トレーニング中にモデルの重みを直接調整する際に推論ソフトウェアを構成する複雑さを排除するプロセスを開発しました。NVIDIA の NIS は、特定のモデルと GPU 設定に合わせて微調整された TensorRT-LLM 推論エンジンを自動的に構築できるため、展開が 1 つのステップに簡素化されます。

NVIDIA の最新チュートリアルでは、教師あり微調整 (SFT) によってカスタマイズされたモデル用の NIS マイクロサービスの展開を紹介しています。このガイドでは、パフォーマンスが最適化された TensorRT-LLM 推論エンジンをローカルで構築および展開するための詳細な手順と必要なコマンドが提供されています。前提条件には、十分な GPU メモリと特定のソフトウェアのインストールを備えた NVIDIA アクセラレーション コンピューティング環境が含まれます。

同社は、推論エンジンのパフォーマンス プロファイルの選択の容易さを強調しています。このプロファイルは、ユーザーのハードウェアとモデルの選択に自動的に適合します。これらのプロファイルは、アプリケーションのニーズに応じて、レーテンシーまたはスループットを最適化するように設計されています。NVIDIA の取り組みは、AI 推論機能の迅速な導入を促進することを目的としており、開発者フォーラムとドキュメントを通じてリソースとコミュニティ サポートを提供しています。