NVIDIAは、開発者がWindows PC上のさまざまなアプリケーションで生成AIとラージ言語モデル（LLM）を活用できる方法を強化している。同社の開発者ツールスイートは、NVIDIA RTX AI対応PCのパワーを活用して、AI駆動のテキストおよびビジュアルアプリケーションの作成と展開を容易にするように設計されている。このツールには、オープンソースのNVIDIA TensorRT-LLM推論ライブラリーが含まれており、LLMを定義し、NVIDIA GPU上で効率的な推論エンジンを構築するプロセスを合理化する。
同社は、NVIDIA/TensorRT-LLM GitHubリポジトリーへのアクセスを提供することで、開発者がツールを使い始めやすくした。このリソースでは、Windows用の開発者環境セットアップを提供し、PC GPU互換性のためのモデル量子化の重要性を強調している。TensorRT-LLM量子化ツールキットは、VRAMが限られているPCにとって重要なステップである、モデルのメモリーフットプリントの削減に役立つ。
NVIDIAの製品には、NVIDIA RTX PC向けに調整された、NVIDIA GPUクラウド（NGC）で利用できる事前に最適化されたさまざまなLLMも含まれている。これらのモデルはすぐにデプロイできるようになっており、開発者はサポートされているさまざまなモデル用のTensorRTエンジンを構築することもできる。さらに、同社は、TensorRT-LLMを利用した、検索拡張生成（RAG）パイプラインやOpenAIのAPI仕様と互換性のあるREST APIの参照プロジェクトとリソースを提供する。
ビジュアル生成AIプロジェクトでは、NVIDIAのTensorRT SDKが重要なツールとして登場し、レイヤーフュージョンや高精度キャリブレーションなどの機能でディープ ラーニング推論を最適化する。このSDKは、リアルタイムアプリケーションや安定した拡散などの複雑なモデルに特に有益だ。開発者はリソースとデモにアクセスして、TensorRTをアプリケーションに統合し、AIパイプラインを最適化する方法を学ぶことができる。
NVIDIAは、開発者が生成AIプロジェクトをコミュニティーと共有し、NVIDIA生成AI on NVIDIA RTX開発者コンテストに参加することを奨励しており、GeForce RTX 4090 GPUやNVIDIA GTCコンファレンスへのパスなどの賞品を提供している。
