NVIDIA RTXとGeForce RTXテクノロジーはAI PCの新時代を先導し、AIアクセラレーションタスクのパフォーマンスに新たなベンチマークを導入している。1秒当たりのフレーム数などの従来の指標は、生の計算能力の尺度であるTOPS （1秒当たりの兆操作数）によって補完されている。例えば、ニューラルプロセッシング ユニットを搭載したMicrosoftのCopilot+ PCは、40 TOPSを超えるパフォーマンスを実現し、より単純なAIタスクに対応できる。ただし、GeForce RTX 4090などのNVIDIAのGPUは、より複雑なAIアプリケーションに必要な1,300 TOPSを超えるパフォーマンスを誇る。

TOPSを超えて、大規模言語モデル（LLM）のパフォーマンスは、1秒当たりに生成されるトークンとバッチサイズ（処理される同時入力の数）によって測定される。十分なVRAMとTensorコアを備えたNVIDIA RTX GPUは、特にNVIDIA TensorRTソフトウェア開発キットと組み合わせると、これらの分野で優れている。この組み合わせにより、特にバッチサイズが大きくなるにつれてスループットが大幅に向上し、RTX GPUはLLMの処理に最適な選択肢となる。

AI駆動型画像生成の分野では、速度が重要だ。テキストプロンプトを画像に変換するモデルであるStable Diffusionは、CPUやNPUと比較してRTX GPUで著しく高速に動作する。TensorRTを使用するとこのプロセスが高速化する。UL Procyon AI Image Generationベンチマークでは、GeForce RTX 4080 SUPER GPUで50%の速度向上が示されている。今後予定されているStable Diffusion 3向けのTensorRTの機能強化により、パフォーマンスがさらに向上し、メモリー効率がさらに向上する。

これらの進歩の実用的な利点は、実際のアプリケーションで明らかだ。例えば、Jan.aiがTensorRT-LLMをチャットボットアプリに統合したところ、目に見える改善が見られた。ユーザーは、RTX GPUで画像プロンプトをはるかに迅速に反復処理できるようになり、ローカルのRTX搭載マシンでデータを非公開にできるという利点も加わった。効率性とセキュリティーに対するこの具体的な影響は、AI支援タスクの変革におけるNVIDIAのテクノロジーの可能性を浮き彫りにしている。ソース：