Teknologi NVIDIA RTX dan GeForce RTX mengantarkan era baru PC AI dan memperkenalkan tolok ukur kinerja baru untuk tugas akselerasi AI. Metrik tradisional seperti frame per detik dilengkapi dengan TOPS (triliun operasi per detik), yang merupakan ukuran kekuatan komputasi mentah. Misalnya, PC Copilot+ Microsoft, yang dilengkapi dengan unit pemrosesan saraf, dapat memberikan kinerja lebih dari 40 TOPS dan menangani tugas AI yang lebih sederhana. Namun, GPU NVIDIA, seperti GeForce RTX 4090, memiliki kinerja lebih dari 1.300 TOPS, yang diperlukan untuk aplikasi AI yang lebih kompleks.

Selain TOPS, performa model bahasa skala besar (LLM) diukur berdasarkan token yang dihasilkan per detik dan ukuran batch (jumlah input yang diproses secara bersamaan). GPU NVIDIA RTX dengan VRAM dan Tensor Cores yang memadai unggul dalam bidang ini, terutama bila dikombinasikan dengan kit pengembangan perangkat lunak NVIDIA TensorRT. Kombinasi ini meningkatkan throughput secara signifikan, terutama seiring bertambahnya ukuran batch, menjadikan GPU RTX pilihan sempurna untuk memproses LLM.

Di bidang pembuatan gambar berbasis AI, kecepatan adalah rajanya. Difusi Stabil, model yang mengubah perintah teks menjadi gambar, berjalan jauh lebih cepat pada GPU RTX dibandingkan dengan CPU dan NPU. Menggunakan TensorRT mempercepat proses ini. Benchmark UL Procyon AI Image Generation menunjukkan kecepatan 50% pada GPU GeForce RTX 4080 SUPER. Penyempurnaan TensorRT yang akan datang untuk Stable Diffusion 3 akan semakin meningkatkan performa dan meningkatkan efisiensi memori.

Manfaat praktis dari kemajuan ini terbukti dalam penerapannya di dunia nyata. Misalnya, saat Jan.ai mengintegrasikan TensorRT-LLM ke dalam aplikasi chatbotnya, Jan.ai melihat peningkatan yang terukur. Pengguna kini dapat melakukan iterasi melalui perintah gambar dengan lebih cepat pada GPU RTX, dengan manfaat tambahan berupa menjaga kerahasiaan data di mesin lokal yang didukung RTX. Dampak nyata terhadap efisiensi dan keamanan ini menyoroti potensi teknologi NVIDIA dalam mentransformasikan tugas-tugas yang dibantu AI. saus: