NVIDIA mengungkapkan evaluasi benchmark independen yang mencakup akselerator inferensi interaktif Groq 3 LPX yang dirancang untuk beban kerja kecerdasan buatan berbasis agen. Arsitektur pemrosesan mencatat kinerja output mencapai 3.431 token per detik pada model Gemma di berbagai konteks input yang diperluas.

Eksekusi beban kerja terjadwal oleh kompiler mengurangi latency jaringan di seluruh unit pemrosesan yang saling terhubung untuk mempercepat komputasi paralel tensor secara terus menerus. Penjadwalan yang detail memungkinkan transmisi vektor secara langsung, mencegah hambatan komunikasi selama siklus inferensi batch kecil.

Dengan menggabungkan akselerator khusus ini dengan platform rak perusahaan, tahap pengisian awal dan dekoding dioptimalkan untuk sistem bahasa dengan triliunan parameter. Pendekatan teknologi ini mendukung retensi konteks yang terukur sekaligus meningkatkan kecepatan respons waktu nyata di seluruh perangkat pengembang perusahaan.