NVIDIA telah memperkenalkan Groq 3 LPX, akselerator inferensi skala rak baru yang dirancang khusus untuk memenuhi kebutuhan sistem berbasis agen. LPX dirancang untuk bekerja bersamaan dengan NVIDIA Vera Rubin NVL72, menyediakan mesin khusus untuk pembuatan token cepat yang penting untuk aplikasi AI yang membutuhkan latency rendah. Di sisi lain, Vera Rubin NVL72 terus berfungsi sebagai solusi serbaguna untuk tugas pelatihan dan inferensi, mampu menangani berbagai proses dengan throughput tinggi.

Kolaborasi antara Vera Rubin NVL72 dan LPX sangat penting untuk masa depan AI berbasis agen, di mana kecepatan interaksi diperkirakan akan mencapai hingga 1.000 token per detik per pengguna. Akselerasi ini memungkinkan sistem AI untuk terlibat dalam penalaran, simulasi, dan respons berkelanjutan, mensimulasikan kolaborasi waktu nyata daripada komunikasi berbasis giliran. Kemampuan untuk mengoordinasikan kelompok agen juga meningkatkan potensi untuk tugas-tugas kompleks, mirip dengan masyarakat manusia yang memanfaatkan kecerdasan kolektif.

Untuk mendukung kebutuhan tingkat lanjut dari sistem-sistem ini, diperlukan infrastruktur yang kuat yang mampu memberikan throughput tinggi dan latency rendah. Arsitektur heterogen yang menggabungkan Vera Rubin NVL72 dan LPX memenuhi kebutuhan ini dengan menggabungkan kinerja pabrik AI skala besar dengan pembuatan token yang cepat yang dibutuhkan untuk sistem agen yang beroperasi terus menerus dan aplikasi AI mutakhir.

Sistem NVIDIA Groq 3 LPX dibangun di sekitar 256 akselerator yang saling terhubung dan menekankan eksekusi deterministik serta bandwidth SRAM on-chip yang tinggi. Desain ini memastikan bahwa inferensi interaktif tetap responsif di bawah berbagai tingkat konkurensi dan kompleksitas permintaan. Saat digunakan dengan Vera Rubin NVL72, LPX secara khusus mempercepat bagian-bagian sensitif latensi dari loop dekode, sementara GPU Rubin mengelola prefill dan perhatian dekode, menghasilkan jalur penyajian heterogen yang meningkatkan responsivitas interaktif tanpa mengorbankan throughput pabrik AI.