NVIDIA mengumumkan bahwa platform GB300 NVL72 mereka mencapai hasil yang kuat dalam benchmark AA-AgentPerf yang baru diperkenalkan, yang dirancang untuk mengukur kinerja inferensi agen AI di bawah beban kerja pengkodean dunia nyata.

Artificial Analysis menciptakan tolok ukur untuk mengevaluasi berapa banyak agen AI simultan yang dapat didukung oleh suatu sistem sambil mempertahankan tujuan tingkat layanan yang telah ditentukan sebelumnya untuk kecepatan respons dan latency.

Menurut NVIDIA, GB300 NVL72 menghasilkan hingga 20 kali lebih banyak agen pengkodean simultan per megawatt dibandingkan platform H200 generasi sebelumnya saat menjalankan beban kerja DeepSeek-V4-Pro. Hasil ini menyoroti peningkatan efisiensi inferensi agen skala besar.

Perusahaan tersebut mengatakan bahwa teknologi termasuk konektivitas NVLink, TensorRT LLM, SGLang, vLLM, dan optimasi MoE berkontribusi pada peningkatan tersebut. NVIDIA juga mengindikasikan bahwa platform Vera Rubin yang akan datang diharapkan dapat lebih meningkatkan kinerja dan efisiensi beban kerja agen.