NVIDIA menguraikan bagaimana beban kerja AI generatif bergeser dari interaksi chatbot standar menuju sistem agen yang secara otomatis mengelola alat, memori, dan sub-agen, sehingga meningkatkan konsumsi token dan kompleksitas infrastruktur.

Perusahaan tersebut mengatakan bahwa aplikasi AI berbasis agen dapat mengonsumsi hingga 15 kali lebih banyak token daripada sistem obrolan tradisional. Jendela konteks yang semakin besar, perilaku pemanggilan alat, dan alur kerja sub-agen paralel menciptakan tuntutan yang lebih tinggi pada latency, kapasitas memori, dan efisiensi inferensi.

NVIDIA juga menyoroti strategi platform Vera Rubin-nya, yang menggabungkan teknologi jaringan Vera Rubin NVL72, Groq 3 LPX, NVLink 6, BlueField-4, dan Spectrum-X untuk mendukung inferensi konteks besar dan mengurangi biaya penyajian token untuk model AI mutakhir.

Tumpukan perangkat lunak mencakup Dynamo, TRT-LLM WideEP, NVFP4, dan teknologi Speculative Decoding yang bertujuan untuk meningkatkan throughput dan menurunkan latency untuk model mixture-of-expert dengan triliunan parameter yang beroperasi dengan konteks sebesar 400.000 token.