NVIDIA menyatakan bahwa pusat data bergeser ke arah "pabrik token AI," di mana beban kerja inferensi mendominasi dan output diukur dalam token, bukan kapasitas komputasi mentah.

Perusahaan tersebut menunjukkan bahwa metrik tradisional seperti biaya komputasi dan FLOPS per dolar gagal menangkap kinerja dunia nyata. Mereka menekankan biaya per token sebagai indikator kunci untuk ekonomi infrastruktur AI.

Menurut analisis tersebut, memaksimalkan output token secara langsung mengurangi biaya dan meningkatkan potensi pendapatan. Faktor-faktor seperti throughput, efisiensi daya, dan optimasi perangkat lunak secara signifikan memengaruhi hasil penerapan nyata.

Perbandingan menunjukkan bahwa sistem Blackwell yang lebih baru memberikan efisiensi token yang jauh lebih tinggi daripada arsitektur sebelumnya, yang menyebabkan biaya per token jauh lebih rendah. Pergeseran ini menandakan perubahan yang lebih luas dalam cara perusahaan mengevaluasi infrastruktur AI.