SemiAnalysis telah mengumumkan InferenceMAX™ v1, sebuah inisiatif sumber terbuka yang bertujuan untuk mengevaluasi kinerja perangkat keras inferensi. Temuan inisiatif ini menunjukkan bahwa GPU NVIDIA memberikan kinerja terbaik di berbagai beban kerja. Seri Blackwell NVIDIA, khususnya, menunjukkan peningkatan kinerja yang signifikan dibandingkan generasi Hopper sebelumnya, yang menunjukkan potensi pendapatan yang signifikan.

Platform InferenceMAX v1 dilengkapi pengujian otomatis harian yang mencakup berbagai kerangka kerja dan konfigurasi inferensi. Pendekatan ini memastikan tolok ukur secara akurat mencerminkan skenario penerapan AI di dunia nyata. Pengujian komprehensif ini mencakup berbagai model dan panjang sekuens, memberikan validasi terperinci atas kinerja perangkat keras inferensi.

Arsitektur Blackwell NVIDIA menunjukkan efisiensi dan efektivitas biaya yang luar biasa dalam tolok ukur InferenceMAX v1. Dengan Tensor Core canggih dan bandwidth NVLink yang tinggi, seri Blackwell menunjukkan peningkatan yang mengesankan dalam kinerja komputasi per watt dan bandwidth memori. Peningkatan ini meningkatkan efisiensi energi dan mengurangi biaya per juta token, menjadikan platform NVIDIA sebagai pemimpin dalam penerapan AI skala besar.

Performa perangkat keras NVIDIA terus meningkat melalui optimasi perangkat lunak yang berkelanjutan. Tim teknik NVIDIA telah berupaya meningkatkan tumpukan TensorRT-LLM, yang secara signifikan meningkatkan throughput LLM sumber terbuka. Kemajuan ini, bersama dengan sifat sumber terbuka InferenceMAX v1, memungkinkan komunitas AI untuk memvalidasi dan memanfaatkan keunggulan performa NVIDIA dalam berbagai skenario inferensi AI.