NVIDIA telah mengumumkan DGX Cloud Benchmarking Recipes, rangkaian yang dirancang untuk mengukur dan mengoptimalkan beban kerja pelatihan AI. Resep ini memberikan penilaian komprehensif terhadap sistem AI yang mempertimbangkan seluruh tumpukan teknologi, bukan hanya kecepatan chip. Dengan menetapkan tolok ukur untuk aplikasi nyata, resep ini bertujuan untuk membantu mengidentifikasi peluang peningkatan kinerja.

Perusahaan menekankan bahwa metrik tradisional yang berpusat pada chip seperti FLOPS puncak tidak cukup untuk memperkirakan kinerja seluruh sistem AI. Sebaliknya, NVIDIA menyarankan bahwa penilaian yang lebih akurat harus mempertimbangkan komponen jaringan, perangkat lunak, firmware, dan infrastruktur. Misalnya, jaringan NVIDIA NVLink terkenal karena kemampuannya untuk menskalakan strategi pemrosesan paralel dan menutup kesenjangan antara kinerja teoritis dan aktual.

Rangkaian benchmark NVIDIA juga berfungsi sebagai buku pedoman untuk mengoptimalkan model AI umum, yang menyediakan strategi untuk memaksimalkan kinerja. Rangkaian ini membahas berbagai faktor yang memengaruhi kinerja beban kerja AI, seperti rasio komputasi terhadap komunikasi dan faktor penskalaan model. Resep tersebut memandu pengguna dalam menyetel model dan sistem mereka, memanfaatkan teknologi seperti NVIDIA SpectrumX dan arsitektur jaringan InfiniBand untuk penskalaan yang efisien.

Resep Benchmark DGX Cloud tersedia dalam katalog NGC NVIDIA dan mencakup benchmark yang dikontainerisasi, skrip data sintetis, dan pengumpulan metrik kinerja. Resep-resep tersebut mendukung manajemen kluster Slurm, dengan dukungan Kubernetes dalam tahap pengembangan. NVIDIA terus menyempurnakan tumpukan teknologinya, menghasilkan kinerja komputasi 3,4x lebih cepat pada GPU NVIDIA H100 dalam waktu kurang dari setahun melalui pengembangan perangkat lunak saja. Resep-resep ini merupakan bagian dari upaya NVIDIA untuk membantu organisasi mengoptimalkan infrastruktur AI mereka sehingga mereka dapat berfokus pada inovasi.