NVIDIA berkolaborasi dengan Nebius untuk mengevaluasi peningkatan kinerja alokasi GPU parsial NVIDIA Run:ai untuk inferensi model bahasa skala besar (LLM). Benchmark bersama ini memanfaatkan AI Cloud Nebius, yang dilengkapi dengan GPU NVIDIA khusus dan jaringan NVIDIA Quantum InfiniBand, untuk mendemonstrasikan skalabilitas dan efisiensi solusi tersebut. Benchmark dilakukan menggunakan microservice NVIDIA NIM untuk memastikan lingkungan penerapan yang terstandarisasi.

Hasil benchmark sangat signifikan, menunjukkan bahwa dengan hanya menggunakan setengah dari kapasitas GPU, sistem dapat memproses 86% dari kapasitas pengguna bersamaan sambil mencapai 77% dari throughput GPU penuh. Lebih lanjut, untuk model kecil, menggunakan seperempat sumber daya GPU dapat mendukung dua kali lipat jumlah pengguna inferensi bersamaan. Tes juga menunjukkan bahwa beban kerja campuran melipatgandakan jumlah total pengguna sistem pada GPU bersama, dengan penskalaan throughput yang hampir linier di berbagai ukuran GPU parsial.


Kemampuan penjadwalan cerdas dan partisi GPU dinamis NVIDIA Run:ai telah terbukti penting bagi perusahaan yang menghadapi tantangan dalam meningkatkan skala beban kerja AI secara efisien. Kemampuan platform untuk mempartisi GPU menjadi unit yang lebih kecil memungkinkan beberapa beban kerja berjalan secara bersamaan tanpa penurunan kinerja yang signifikan. Alokasi dinamis ini dilengkapi dengan penjadwal cerdas NVIDIA Run:ai, yang mengoptimalkan alokasi sumber daya berdasarkan permintaan beban kerja, memprioritaskan tugas yang sensitif terhadap latensi, dan memenuhi SLA.

Uji benchmark yang dilakukan oleh NVIDIA dan Nebius menyoroti potensi bagi perusahaan untuk meningkatkan skala beban kerja inferensi secara signifikan tanpa meningkatkan investasi GPU mereka. Dengan memanfaatkan penjadwalan GPU terpartisi NVIDIA Run:ai dan infrastruktur Nebius AI Cloud, perusahaan dapat mencapai pemanfaatan yang lebih tinggi, kompleksitas operasional yang lebih sederhana, dan total biaya kepemilikan yang lebih rendah.