NVIDIA mengumumkan DGX Cloud Serverless Inference, solusi inferensi AI baru yang menyederhanakan penerapan aplikasi di berbagai lingkungan. Didukung oleh NVIDIA Cloud Functions, platform ini mengelola beban kerja AI, komputasi berperforma tinggi, dan aplikasi yang dikontainerisasi dengan lancar. Cukup terapkan sekali dan skalakan secara global, sehingga menghilangkan kerumitan dalam menyiapkan infrastruktur multi-kluster.

Vendor perangkat lunak independen (ISV) sering menghadapi tantangan dalam penskalaan aplikasi AI secara global. Solusi inferensi AI tanpa server NVIDIA mengatasi tantangan ini dengan menyediakan metodologi penerapan yang konsisten yang mengabstraksikan kompleksitas infrastruktur di berbagai cloud dan pusat data, sehingga memudahkan ISV untuk menerapkan aplikasi di dekat infrastruktur pelanggan mereka.

Platform DGX Cloud Serverless Inference bertindak sebagai agregator horizontal, yang memungkinkan ISV untuk menggabungkan sumber daya dari berbagai sumber, termasuk NVIDIA, mitra cloud, cloud pribadi, dan kapasitas lokal. Fleksibilitas ini khususnya bermanfaat bagi ISV yang ingin memperluas kapasitas atau menjajaki penyedia cloud baru tanpa melakukan investasi jangka panjang.

Solusi NVIDIA memungkinkan pengembang untuk menskalakan beban kerja AI di seluruh lingkungan cloud menggunakan satu titik akhir API . Pendekatan ini memfasilitasi penyeimbangan beban global dan penskalaan otomatis, yang menyediakan fleksibilitas multi-cloud untuk berbagai beban kerja. Platform ini mendukung berbagai beban kerja yang dikontainerisasi, termasuk beban kerja AI, grafis, dan pekerjaan, serta kompatibel dengan rangkaian teknologi AI dan simulasi NVIDIA. ISV dapat memulai dengan DGX Cloud Serverless Inference dengan memanfaatkan kontainer dan cetak biru layanan mikro NVIDIA atau mengintegrasikan kontainer khusus untuk penerapan yang lebih kompleks.