Inferensi AI telah mengalami transformasi besar, berevolusi menjadi sistem kompleks yang membutuhkan orkestrasi tingkat lanjut. Penerapan model AI membutuhkan beberapa komponen, seperti pra-pengisian, dekode, dan enkoder visi, yang bekerja sama untuk menjalankan tugas. Kompleksitas ini telah menggeser fokus dari tugas sederhana menjalankan beberapa replika menjadi mengoordinasikan komponen-komponen ini sebagai satu kesatuan. Setiap elemen memiliki konfigurasi dan kebutuhan sumber dayanya sendiri, dan semuanya harus diluncurkan dan disusun dalam urutan tertentu dalam topologi jaringan agar berfungsi secara efektif.

Untuk mengatasi tantangan kompleks dalam mengelola sistem canggih ini, NVIDIA memperkenalkan NVIDIA Grove ke NVIDIA Dynamo, sebuah API Kubernetes yang memudahkan pengoperasian beban kerja inferensi ML modern pada klaster Kubernetes. Grove, yang bersifat sumber terbuka dan dapat diakses di GitHub, memungkinkan pengembang untuk menskalakan penerapan inferensi dari satu replika ke skala pusat data, mendukung ribuan GPU. Grove menyediakan cara untuk mendeskripsikan keseluruhan sistem inferensi sebagai satu sumber daya kustom, yang memungkinkan penjadwalan hierarkis, penempatan yang peka topologi, dan penskalaan otomatis multi-level.

Fleksibilitas Grove tercermin dalam kemampuannya mengakomodasi beragam arsitektur inferensi dunia nyata, mulai dari konfigurasi simpul tunggal hingga jalur agen yang kompleks. Pengembang dapat mendefinisikan tumpukan AI yang kompleks dengan cara yang jelas, deklaratif, dan tidak bergantung pada kerangka kerja. Sistem ini memenuhi kebutuhan seperti penskalaan otomatis multi-level, manajemen siklus hidup, penjadwalan hierarkis, dan penjadwalan berbasis topologi, serta memastikan orkestrasi dan inisialisasi komponen.

API Grove mengelola beban kerja AI multi-komponen menggunakan sumber daya kustom hierarkis, menyediakan logika khusus peran dan penskalaan multi-level. Pendekatan ini memastikan penerapan optimal di seluruh lingkungan klaster yang heterogen. Klaster Kubernetes yang mendukung Grove menggabungkan operator Grove dengan penjadwal yang memahami sumber daya PodGang untuk menerjemahkan definisi beban kerja ke dalam batasan penjadwalan spesifik. Hal ini memungkinkan penerapan sistem AI yang terkoordinasi, memastikan bahwa komponen diluncurkan dalam urutan yang tepat, diposisikan untuk kinerja optimal, dan dipulihkan sebagai grup terpadu.

Bagi mereka yang tertarik mengadopsi arsitektur layanan terdistribusi, NVIDIA menyediakan panduan langkah demi langkah menggunakan Dynamo dan Grove. NVIDIA mengundang komunitas untuk mengeksplorasi kapabilitas Grove, berkontribusi dalam pengembangannya, dan bergabung dengan proyek ini di GitHub atau Discord. NVIDIA juga berterima kasih kepada semua kontributor, terutama SAP, atas dukungan dan kontribusi luar biasa mereka terhadap proyek Grove.