Dalam ranah lingkungan Kubernetes, ketidaksesuaian antara persyaratan model dan ukuran GPU sering menyebabkan inefisiensi, terutama ketika model ringan seperti ASR atau TTS menempati seluruh GPU meskipun hanya membutuhkan sebagian kecil kapasitasnya. Skenario umum ini mengakibatkan pemanfaatan sumber daya komputasi yang mahal menjadi kurang optimal, sehingga memunculkan kebutuhan akan strategi untuk mengoptimalkan kepadatan klaster dan melayani lebih banyak pengguna tanpa perangkat keras tambahan.

Sebuah panduan telah dirilis yang merinci implementasi dan pengujian kinerja strategi partisi GPU, termasuk Multi-Instance GPU (MIG) NVIDIA dan teknik time-slicing. Metode-metode ini bertujuan untuk memanfaatkan sepenuhnya sumber daya komputasi, dengan fokus pada menjaga keandalan tinggi dan memenuhi persyaratan latency yang ketat. Panduan ini menggunakan pipeline AI suara tingkat produksi sebagai tempat pengujian untuk menunjukkan bagaimana penggabungan model dapat memaksimalkan pengembalian investasi infrastruktur.

NVIDIA Device Plugin for Kubernetes secara tradisional menyajikan GPU sebagai sumber daya integer, yang menyebabkan inefisiensi ketika model bahasa besar (LLM) memerlukan komputasi khusus, sementara model pendukung hanya menggunakan sebagian dari kapasitas GPU. Untuk mengatasi hal ini, panduan ini menyarankan untuk memutus hubungan satu-ke-satu antara pod dan GPU. Dua strategi utama untuk partisi GPU dievaluasi: partisi berbasis perangkat lunak melalui time-slicing dan MPS, dan partisi berbasis perangkat keras menggunakan MIG. Setiap pendekatan memiliki kelebihan dan keterbatasannya masing-masing, dengan MIG menawarkan kualitas layanan yang ketat melalui isolasi tingkat perangkat keras.

Sebuah pengaturan eksperimental menggunakan pipeline AI suara digunakan untuk memvalidasi strategi partisi ini. Pipeline tersebut, yang mencakup beban kerja ASR, TTS, dan LLM, digunakan untuk mengukur dampak berbagai metode partisi terhadap efisiensi dan responsivitas sistem. Hasilnya menunjukkan bahwa penggabungan ASR dan TTS pada satu GPU dapat mempertahankan latency sekaligus membebaskan daya komputasi untuk instance LLM tambahan. Partisi MIG muncul sebagai metode yang lebih disukai untuk lingkungan produksi, menawarkan efisiensi dan stabilitas tertinggi, sementara pembagian waktu (time-slicing) direkomendasikan untuk pengembangan atau aplikasi dengan konkurensi rendah.

Panduan ini diakhiri dengan rekomendasi untuk mengimplementasikan partisi dan penskalaan GPU dengan NVIDIA NIM untuk memanfaatkan sepenuhnya beban kerja ASR, TTS, dan LLM, sehingga meningkatkan throughput infrastruktur dan pengembalian investasi.