Seiring meningkatnya kompleksitas beban kerja inferensi model bahasa besar (LLM), pendekatan penyajian proses tunggal tradisional mencapai batasnya. Hal ini telah menyebabkan adopsi penyajian terpisah (disaggregated serving), yang memisahkan pipeline inferensi ke dalam tahapan yang berbeda seperti prefill, decode, dan routing. Setiap tahapan beroperasi sebagai layanan independen, memungkinkan alokasi sumber daya dan penskalaan yang lebih efisien.

Penerapan inferensi terpisah pada Kubernetes menawarkan penggunaan perangkat keras yang lebih fleksibel dan efisien, khususnya GPU. Dengan membagi pipeline inferensi, setiap tahapan dapat dioptimalkan secara individual untuk kebutuhan komputasi spesifiknya. Misalnya, tahapan prefill dapat memaksimalkan throughput GPU, sementara tahapan decode dapat memanfaatkan GPU dengan akses memori bandwidth tinggi yang cepat. Pemisahan ini juga memungkinkan penskalaan independen dari setiap tahapan, merespons pola permintaan yang bervariasi secara lebih efektif dan meningkatkan pemanfaatan GPU secara keseluruhan.

Kerangka kerja seperti NVIDIA Dynamo dan llm-d telah dikembangkan untuk mengimplementasikan pola ini, menimbulkan pertanyaan tentang orkestrasi pada Kubernetes. Penjadwalan memainkan peran penting dalam kinerja inferensi multi-pod, dengan kemampuan seperti penjadwalan berkelompok (gang scheduling), penjadwalan berkelompok hierarkis (hierarchical gang scheduling), dan penempatan yang sadar topologi (topology-aware placement) menjadi kunci penempatan pod yang optimal di seluruh klaster. Kemampuan ini memastikan bahwa pod ditempatkan dengan cara yang memaksimalkan kinerja dan meminimalkan hambatan (bottleneck).

Penyebaran inferensi terpisah (disaggregated inference) melibatkan pengelolaan beberapa peran, masing-masing dengan profil sumber daya dan kebutuhan penskalaan yang berbeda. API Kubernetes seperti LeaderWorkerSet dan NVIDIA Grove memungkinkan pengguna untuk mengekspresikan struktur aplikasi inferensi mereka dan menentukan bagaimana aplikasi tersebut harus diskalakan. API ini menerjemahkan maksud tingkat aplikasi ke dalam batasan penjadwalan konkret, yang kemudian dipenuhi oleh penjadwal seperti KAI Scheduler. Koordinasi ini sangat penting untuk mempertahankan kondisi runtime yang optimal untuk beban kerja AI.

Kesimpulannya, pergeseran ke arah penyajian terpisah (disaggregated serving) di Kubernetes menawarkan pendekatan yang lebih disesuaikan untuk mengelola beban kerja inferensi LLM. Dengan memungkinkan setiap tahapan dalam alur inferensi untuk didukung dan diskalakan secara independen, organisasi dapat mencapai kinerja dan pemanfaatan sumber daya yang lebih baik, yang pada akhirnya mengarah pada operasi AI yang lebih efisien.