Seiring dengan terus berkembangnya kecerdasan buatan (AI), organisasi menghadapi tantangan dalam meningkatkan skala infrastruktur AI mereka untuk mengakomodasi alur kerja yang semakin kompleks. Ketika model AI mencapai triliunan parameter dan jendela konteks meluas hingga jutaan token, permintaan akan solusi memori dan penyimpanan yang efisien berada pada titik tertinggi sepanjang masa. Agen AI membutuhkan memori jangka panjang untuk mempertahankan konteks di seluruh interaksi, yang secara tradisional dikelola oleh cache key-value (KV). Namun, seiring dengan meningkatnya kebutuhan akan kapasitas cache KV, tekanan pada hierarki memori yang ada juga meningkat.

Kebutuhan yang semakin besar untuk menyeimbangkan memori bandwidth tinggi GPU (HBM) dengan solusi penyimpanan tujuan umum menyebabkan peningkatan konsumsi daya dan biaya, serta pemanfaatan sumber daya GPU yang mahal secara kurang optimal. Untuk mengatasi masalah ini, platform baru yang dirancang untuk meningkatkan skalabilitas infrastruktur inferensi organisasi berbasis AI telah diperkenalkan. Platform ini merestrukturisasi infrastruktur AI menjadi pod komputasi yang berisi GPU, jaringan Ethernet, dan penyimpanan, yang berfungsi sebagai blok bangunan dasar dari pabrik AI.

Di dalam pod ini, infrastruktur penyimpanan khusus menangani kebutuhan unik inferensi gigascale, menyediakan lapisan memori konteks baru yang melengkapi penyimpanan jaringan tradisional. Lapisan ini dioptimalkan untuk konteks inferensi yang sensitif terhadap latensi dan dapat digunakan kembali, serta telah dipersiapkan untuk meningkatkan pemanfaatan GPU. Hasilnya adalah token per detik yang jauh lebih banyak dan efisiensi daya lima kali lebih besar dibandingkan dengan metode penyimpanan tradisional.

Pengenalan platform ini menandai pergeseran signifikan dalam cara pengelolaan data asli AI, dengan memprioritaskan efisiensi dan kinerja. Dengan menciptakan lapisan memori konteks khusus, platform ini memungkinkan penggunaan kembali cache KV yang efisien, mengurangi kebutuhan akan lapisan penyimpanan tujuan umum yang mahal dan boros daya. Inovasi ini memungkinkan organisasi untuk memenuhi tuntutan era agen, mencapai throughput yang lebih tinggi dan penggunaan kembali cache KV yang terukur sambil mengoptimalkan total biaya kepemilikan (TCO).