Google(California, AS) mengumumkan bahwa permintaan akan infrastruktur inferensi AI semakin meningkat. Khususnya, meningkatnya penggunaan agen AI dan dukungan untuk jendela konteks yang besar mempercepat permintaan. Organisasi perlu mengelola sumber daya inferensi secara efisien untuk meningkatkan pengalaman pengguna sekaligus mengoptimalkan biaya.

Riset perusahaan menemukan bahwa penggunaan penyimpanan berkinerja tinggi seperti Google Cloud Managed Lustre dapat mengurangi total biaya kepemilikan (TCO) hingga 35%, memungkinkan organisasi memproses beban kerja yang sama dengan GPU yang 43% lebih sedikit. Blog ini merinci tantangan dalam mengelola inferensi AI dan solusi yang ditawarkan Google Cloud Managed Lustre.

Cache KV merupakan teknik optimasi yang penting untuk pengoperasian model bahasa berbasis Transformer (LLM) berskala besar yang efisien. Mekanisme self-attention memastikan bahwa semua elemen dalam suatu urutan dibandingkan secara dinamis dan instan. Cache KV menyimpan vektor kunci (K) dan nilai (V) ini, sehingga mempercepat proses inferensi.

Pertumbuhan AI agen dapat memperparah tantangan dalam mengelola konteks yang panjang. AI agen tidak hanya untuk percakapan, tetapi juga untuk pemecahan masalah dan penyelesaian tugas, mengumpulkan konteks dari beragam sumber digital, yang meningkatkan ukuran cache KV.

Google merekomendasikan Google Cloud Managed Lustre sebagai solusi penyimpanan untuk cache KV eksternal. Solusi ini ideal untuk beban kerja inferensi AI skala besar, dan dapat meningkatkan throughput per akselerator sekaligus mengurangi TCO. Eksperimen Google menunjukkan bahwa penggunaan Managed Lustre meningkatkan performa inferensi secara signifikan.