Large Language Models (LLM) telah menjadi hal penting bagi aplikasi modern, tetapi ketergantungan pada API pihak ketiga dapat menghambat kelincahan pengembang. Untuk mengatasi hal ini, Inference-as-a-Service telah muncul sebagai solusi yang layak, yang memungkinkan aplikasi untuk berinteraksi dengan LLM dengan overhead operasional yang minimal. Pendekatan ini menyederhanakan proses pengembangan karena pengembang dapat menjalankan kode yang berinteraksi dengan LLM tanpa beban mengelola infrastruktur.

Cloud Run, platform kontainer tanpa server milik Google Cloud, menyediakan lingkungan yang sesuai untuk aplikasi yang didukung LLM. Pengembang dapat memanfaatkan runtime kontainer tanpa harus menggali infrastruktur yang mendasarinya. Cloud Run hemat biaya karena Anda hanya membayar saat layanan aktif. Platform ini mendukung penerapan LLM terbuka dengan dukungan GPU, meningkatkan kinerja dan mengurangi latency.

Vertex AI, platform AI/ML komprehensif dari Google Cloud, menyediakan berbagai alat yang Anda butuhkan untuk melatih dan menyajikan model ML. Platform ini memiliki taman model dengan berbagai model dasar, termasuk opsi milik sendiri, pihak ketiga, dan sumber terbuka. Pengembang dapat mengaktifkan API Gemini dalam Vertex AI dan menerapkan aplikasi mereka ke Cloud Run untuk antarmuka yang lancar dengan platform AI. Integrasi GPU ke Cloud Run memberikan fleksibilitas yang belum pernah ada sebelumnya, yang memungkinkan Anda untuk langsung membuat kontainer dan menerapkan LLM yang dapat diskalakan secara dinamis sesuai permintaan.

Untuk menyesuaikan respons LLM lebih lanjut, Search Augmentation Generation (RAG) digunakan. RAG memanfaatkan basis data vektor untuk menyimpan penyematan data dan menyediakan konteks bagi LLM guna menghasilkan respons yang akurat. Dalam arsitektur ini, Cloud Run mengatur interaksi antara Vertex AI dan basis data vektor serta mengelola aliran data RAG untuk mengambil informasi yang relevan dengan konteks secara efisien bagi LLM. Pengaturan ini merupakan aplikasi praktis dari Inference-as-a-Service, yang menyederhanakan proses penyesuaian keluaran LLM ke domain atau kumpulan data tertentu.