Para pengembang yang memanfaatkan Generative AI semakin tertarik pada fleksibilitas model terbuka. Namun, proses kustomisasi dan penerapan menghadapi kendala yang signifikan, termasuk dependensi yang kompleks, manajemen infrastruktur, dan tingginya biaya sumber daya GPU. Untuk mengatasi tantangan ini, sebuah panduan telah diperkenalkan untuk memigrasikan model terbuka secara efisien ke titik akhir Vertex AI yang siap produksi, dengan mengambil model Qwen3 sebagai contoh.

Titik awal bagi para pengembang adalah Vertex AI Model Garden, yang menawarkan lebih dari 200 model tervalidasi, termasuk model-model populer seperti Gemma dan DeepSeek. Platform ini menyediakan kartu model yang komprehensif dengan rekomendasi perangkat keras dan opsi penerapan sekali klik untuk menyederhanakan proses eksplorasi dan penerapan. Pemindaian keamanan model dan kontainer meningkatkan keandalan dan dioptimalkan, sementara kontainer layanan Vertex dirancang untuk inferensi throughput tinggi. Layanan evaluasi Vertex AI memfasilitasi evaluasi awal dan memilih model dasar yang tepat.

Bagi mereka yang ingin menyesuaikan model pilihan mereka, Vertex AI menyederhanakan proses penyempurnaan. Pengembang dapat menyiapkan data menggunakan Google Cloud Storage dan BigQuery, serta memanfaatkan Vertex AI Pipeline otomatis untuk tugas-tugas kompleks. Notebook prakonfigurasi dengan kerangka kerja bawaan seperti Axolotl tersedia untuk penyetelan langsung. Bagi mereka yang membutuhkan lebih banyak sumber daya, Vertex AI Training menawarkan infrastruktur terkelola yang skalabel dan akselerator sesuai permintaan, serta fitur pengulangan untuk pemantauan progres secara real-time.

Tahap terakhir melibatkan evaluasi yang cermat terhadap model yang telah disempurnakan dan penerapannya ke titik akhir produksi. Layanan Evaluasi Gen AI dari Vertex AI memberikan wawasan performa yang detail, sementara Layanan Inferensi Vertex AI menyediakan penerapan produksi yang cepat, hemat biaya, dan skalabel secara elastis. Layanan terkelola ini mengoptimalkan performa dan menangani kompleksitas infrastruktur, sehingga pengembang dapat fokus mengintegrasikan model ke dalam aplikasi mereka.