Gemini dan model dasar terkelola lainnya kini mendapatkan manfaat dari pembaruan terbaru Vertex AI, yang memperkenalkan kemampuan pemantauan dan pemberitahuan kinerja bawaan yang dapat diakses langsung dari beranda platform. Peningkatan ini menyederhanakan proses pelacakan kesehatan model AI generatif, sehingga pengguna dapat dengan mudah melihat statistik penggunaan, latency, dan rasio kesalahan tanpa harus menavigasi metrik Cloud Console yang rumit.

Dasbor baru Vertex AI menyediakan ikhtisar komprehensif tentang kinerja model, yang memungkinkan pengguna untuk menelusuri metrik terperinci dan menyesuaikan tampilan mereka. Fitur ini bertujuan untuk membantu pengguna mengelola kapasitas, memperkirakan biaya, dan mendiagnosis kesalahan dengan lebih efisien. Selain itu, platform ini juga menawarkan kemampuan untuk mengatur peringatan yang akan segera memberi tahu pengguna jika ada kegagalan atau keterlambatan dalam respons model AI mereka.

Misalnya, teknisi keandalan situs (SRE) yang bertanggung jawab untuk menjaga kinerja chatbot layanan pelanggan yang digerakkan oleh AI kini memiliki akses mudah ke dasbor yang menyoroti potensi masalah. Hanya dengan beberapa klik, mereka dapat melihat dasbor beropini yang menyediakan informasi terperinci tentang rasio kueri, throughput, latency, dan kesalahan. Jika terjadi kesalahan 429, yang menunjukkan masalah kapasitas, pengguna dapat mengambil tindakan korektif seperti membeli throughput tambahan, mengubah lokasi pemrosesan, atau menjadwalkan ulang permintaan. Selain itu, mereka dapat mengaktifkan peringatan yang akan memberi tahu mereka jika persentase permintaan yang signifikan mengalami kesalahan serupa di masa mendatang.