Google AI Studio mengumumkan peluncuran model Gemini 2.5 Computer Use, sebuah model baru yang dirancang khusus untuk meningkatkan kemampuan agen dalam berinteraksi dengan antarmuka pengguna. Berdasarkan kemampuan pemahaman dan penalaran visual Gemini 2.5 Pro, model ini dirancang untuk mengungguli alternatif yang ada dalam tugas kontrol web dan seluler dengan tetap mempertahankan latency rendah. Para pengembang kini dapat mengintegrasikan kemampuan canggih ini ke dalam aplikasi mereka melalui Gemini API , yang tersedia di Google AI Studio dan Vertex AI.

Model baru ini menjawab tantangan otomatisasi tugas-tugas yang memerlukan interaksi langsung dengan antarmuka pengguna grafis (GUI), seperti mengisi formulir atau menavigasi halaman web atau aplikasi. Dengan memungkinkan agen melakukan tindakan seperti mengeklik, mengetik, dan menggulir, model ini mensimulasikan interaksi manusia dengan lingkungan digital. Kemajuan ini khususnya penting untuk tugas-tugas yang melibatkan manipulasi elemen interaktif atau pengoperasian di balik layar saat login, dan menandai langkah penting dalam pengembangan agen serbaguna dan serbaguna.

Model penggunaan komputer Gemini 2.5 beroperasi dalam siklus berulang menggunakan alat `computer_use` di dalam API Gemini. Alat ini memproses permintaan pengguna, tangkapan layar, dan riwayat tindakan, lalu menghasilkan respons tindakan UI yang sesuai. Respons ini dapat mencakup pemanggilan fungsi untuk tindakan seperti klik dan input, dan juga dapat meminta konfirmasi pengguna untuk tindakan tertentu. Performa model ini telah divalidasi di berbagai tolok ukur, menunjukkan efektivitasnya untuk tugas kontrol UI peramban dan seluler, tetapi belum dioptimalkan untuk kontrol tingkat OS desktop.

Google AI Studio menekankan pentingnya keamanan bagi agen AI yang mengendalikan komputer dan mengenali potensi risiko penyalahgunaan, perilaku tak terduga, dan penipuan berbasis web. Untuk memitigasi risiko ini, model ini memiliki fitur keamanan bawaan dan menyediakan perlindungan bagi pengembang untuk mencegah tindakan berisiko tinggi. Pengembang didorong untuk menguji sistem mereka secara menyeluruh dan mengikuti praktik terbaik yang diuraikan dalam dokumentasi. Model Gemini 2.5 yang dikendalikan komputer saat ini sedang dalam tahap pratinjau publik, dan Google AI Studio mengundang pengembang untuk mencoba model ini dan memberikan masukan seiring perkembangannya.