Gemini menghadirkan dimensi baru pada pemahaman visual AI, memungkinkannya mengurai deskripsi dan hubungan kompleks dalam sebuah gambar. Kemajuan ini memungkinkan AI mengidentifikasi objek tidak hanya menggunakan label sederhana, tetapi juga frasa kompleks, seperti mengidentifikasi "mobil terjauh". Inovasi ini meningkatkan kemampuan AI untuk berinteraksi dengan data visual dengan cara yang lebih bernuansa dan mirip manusia.

Kemampuan AI mencakup pemahaman hubungan objek, logika kondisional, konsep abstrak, teks dalam gambar, dan label multibahasa. Misalnya, Gemini dapat mengidentifikasi "orang yang memegang payung" dan menyaring "makanan vegetarian", yang menunjukkan kemampuannya dalam menangani berbagai pertanyaan detail. Kemampuan ini khususnya berguna untuk tugas-tugas yang membutuhkan pemahaman visual tingkat lanjut, seperti mengidentifikasi "bunga yang paling layu dalam sebuah karangan bunga" dan mengenali teks dalam gambar.

Aplikasi praktis segmentasi gambar percakapan Gemini sangat luas, mulai dari penyederhanaan pengeditan media kreatif hingga peningkatan pemantauan compliance keselamatan. Desainer kini dapat berinteraksi dengan gambar menggunakan bahasa alami, dan manajer keselamatan dapat mengidentifikasi perilaku yang tidak patuh dengan instruksi seperti "menyoroti karyawan yang tidak mengenakan helm pengaman." Penilai asuransi juga dapat membuat penilaian kerusakan yang lebih akurat dengan meminta AI untuk "Segment rumah yang mengalami kerusakan akibat cuaca." Hal ini menunjukkan kemampuan Gemini untuk memahami konsep-konsep abstrak.

Bagi para pengembang, teknologi Gemini merupakan langkah maju yang signifikan. Teknologi ini menawarkan model bahasa yang fleksibel dan tidak bergantung pada kelas yang telah ditentukan sebelumnya, sehingga memungkinkan terciptanya solusi yang disesuaikan untuk berbagai industri. Selain itu, pengalaman pengembang yang disederhanakan dengan satu API untuk semua kebutuhan segmentasi mendemokratisasi akses ke aplikasi visi tingkat lanjut, sehingga para pengembang dapat dengan mudah mengintegrasikan kemampuan pemahaman visual tingkat lanjut ke dalam produk mereka.