Menurut Google, mahasiswa riset Kuniaki Saito dan Ilmuwan Riset Kihyuk Sohn dari tim AI Google Research telah mengembangkan sistem baru yang disebut Pic2Word yang dapat memetakan foto ke kata-kata untuk pencarian gambar komposit zero-shot.

Pengambilan gambar adalah fitur penting mesin pencari, dan pengguna biasanya menggunakan gambar atau teks sebagai kueri untuk menemukan gambar target yang diinginkan. Namun, sulit untuk mendeskripsikan gambar secara akurat menggunakan kata-kata. Hal ini menimbulkan masalah ketika pengguna mencari atribut tertentu pada gambar, seperti warna logo atau warna logo itu sendiri, yang mungkin berbeda dengan yang mereka temukan di website.


Untuk mengatasi masalah ini, artikel ini memperkenalkan Pengambilan Gambar Komposit (CIR), yang memungkinkan pengguna mengambil gambar berdasarkan kueri yang menggabungkan sampel gambar dan teks. Contoh teks menjelaskan cara memodifikasi gambar agar sama persis dengan target pencarian yang dituju. Pendekatan ini menggabungkan informasi gambar dan teks untuk mencari gambar dengan lebih akurat.

Namun, metode CIR yang ada memerlukan data berlabel dalam jumlah besar, mahal, dan memiliki kemampuan terbatas untuk menggeneralisasi kumpulan data yang berbeda. Untuk mengatasi tantangan ini, artikel ini mengusulkan tugas baru yang disebut pengambilan gambar sintetik zero-shot (ZS-CIR). Tujuan ZS-CIR adalah membangun model CIR tunggal yang dapat melakukan berbagai tugas CIR seperti mengonfigurasi objek, mengedit atribut, dan transformasi domain tanpa bergantung pada data triplet berlabel.

Metode yang diusulkan mengusulkan untuk menggunakan pasangan keterangan gambar berskala besar dan gambar tidak berlabel untuk melatih model pengambilan alih-alih data berlabel. Pendekatan ini sangat memudahkan pengumpulan data dan memungkinkan pelatihan model dalam skala besar.


Efektivitas model yang dilatih diverifikasi melalui berbagai eksperimen pada tugas CIR yang berbeda. Salah satu potensi arah penelitian di masa depan yang disebutkan dalam artikel ini adalah memperluas penggunaan data gambar dalam penelitian ini untuk memanfaatkan data keterangan untuk melatih jaringan pemetaan. Kemajuan ini menjanjikan peningkatan kemampuan pencarian gambar dan pengalaman pengguna di bidang pencarian gambar sintetis zero-shot.