Menurut blog Google, kemajuan terkini telah memungkinkan pengembangan teknik menjawab pertanyaan visual (VQA) yang bekerja dengan baik tanpa contoh pelatihan terbatas atau data VQA yang dianotasi manusia. Meskipun terdapat peningkatan, masih terdapat perbedaan kinerja jika dibandingkan dengan metode yang diawasi sepenuhnya. Untuk mengatasi hal ini, para peneliti mengembangkan CodeVQA, sebuah kerangka kerja yang memanfaatkan pembuatan kode untuk menjawab pertanyaan visual modular. Kerangka kerja ini memungkinkan inferensi modular dan memperluas fungsionalitas model VQA.

CodeVQA menggunakan sintesis terprogram untuk menghasilkan kode Python yang memungkinkan model memproses gambar dan menjawab pertanyaan visual secara akurat. CodeVQA bertujuan untuk meningkatkan akurasi, terutama dalam skenario yang melibatkan inferensi kompleks, dengan menghasilkan kode daripada hanya mengandalkan model yang telah dilatih sebelumnya. Dalam pengaturan beberapa kali, CodeVQA mengungguli pendekatan sebelumnya sekitar 3% pada dataset COVR dan sekitar 2% pada dataset GQA.
Pendekatan CodeVQA menggunakan deskripsi kode model bahasa besar (LLM) untuk menghasilkan kode Python untuk menjawab pertanyaan visual. LLM dipandu oleh petunjuk yang mencakup deskripsi fungsi dan sejumlah contoh "dalam konteks". Contoh-contoh ini terdiri dari pertanyaan visual yang dikombinasikan dengan kode Python yang relevan untuk memberikan konteks yang relevan untuk LLM.

CodeVQA berfokus pada tiga fungsi visual utama: query, get_pos, dan find_matching_image. Fungsi kueri menggunakan metode VQA (PnP-VQA) plug-and-play beberapa kali untuk menjawab pertanyaan tentang satu gambar. PnP-VQA menggunakan BLIP, fungsi konversi keterangan gambar, untuk menghasilkan keterangan, yang diproses oleh LLM untuk menghasilkan jawaban.

Fungsi get_pos bertindak sebagai pelokalan objek dan menentukan posisi suatu objek dalam gambar. Manfaatkan GradCAM untuk menghitung skor kecocokan antara gambar dan teks dan mengidentifikasi wilayah paling relevan dengan menganalisis gradien pada fitur gambar.

Fungsi find_matching_image dirancang untuk pertanyaan multi-gambar dan memilih gambar yang paling cocok dengan istilah yang ditentukan. Hitung penyematan teks dan gambar menggunakan encoder teks dan gambar BLIP untuk menilai relevansi setiap gambar dengan frasa. Gambar yang paling relevan dipilih.


Kerangka kerja CodeVQA dapat memperluas ketiga kemampuan ini, memungkinkan pengguna untuk mengimplementasikan tugas tambahan seperti deteksi objek, segmentasi gambar, dan pencarian basis pengetahuan. Manfaatkan pasangan teks dan gambar-teks yang dikumpulkan dari web dan sejumlah kecil sampel VQA untuk memanfaatkan model yang memerlukan anotasi minimal.