Integrasi data visual dan tekstual telah menghasilkan pengembangan model bahasa visual (VLM). VLM mengintegrasikan informasi visual dan tekstual dan mampu memproses dan memahami keduanya. Model-model ini dirancang untuk memfasilitasi interaksi mesin yang lebih intuitif, seperti menjawab pertanyaan secara visual dan memberi teks pada gambar. Model-model ini telah dilatih pada kumpulan data ekstensif yang menggabungkan gambar dan teks, dan kemajuan terkini telah menghasilkan pengembangan model yang dapat menangani gambar kompleks, sehingga membuatnya lebih andal dan efisien.

Dalam bidang pengambilan dokumen, teknik tradisional sering kali mengubah dokumen menjadi teks sebelum diproses. Namun, munculnya VLM telah menyederhanakan proses ini dengan menghilangkan kebutuhan akan ekstraksi teks yang kompleks. Model-model ini mampu menginterpretasikan makna teks sambil mempertahankan informasi visual dengan langsung menyematkan gambar mentah. Namun, terlepas dari kemampuannya yang unggul, VLM masih rentan terhadap kesalahan, sehingga prosedur pengambilan yang akurat menjadi faktor utama dalam menentukan efektivitas VLM.

Untuk membantu membangun sistem pengambilan informasi multimoda berskala besar dan efisien, sebuah model baru telah diperkenalkan. Model ini ringkas namun canggih, dan dapat menanamkan gambar dan teks ke dalam ruang fitur bersama. Ini penting untuk tugas-tugas seperti mesin pencari produk dan kurasi kumpulan data multimedia. Dengan menggabungkan encoder visi, model bahasa, dan lapisan proyeksi, model ini memetakan gambar ke dalam ruang penanaman model bahasa.

Performa model baru ini dievaluasi pada berbagai kumpulan data dan menunjukkan akurasi pengambilan yang lebih unggul dibandingkan dengan model penanaman visi skala kecil lainnya. Dengan penyempurnaan dengan kehilangan kontras, model ini mencocokkan penanaman kueri teks dengan gambar dokumen yang berisi jawaban yang relevan. Model ini merupakan bagian dari rangkaian layanan mikro yang dirancang untuk memberikan pengambilan informasi yang sangat akurat dan wawasan bisnis waktu nyata serta tersedia dalam lingkungan yang dihosting.