Model bahasa visual (VLM) telah berkembang pesat sejak pertama kali diperkenalkan pada tahun 2020, saat pertama kali memperkenalkan pemahaman visual pada model bahasanya. Awalnya, VLM hanya dapat memproses teks dan gambar tunggal, tetapi kini memiliki kemampuan untuk menginterpretasikan konten di beberapa gambar dan video. Hal ini membuka kemungkinan baru untuk tugas-tugas seperti menjawab pertanyaan secara visual dan meringkas konten. Peningkatan akurasi model dalam aplikasi tertentu dapat dicapai melalui penyetelan cepat dan penyesuaian bobot model. Rekayasa cepat menyediakan cara sederhana untuk menyempurnakan output dengan memodifikasi input teks saat runtime.

Dalam ranah pemahaman gambar tunggal, VLM menunjukkan kemampuan untuk mengidentifikasi dan mendeskripsikan konten dalam gambar. VLM dapat melakukan tugas-tugas seperti deteksi objek dalam gambar dan penerjemahan teks, dan sangat efektif dalam skenario yang memerlukan klasifikasi dan pemberian teks pada gambar. Model-model ini juga dapat menganalisis bingkai individual dan memantau streaming langsung, tetapi terbatas pada informasi yang ditampilkan di setiap bingkai tanpa konteks gerakan berkelanjutan.

Dalam skenario yang lebih kompleks, VLM multigambar dapat membandingkan dan belajar dari beberapa gambar, sehingga memungkinkan pemahaman konten visual yang lebih mendalam. Hal ini khususnya berguna dalam ritel. VLM dapat memperkirakan tingkat inventaris dengan membandingkan gambar rak yang penuh dan kosong. Namun, untuk memahami konten video secara komprehensif, VLM dengan pelatihan khusus video dan jendela konteks yang lebih panjang direkomendasikan.

VLM modern dilengkapi untuk memahami konten video secara menyeluruh, menganalisis urutan bingkai untuk memahami tindakan dan tren dari waktu ke waktu. Pemahaman berurutan ini memungkinkan mereka untuk menangkap perkembangan peristiwa, yang sangat penting untuk aplikasi yang perlu melacak perubahan dalam video atau mengidentifikasi hubungan sebab akibat. Sementara model ini meningkatkan pemahaman temporal, mereka masih dapat berjuang dengan lokalisasi temporal yang tepat, yang penting untuk menentukan dengan tepat kapan peristiwa tertentu terjadi dalam video.

VLM terus berkembang dan semakin mampu melakukan penalaran temporal yang kompleks pada input video yang panjang. Bagi mereka yang tertarik untuk mengeksplorasi potensi VLM dan agen AI visual, kami memiliki sumber daya dan webinar yang tersedia yang memberikan lebih banyak informasi dan panduan tentang cara memanfaatkan teknologi ini dalam berbagai aplikasi.