Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Theo blog của Google, những tiến bộ gần đây đã giúp phát triển các kỹ thuật trả lời câu hỏi trực quan (VQA) hoạt động tốt mà không cần có ví dụ đào tạo hạn chế hoặc dữ liệu VQA do con người chú thích. Bất chấp những cải tiến này, vẫn có những khác biệt về hiệu suất khi so sánh với các phương pháp được giám sát đầy đủ. Để giải quyết vấn đề này, các nhà nghiên cứu đã phát triển CodeVQA, một framework thúc đẩy việc tạo mã để trả lời câu hỏi trực quan theo mô-đun. Khung này cho phép suy luận mô-đun và mở rộng chức năng của các mô hình VQA.

CodeVQA sử dụng tính năng tổng hợp theo chương trình để tạo mã Python cho phép các mô hình xử lý hình ảnh và trả lời chính xác các câu hỏi trực quan. CodeVQA nhằm mục đích cải thiện độ chính xác, đặc biệt là trong các tình huống liên quan đến suy luận phức tạp, bằng cách tạo mã thay vì chỉ dựa vào các mô hình được đào tạo trước. Trong cài đặt vài lần chụp, CodeVQA vượt trội hơn các phương pháp trước đó khoảng 3% trên tập dữ liệu COVR và khoảng 2% trên tập dữ liệu GQA.
Phương pháp CodeVQA sử dụng các mô hình ngôn ngữ lớn mô tả mã (LLM) để tạo mã Python nhằm trả lời câu hỏi trực quan. LLM được hướng dẫn bởi các lời nhắc bao gồm các mô tả chức năng và một số ví dụ "trong ngữ cảnh" có giới hạn. Những ví dụ này bao gồm các câu hỏi trực quan kết hợp với mã Python có liên quan để cung cấp ngữ cảnh phù hợp cho LLM.

CodeVQA tập trung vào ba chức năng trực quan chính: truy vấn, get_pos và find_matching_image. Hàm truy vấn sử dụng phương pháp VQA (PnP-VQA) cắm và chạy vài lần để trả lời các câu hỏi về một hình ảnh. PnP-VQA sử dụng BLIP, một chức năng chuyển đổi chú thích hình ảnh, để tạo chú thích, được LLM xử lý để tạo ra câu trả lời.

Hàm get_pos hoạt động như một bộ định vị đối tượng và xác định vị trí của một đối tượng trong một hình ảnh. Sử dụng GradCAM để tính điểm phù hợp giữa hình ảnh và văn bản, đồng thời xác định các vùng phù hợp nhất bằng cách phân tích độ dốc trên các đặc điểm của hình ảnh.

Hàm find_matching_image được thiết kế cho các câu hỏi có nhiều hình ảnh và chọn hình ảnh phù hợp nhất với cụm từ đã chỉ định. Tính toán nhúng văn bản và hình ảnh bằng bộ mã hóa văn bản và hình ảnh BLIP để đánh giá mức độ liên quan của từng hình ảnh với cụm từ. Những hình ảnh có liên quan nhất được chọn.


Khung CodeVQA có thể mở rộng ba khả năng này, cho phép người dùng thực hiện các tác vụ bổ sung như phát hiện đối tượng, phân đoạn hình ảnh và tìm kiếm cơ sở kiến ​​thức. Tận dụng các cặp văn bản và hình ảnh-văn bản được thu thập từ web và một số lượng nhỏ mẫu VQA để tận dụng các mô hình yêu cầu chú thích tối thiểu.