top of page

Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

logo.png

Tạo mã cho phép trả lời theo mô-đun cho các câu hỏi trực quan

Theo blog của Google, những tiến bộ gần đây đã giúp phát triển các kỹ thuật trả lời câu hỏi trực quan (VQA) hoạt động tốt mà không cần có ví dụ đào tạo hạn chế hoặc dữ liệu VQA do con người chú thích. Bất chấp những cải tiến này, vẫn có những khác biệt về hiệu suất khi so sánh với các phương pháp được giám sát đầy đủ. Để giải quyết vấn đề này, các nhà nghiên cứu đã phát triển CodeVQA, một framework thúc đẩy việc tạo mã để trả lời câu hỏi trực quan theo mô-đun. Khung này cho phép suy luận mô-đun và mở rộng chức năng của các mô hình VQA.

CodeVQA sử dụng tính năng tổng hợp theo chương trình để tạo mã Python cho phép các mô hình xử lý hình ảnh và trả lời chính xác các câu hỏi trực quan. CodeVQA nhằm mục đích cải thiện độ chính xác, đặc biệt là trong các tình huống liên quan đến suy luận phức tạp, bằng cách tạo mã thay vì chỉ dựa vào các mô hình được đào tạo trước. Trong cài đặt vài lần chụp, CodeVQA vượt trội hơn các phương pháp trước đó khoảng 3% trên tập dữ liệu COVR và khoảng 2% trên tập dữ liệu GQA.
Phương pháp CodeVQA sử dụng các mô hình ngôn ngữ lớn mô tả mã (LLM) để tạo mã Python nhằm trả lời câu hỏi trực quan. LLM được hướng dẫn bởi các lời nhắc bao gồm các mô tả chức năng và một số ví dụ "trong ngữ cảnh" có giới hạn. Những ví dụ này bao gồm các câu hỏi trực quan kết hợp với mã Python có liên quan để cung cấp ngữ cảnh phù hợp cho LLM.

CodeVQA tập trung vào ba chức năng trực quan chính: truy vấn, get_pos và find_matching_image. Hàm truy vấn sử dụng phương pháp VQA (PnP-VQA) cắm và chạy vài lần để trả lời các câu hỏi về một hình ảnh. PnP-VQA sử dụng BLIP, một chức năng chuyển đổi chú thích hình ảnh, để tạo chú thích, được LLM xử lý để tạo ra câu trả lời.

Hàm get_pos hoạt động như một bộ định vị đối tượng và xác định vị trí của một đối tượng trong một hình ảnh. Sử dụng GradCAM để tính điểm phù hợp giữa hình ảnh và văn bản, đồng thời xác định các vùng phù hợp nhất bằng cách phân tích độ dốc trên các đặc điểm của hình ảnh.

Hàm find_matching_image được thiết kế cho các câu hỏi có nhiều hình ảnh và chọn hình ảnh phù hợp nhất với cụm từ đã chỉ định. Tính toán nhúng văn bản và hình ảnh bằng bộ mã hóa văn bản và hình ảnh BLIP để đánh giá mức độ liên quan của từng hình ảnh với cụm từ. Những hình ảnh có liên quan nhất được chọn.


Khung CodeVQA có thể mở rộng ba khả năng này, cho phép người dùng thực hiện các tác vụ bổ sung như phát hiện đối tượng, phân đoạn hình ảnh và tìm kiếm cơ sở kiến ​​thức. Tận dụng các cặp văn bản và hình ảnh-văn bản được thu thập từ web và một số lượng nhỏ mẫu VQA để tận dụng các mô hình yêu cầu chú thích tối thiểu.

Chia sẻ bài viết này:

Tin tức mới nhất
AI được phát triển chung bởi Phòng thí nghiệm Matsuo và Panasonic

AI được phát triển chung bởi Phòng thí nghiệm Matsuo và Panasonic

24/12/2 4:30

Phòng thí nghiệm Matsuo (Bunkyo-ku, Tokyo) và Panasonic HD (Kadoma-shi, Osaka) đã phát triển một AI có thể học từ các bài viết và hồ sơ bài giảng của Konosuke Matsushita.

Casanare Osaka giành chiến thắng và tiến tới Giải vô địch thế giới

Casanare Osaka giành chiến thắng và tiến tới Giải vô địch thế giới

24/12/2 4:30

Casanare (Shibuya-ku, Tokyo) đã giành chiến thắng tại cuộc thi "GET IN THE RING OSAKA 2024" được tổ chức tại Trung tâm hội nghị Grand Front North Building ở thành phố Osaka vào ngày 26 tháng 11 năm 2024.

Phát hành tính năng sự kiện mới của BreakAI

Phát hành tính năng sự kiện mới của BreakAI

24/12/2 4:30

Herit, do BreakAI (Chiyoda-ku, Tokyo) điều hành, đã phát hành chức năng lưu trữ sự kiện mới.

Phiên bản beta Arugamage Ayuru Diagnostic GPT được công bố

Phiên bản beta Arugamage Ayuru Diagnostic GPT được công bố

24/12/2 4:30

Arugamage (Miyada-mura, Kamiina-gun, Tỉnh Nagano) sẽ phát hành phiên bản beta của chatbot chẩn đoán thể trạng Ayurveda "Ayur Diagnosis GPT" vào ngày 10 tháng 12.

Copyright © 2024 Generatived - All right Reserved.

Chia sẻ bài viết này:

Chia sẻ bài viết này:

Generatived AI Logo

Generatived là dịch vụ cung cấp thông tin và xu hướng chuyên về Generative AI. Chúng tôi sẽ cố gắng hết sức để cung cấp thông tin về thế giới đang thay đổi nhanh chóng.

  • Facebook
  • X

Hãy theo dõi chúng tôi

Ngôn ngữ

Tin tức mới nhất
AI được phát triển chung bởi Phòng thí nghiệm Matsuo và Panasonic

AI được phát triển chung bởi Phòng thí nghiệm Matsuo và Panasonic

24/12/2 4:30

Phòng thí nghiệm Matsuo (Bunkyo-ku, Tokyo) và Panasonic HD (Kadoma-shi, Osaka) đã phát triển một AI có thể học từ các bài viết và hồ sơ bài giảng của Konosuke Matsushita.

Casanare Osaka giành chiến thắng và tiến tới Giải vô địch thế giới

Casanare Osaka giành chiến thắng và tiến tới Giải vô địch thế giới

24/12/2 4:30

Casanare (Shibuya-ku, Tokyo) đã giành chiến thắng tại cuộc thi "GET IN THE RING OSAKA 2024" được tổ chức tại Trung tâm hội nghị Grand Front North Building ở thành phố Osaka vào ngày 26 tháng 11 năm 2024.

Phát hành tính năng sự kiện mới của BreakAI

Phát hành tính năng sự kiện mới của BreakAI

24/12/2 4:30

Herit, do BreakAI (Chiyoda-ku, Tokyo) điều hành, đã phát hành chức năng lưu trữ sự kiện mới.

Phiên bản beta Arugamage Ayuru Diagnostic GPT được công bố

Phiên bản beta Arugamage Ayuru Diagnostic GPT được công bố

24/12/2 4:30

Arugamage (Miyada-mura, Kamiina-gun, Tỉnh Nagano) sẽ phát hành phiên bản beta của chatbot chẩn đoán thể trạng Ayurveda "Ayur Diagnosis GPT" vào ngày 10 tháng 12.

bottom of page