Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Việc tích hợp dữ liệu trực quan và văn bản đã dẫn đến sự phát triển của các mô hình ngôn ngữ trực quan (VLM). VLM tích hợp thông tin trực quan và văn bản và có thể xử lý và hiểu cả hai. Các mô hình này được thiết kế để tạo điều kiện cho các tương tác trực quan hơn của máy, chẳng hạn như trả lời câu hỏi trực quan và chú thích hình ảnh. Chúng đã được đào tạo trên các tập dữ liệu mở rộng kết hợp hình ảnh và văn bản, và những tiến bộ gần đây đã dẫn đến sự phát triển của các mô hình có thể xử lý hình ảnh phức tạp, khiến chúng đáng tin cậy và hiệu quả hơn.

Trong lĩnh vực truy xuất tài liệu, các kỹ thuật truyền thống thường chuyển đổi tài liệu thành văn bản trước khi xử lý. Tuy nhiên, sự xuất hiện của VLM đã đơn giản hóa quy trình này bằng cách loại bỏ nhu cầu trích xuất văn bản phức tạp. Các mô hình này có thể diễn giải ý nghĩa của văn bản trong khi vẫn bảo toàn thông tin trực quan bằng cách nhúng trực tiếp hình ảnh thô. Tuy nhiên, mặc dù có khả năng vượt trội, VLM vẫn dễ bị lỗi, khiến các quy trình truy xuất chính xác trở thành yếu tố chính trong việc xác định hiệu quả của VLM.

Để giúp xây dựng các hệ thống truy xuất thông tin đa phương thức hiệu quả và quy mô lớn, một mô hình mới đã được giới thiệu. Mô hình này nhỏ gọn nhưng mạnh mẽ và có thể nhúng hình ảnh và văn bản vào không gian tính năng được chia sẻ. Điều này rất cần thiết cho các tác vụ như công cụ tìm kiếm sản phẩm và quản lý tập dữ liệu đa phương tiện. Kết hợp bộ mã hóa tầm nhìn, mô hình ngôn ngữ và lớp chiếu, nó ánh xạ hình ảnh vào không gian nhúng của mô hình ngôn ngữ.

Hiệu suất của mô hình mới này được đánh giá trên nhiều tập dữ liệu khác nhau và chứng minh độ chính xác truy xuất vượt trội so với các mô hình nhúng tầm nhìn quy mô nhỏ khác. Bằng cách tinh chỉnh với mất độ tương phản, nó khớp các nhúng truy vấn văn bản với hình ảnh tài liệu có chứa câu trả lời có liên quan. Mô hình này là một phần của bộ dịch vụ vi mô được thiết kế để cung cấp khả năng truy xuất thông tin có độ chính xác cao và thông tin chi tiết về doanh nghiệp theo thời gian thực và có sẵn trong môi trường lưu trữ.