Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Meta công bố CM3leon, một mô hình AI để tạo văn bản và hình ảnh.
CM3leon kết hợp khả năng chuyển văn bản thành hình ảnh và hình ảnh thành văn bản, mang lại hiệu suất cao nhất với sức mạnh tính toán ít hơn đáng kể so với các mẫu trước đó.

CM3leon có "điều chỉnh hướng dẫn đa nhiệm" cho cả việc tạo hình ảnh và văn bản. Điều này cải thiện đáng kể hiệu suất của các tác vụ quan trọng như tạo chú thích hình ảnh và trả lời câu hỏi trực quan. Chiến lược mở rộng quy mô được phát triển cho các mô hình chỉ có văn bản đã được khái quát hóa liền mạch cho các mô hình tạo hình ảnh dựa trên mã thông báo.
Mô hình của Meta vượt xa mô hình tương tự của Google, Parti, để tạo văn bản thành hình ảnh. Trong tiêu chuẩn MS-COCO, nó đạt được điểm Khoảng cách khởi động Fréchet (FID) là 4,88. Kết quả cho thấy CM3leon có khả năng tạo ra các đối tượng chất lượng cao với cấu hình phức tạp ngay cả khi được huấn luyện trên các tập dữ liệu nhỏ hơn.

Ngoài ra, các khả năng của CM3leon bao gồm chỉnh sửa hình ảnh theo hướng dẫn bằng văn bản, giúp hiểu rõ các hướng dẫn văn bản và nội dung hình ảnh cùng một lúc. Tính năng độc đáo này đảm bảo rằng mô hình nhất quán về mặt hình ảnh và cho phép chỉnh sửa hình ảnh phù hợp tùy theo tình huống.