Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Stability AI đã công bố một bước đột phá trong thế giới AI và công nghệ với việc ra mắt sản phẩm mới nhất của mình, “DeepFloyd IF”. DeepFloyd IF là mô hình khuếch tán pixel xếp tầng từ văn bản sang hình ảnh mạnh mẽ cho phép bạn tích hợp văn bản vào hình ảnh với độ chân thực và độ chính xác cao.

Mô hình tiên tiến này đã được phát hành theo giấy phép phi thương mại, được phép nghiên cứu để cho phép các phòng thí nghiệm thử nghiệm các phương pháp tạo văn bản thành hình ảnh tiên tiến. Stability AI cũng đã công bố ý định phát hành mô hình DeepFloyd IF mã nguồn mở hoàn toàn trong tương lai.


Một trong những tính năng ấn tượng nhất của DeepFloyd IF là khả năng hiểu lời nhắc văn bản và áp dụng chúng vào hình ảnh. Điều này đạt được bằng cách sử dụng mô hình ngôn ngữ lớn T5-XXL-1.1 làm bộ mã hóa văn bản cũng như lớp chú ý chéo hình ảnh văn bản lớn. Kết quả là một mô hình tạo ra văn bản mạch lạc và rõ ràng với các đối tượng có tính chất khác nhau xuất hiện trong các mối quan hệ không gian khác nhau.

DeepFloyd IF còn có khả năng tạo ra những hình ảnh có tỷ lệ khung hình không chuẩn như dọc và ngang, cũng như hình ảnh vuông tiêu chuẩn. Tính năng này làm cho nó khác biệt với các mô hình tạo hình ảnh văn bản khác bị giới hạn ở việc tạo hình ảnh có tỷ lệ khung hình vuông.

Ngoài ra, "chuyển đổi hình ảnh không ảnh" là một tính năng mang tính cách mạng cho phép xử lý hình ảnh mà không cần tinh chỉnh. Quá trình này là thay đổi kích thước hình ảnh gốc thành 64 pixel, thêm nhiễu bằng khuếch tán về phía trước và sử dụng khuếch tán ngược với lời nhắc mới để khử nhiễu hình ảnh. Ngoài ra, kiểu này có thể được sửa đổi thêm thông qua mô-đun siêu phân giải mô tả văn bản nhắc nhở, mang đến cho người dùng cơ hội thay đổi kiểu, mẫu và chi tiết ở đầu ra trong khi vẫn duy trì hình dạng cơ bản của hình ảnh nguồn.


Để huấn luyện mô hình DeepFloyd IF, AI ổn định đã sử dụng bộ dữ liệu LAION-A chất lượng cao tùy chỉnh chứa 1 tỷ cặp (hình ảnh, văn bản). LAION-A là một tập hợp con thẩm mỹ của phần tiếng Anh của tập dữ liệu LAION-5B, có được thông qua tính năng loại bỏ trùng lặp dựa trên hàm băm tương tự, làm sạch dư thừa và các sửa đổi khác đối với tập dữ liệu gốc. Các bộ lọc tùy chỉnh của công ty được sử dụng để xóa hình mờ, NSFW và các nội dung không phù hợp khác.

Hiệu suất của mô hình chuyển đổi văn bản thành hình ảnh được đánh giá bằng điểm Fréchet Inception Distance (FID), với điểm thấp hơn cho thấy hiệu suất tốt hơn. DeepFloyd IF đã đạt được điểm FID ấn tượng là 6,66 mà không có lần chụp nào trên tập dữ liệu COCO, phản ánh tính chân thực và độ chính xác cao của nó.

Cuối cùng, việc phát hành DeepFloyd IF đánh dấu bước đột phá lớn trong lĩnh vực tạo hình ảnh văn bản. Mô hình này hiểu văn bản và tạo ra hình ảnh với độ chính xác cao, có tiềm năng cách mạng hóa nhiều ngành công nghiệp, từ quảng cáo đến thiết kế nội thất. Các nhà nghiên cứu và nhà phát triển rất vui mừng muốn biết họ có thể tạo ra những ứng dụng sáng tạo nào bằng công cụ mới mạnh mẽ này.