Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Google Cloud đã công bố giải pháp tạo văn bản thành hình ảnh trên thiết bị MediaPipe. Đầu năm nay, bản xem trước của tính năng tạo văn bản thành hình ảnh trên thiết bị sử dụng mô hình phổ biến dành cho Android đã được giới thiệu thông qua MediaPipe Solutions. Công nghệ này hiện có sẵn dưới dạng Image Generator, một giải pháp thử nghiệm ban đầu mà các nhà phát triển có thể thử nghiệm trên các thiết bị Android. Điều này cho phép các thiết bị cao cấp tạo ra hình ảnh hoàn toàn trên thiết bị chỉ trong khoảng 15 giây.

Tác vụ MediaPipe Image Generator mới có thể được sử dụng theo ba cách chính. Đầu tiên, có thể đạt được việc tạo văn bản thành hình ảnh dựa trên lời nhắc văn bản bằng cách sử dụng các mô hình phổ biến tiêu chuẩn. Sau đó, việc tạo văn bản thành hình ảnh có thể kiểm soát có thể được thực hiện dựa trên lời nhắc văn bản và điều chỉnh hình ảnh bằng cách sử dụng các plugin khuếch tán. Cuối cùng, việc tạo văn bản thành hình ảnh tùy chỉnh có thể được thực hiện dựa trên lời nhắc văn bản bằng cách sử dụng trọng số thích ứng xếp hạng thấp (LoRA). Điều này cho phép tạo ra các hình ảnh khái niệm được xác định trước cho các trường hợp sử dụng cụ thể.

Điều quan trọng cần lưu ý là API tạo hình ảnh hỗ trợ các mô hình khớp chính xác với kiến ​​trúc Khuếch tán ổn định v1.5. Nhà phát triển có thể sử dụng các mô hình được đào tạo trước hoặc tinh chỉnh bằng cách chuyển đổi chúng sang các định dạng mô hình được MediaPipe Image Generator hỗ trợ bằng cách sử dụng tập lệnh chuyển đổi.

Cách dễ nhất để thử tác vụ tạo hình ảnh là hiển thị lời nhắc văn bản và nhận hình ảnh thu được bằng mô hình khuếch tán. Sau khi tạo ImageGenerator mới, bạn có thể tạo hình ảnh mới bằng cách chuyển lời nhắc, số lần lặp mà trình tạo cần tạo và giá trị hạt giống. Bởi vì điều này thực hiện một thao tác chặn để tạo một hình ảnh mới, nên nó nên được chạy trên một luồng nền trước khi trả về một đối tượng kết quả bitmap mới. nước xốt: