Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Google đã giới thiệu DiffusionGemma, một mô hình mở thử nghiệm áp dụng các kỹ thuật khuếch tán văn bản để tăng tốc quá trình tạo văn bản vượt xa các phương pháp tự hồi quy truyền thống.

Mô hình Mixture of Experts 26B chỉ kích hoạt 3,8 tỷ tham số trong quá trình suy luận và tạo ra các khối lên đến 256 token song song. Kiến trúc này được thiết kế để mang lại tốc độ đầu ra nhanh hơn đáng kể trên phần cứng GPU hiện đại.

Cơ chế chú ý hai chiều cho phép mô hình xử lý các tác vụ như chỉnh sửa trực tiếp, điền mã, tạo văn bản có cấu trúc và các quy trình công việc khác cần xem xét toàn bộ khối văn bản cùng một lúc.

Google định vị mô hình này chủ yếu dành cho nghiên cứu và các ứng dụng tập trung vào tốc độ hơn là chất lượng đầu ra tối đa. DiffusionGemma được cung cấp theo giấy phép Apache 2.0 và hỗ trợ triển khai thông qua các khung phát triển AI và công cụ suy luận phổ biến.