Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã công bố các tối ưu hóa cho mô hình DiffusionGemma thử nghiệm của Google DeepMind, cho phép triển khai nhanh hơn trên các GPU RTX, hệ thống RTX PRO và nền tảng DGX Spark.

Không giống như các mô hình ngôn ngữ truyền thống tạo ra văn bản theo trình tự, DiffusionGemma tạo ra tối đa 256 token song song. Mô hình này dựa trên kiến ​​trúc Gemma 4 và sử dụng thiết kế Mixture of Experts 26B với 3,8B tham số hoạt động trong quá trình suy luận.

Theo NVIDIA, kiến ​​trúc này mang lại khả năng tạo văn bản nhanh hơn gấp bốn lần trong môi trường người dùng đơn lẻ. Hiệu suất đạt 1.000 token mỗi giây trên GPU H100 và lên đến 2.000 token mỗi giây trên hệ thống DGX Station.

Mô hình mã nguồn mở này có sẵn theo giấy phép Apache 2.0 và hỗ trợ triển khai thông qua Hugging Face Transformers, vLLM, Unsloth và NVIDIA NeMo. Công ty cho biết nền tảng này phù hợp với các trợ lý AI cục bộ, quy trình làm việc dựa trên tác nhân và các ứng dụng tạo văn bản có độ trễ thấp.