Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA vừa công bố mở rộng hỗ trợ cho DiffusionGemma, một mô hình tạo văn bản từ Google DeepMind được tối ưu hóa cho suy luận tốc độ cao trên các nền tảng phần cứng của NVIDIA và môi trường AI doanh nghiệp.

Mô hình sử dụng phương pháp tạo dựa trên khuếch tán để tạo ra tối đa 256 token song song thay vì tạo văn bản tuần tự. Được xây dựng trên kiến ​​trúc Gemma 4, nó chứa 25,2 tỷ tham số với 3,8 tỷ tham số hoạt động trong quá trình suy luận.

Theo công ty, DiffusionGemma đạt tốc độ xử lý lên đến 1.000 token mỗi giây trên GPU H100, 150 token mỗi giây trên DGX Spark và 2.000 token mỗi giây trên DGX Station. Kiến trúc này được thiết kế để cải thiện khả năng phản hồi đồng thời giảm chi phí suy luận.

Khả năng hỗ trợ được cung cấp thông qua Hugging Face, vLLM, NVIDIA NIM và NeMo AutoModel, cho phép các tổ chức triển khai, vận hành và tinh chỉnh mô hình trên các môi trường đám mây, lai và tại chỗ cho các ứng dụng AI doanh nghiệp.