Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã công bố hỗ trợ cho StepFun Step 3.7 Flash, một mô hình AI đa phương thức được thiết kế cho các khối lượng công việc quy mô doanh nghiệp kết hợp thị giác, ngôn ngữ, tìm kiếm và suy luận. Mô hình này được tối ưu hóa cho các ứng dụng dựa trên tác nhân xử lý tài liệu, hình ảnh và video trong thời gian thực.

Bước 3.7 Flash có tổng cộng 198 tỷ tham số với khoảng 11 tỷ tham số hoạt động trên mỗi lượt suy luận. Nó hỗ trợ cửa sổ ngữ cảnh 256K và nhiều chế độ suy luận, nhắm đến các trường hợp sử dụng như phân tích tài chính, hỗ trợ lập trình và xử lý tài liệu quy mô lớn.

Các nhà phát triển có thể truy cập các điểm kiểm tra được lượng tử hóa NVFP4 thông qua Hugging Face và triển khai mô hình bằng cách sử dụng các framework bao gồm SGLang, TensorRT-LLM và vLLM. Công ty cho biết các tùy chọn này giúp giảm yêu cầu bộ nhớ trong khi vẫn duy trì hiệu suất suy luận cao trên phần cứng NVIDIA.

NVIDIA cũng nhấn mạnh việc triển khai sản phẩm thông qua các dịch vụ vi mô NIM và khả năng tùy chỉnh thông qua Khung NeMo. Các tổ chức có thể chạy mô hình trên môi trường đám mây, tại chỗ hoặc lai và tinh chỉnh nó với dữ liệu chuyên biệt cho các ứng dụng doanh nghiệp chuyên ngành.