Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã phác thảo cách thức các tác vụ AI tạo sinh đang chuyển dịch từ tương tác chatbot tiêu chuẩn sang các hệ thống tác nhân tự động quản lý các công cụ, bộ nhớ và các tác nhân con, làm tăng mức tiêu thụ token và độ phức tạp của cơ sở hạ tầng.

Công ty cho biết các ứng dụng AI dựa trên tác nhân có thể tiêu thụ số lượng token nhiều hơn tới 15 lần so với các hệ thống trò chuyện truyền thống. Việc mở rộng cửa sổ ngữ cảnh, hành vi gọi công cụ và quy trình làm việc song song của các tác nhân phụ đang tạo ra những yêu cầu cao hơn về latency, dung lượng bộ nhớ và hiệu quả suy luận.

NVIDIA cũng nhấn mạnh chiến lược nền tảng Vera Rubin của mình, kết hợp các công nghệ mạng Vera Rubin NVL72, Groq 3 LPX, NVLink 6, BlueField-4 và Spectrum-X để hỗ trợ suy luận ngữ cảnh lớn và giảm chi phí phân bổ token cho các mô hình AI tiên tiến.

Bộ phần mềm bao gồm các công nghệ Dynamo, TRT-LLM WideEP, NVFP4 và Giải mã suy đoán nhằm mục đích cải thiện thông lượng và giảm latency cho các mô hình hỗn hợp chuyên gia nghìn tỷ tham số hoạt động với ngữ cảnh lớn tới 400.000 token.