Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo
%20(1).webp)
NVIDIA hé lộ chi tiết về cơ sở hạ tầng cho Trí tuệ nhân tạo tác nhân (Agentic AI).
Generatived
0:00 8/5/26
NVIDIA đã phác thảo cách thức các tác vụ AI tạo sinh đang chuyển dịch từ tương tác chatbot tiêu chuẩn sang các hệ thống tác nhân tự động quản lý các công cụ, bộ nhớ và các tác nhân con, làm tăng mức tiêu thụ token và độ phức tạp của cơ sở hạ tầng.
Công ty cho biết các ứng dụng AI dựa trên tác nhân có thể tiêu thụ số lượng token nhiều hơn tới 15 lần so với các hệ thống trò chuyện truyền thống. Việc mở rộng cửa sổ ngữ cảnh, hành vi gọi công cụ và quy trình làm việc song song của các tác nhân phụ đang tạo ra những yêu cầu cao hơn về latency, dung lượng bộ nhớ và hiệu quả suy luận.
NVIDIA cũng nhấn mạnh chiến lược nền tảng Vera Rubin của mình, kết hợp các công nghệ mạng Vera Rubin NVL72, Groq 3 LPX, NVLink 6, BlueField-4 và Spectrum-X để hỗ trợ suy luận ngữ cảnh lớn và giảm chi phí phân bổ token cho các mô hình AI tiên tiến.
Bộ phần mềm bao gồm các công nghệ Dynamo, TRT-LLM WideEP, NVFP4 và Giải mã suy đoán nhằm mục đích cải thiện thông lượng và giảm latency cho các mô hình hỗn hợp chuyên gia nghìn tỷ tham số hoạt động với ngữ cảnh lớn tới 400.000 token.
Chia sẻ bài viết này:
Tin tức mới nhất
ASAPP ra mắt nền tảng dịch vụ khách hàng đa nhân viên.
0:00 30/4/26
ASAPP vừa công bố ra mắt hệ thống các tác nhân AI được thiết kế để xử lý toàn bộ quy trình dịch vụ khách hàng.
Choco mở rộng tự động hóa đơn hàng bằng AI với sự hợp tác của OpenAI.
0:00 30/4/26
Choco đã mở rộng khả năng trí tuệ nhân tạo (AI) để tối ưu hóa quy trình phân phối thực phẩm. Sáng kiến này tập trung vào việc tự động hóa xử lý đơn hàng trên các kênh giao tiếp phân tán.


