Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA vừa công bố những tiến bộ trong công nghệ AI với NVIDIA DGX Spark, giúp tăng cường khả năng của các tác nhân AI tự động. Những tác nhân này, xử lý các tác vụ phức tạp, dài hạn trên nhiều kênh giao tiếp và quy trình con khác nhau, giờ đây được hưởng lợi từ hiệu năng của DGX Spark để thực hiện quy trình làm việc của chúng một cách hiệu quả. NVIDIA NemoClaw, một thành phần của NVIDIA Agent Toolkit, giới thiệu môi trường chạy NVIDIA OpenShell, tạo ra một môi trường an toàn để chạy các tác nhân tự động và hỗ trợ các mô hình mã nguồn mở như NVIDIA Nemotron.

Công ty nhấn mạnh tầm quan trọng của khả năng và hiệu năng hệ thống để vận hành các tác nhân tự động luôn hoạt động. NVIDIA DGX Spark được giới thiệu là nền tảng máy tính để bàn lý tưởng cho trí tuệ nhân tạo (AI) như vậy, với khả năng quản lý các cửa sổ ngữ cảnh mở rộng cần thiết cho các môi trường chạy tác nhân AI như OpenClaw. Tốc độ xử lý nhanh chóng của nền tảng được nhấn mạnh, thể hiện khả năng xử lý các ngữ cảnh lớn, điều rất quan trọng để hiểu các yêu cầu và xác định phương pháp tiếp cận tốt nhất cho các vấn đề.

Khả năng xử lý khối lượng công việc đồng thời cao của NVIDIA DGX Spark cũng được thể hiện rõ, với chip siêu mạnh NVIDIA Grace Blackwell cho phép song song hóa nhiều tác nhân con. Điều này cho phép mở rộng quy mô hiệu quả các tác vụ đồng thời mà không ảnh hưởng đáng kể đến hiệu năng. Việc nền tảng này hỗ trợ các framework quản lý đồng thời tốt, chẳng hạn như NVIDIA TensorRT LLM và vLLM, đảm bảo hoạt động trơn tru của các khối lượng công việc đa tác nhân.

Hơn nữa, NVIDIA đã mở rộng khả năng mở rộng của DGX Spark, hiện hỗ trợ tối đa bốn nút, giúp tăng dung lượng bộ nhớ và hỗ trợ nhiều cấu trúc thực thi khác nhau cho các mục tiêu khác nhau. Khả năng mở rộng này được hỗ trợ bởi latency thấp của giao tiếp RoCE được kích hoạt bởi các card mạng ConnectX-7. Nền tảng này được tối ưu hóa cho các trường hợp sử dụng khác nhau, từ suy luận latency thấp, kích thước ngữ cảnh lớn đến các khối lượng công việc đòi hỏi nhiều giao tiếp và các hoạt động nhà máy AI cục bộ.

Tóm lại, NVIDIA DGX Spark được định vị là một nền tảng đa năng để phát triển các tác nhân AI, cung cấp khả năng mở rộng và hiệu quả cho nhiều khối lượng công việc AI. Khả năng triển khai lên đám mây với những thay đổi mã tối thiểu càng làm tăng thêm sức hấp dẫn của nền tảng này, cung cấp một giải pháp thống nhất cho các doanh nghiệp để triển khai và mở rộng quy mô hệ thống AI.