Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA vừa ra mắt Groq 3 LPX, một bộ tăng tốc suy luận quy mô rack mới được thiết kế riêng cho nhu cầu của các hệ thống tác nhân. LPX được thiết kế để hoạt động song song với NVIDIA Vera Rubin NVL72, cung cấp một công cụ chuyên dụng để tạo mã thông báo nhanh chóng, điều cần thiết cho các ứng dụng AI yêu cầu latency thấp. Mặt khác, Vera Rubin NVL72 tiếp tục đóng vai trò là giải pháp đa năng cho cả tác vụ huấn luyện và suy luận, có khả năng xử lý nhiều quy trình với thông lượng cao.

Sự hợp tác giữa Vera Rubin NVL72 và LPX đóng vai trò then chốt cho tương lai của trí tuệ nhân tạo dựa trên tác nhân (agentic AI), nơi tốc độ tương tác dự kiến ​​sẽ đạt tới 1.000 token mỗi giây cho mỗi người dùng. Khả năng tăng tốc này cho phép các hệ thống AI tham gia vào quá trình suy luận, mô phỏng và phản hồi liên tục, mô phỏng sự hợp tác theo thời gian thực thay vì giao tiếp theo lượt. Khả năng phối hợp các nhóm tác nhân cũng nâng cao tiềm năng thực hiện các nhiệm vụ phức tạp, tương tự như cách xã hội loài người tận dụng trí tuệ tập thể.

Để đáp ứng các yêu cầu cao cấp của các hệ thống này, cần có một cơ sở hạ tầng mạnh mẽ có khả năng cung cấp cả thông lượng cao và latency thấp. Kiến trúc đa dạng kết hợp Vera Rubin NVL72 và LPX đáp ứng nhu cầu này bằng cách kết hợp hiệu năng của nhà máy AI quy mô lớn với khả năng tạo mã thông báo nhanh chóng cần thiết cho các hệ thống tác nhân hoạt động liên tục và các ứng dụng AI tiên tiến.

Hệ thống NVIDIA Groq 3 LPX được xây dựng dựa trên 256 bộ tăng tốc kết nối với nhau và nhấn mạnh vào khả năng thực thi xác định và băng thông SRAM trên chip cao. Thiết kế này đảm bảo rằng quá trình suy luận tương tác vẫn phản hồi nhanh nhạy ở các mức độ đồng thời và độ phức tạp của yêu cầu khác nhau. Khi được triển khai với Vera Rubin NVL72, LPX đặc biệt tăng tốc các phần nhạy cảm với độ trễ của vòng lặp giải mã, trong khi các GPU Rubin quản lý việc điền trước và chú ý giải mã, tạo ra một đường dẫn phục vụ không đồng nhất giúp tăng cường khả năng phản hồi tương tác mà không ảnh hưởng đến thông lượng của nhà máy AI.