Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã công bố các đánh giá hiệu năng độc lập về bộ tăng tốc suy luận tương tác Groq 3 LPX được thiết kế cho các tác vụ trí tuệ nhân tạo dựa trên tác nhân. Kiến trúc xử lý này ghi nhận hiệu năng đầu ra đạt 3.431 token mỗi giây trên các mô hình Gemma trong các ngữ cảnh đầu vào mở rộng.

Việc thực thi khối lượng công việc được lên lịch bởi trình biên dịch giúp giảm latency mạng giữa các đơn vị xử lý được kết nối với nhau để tăng tốc liên tục các phép tính song song tensor. Lập lịch chi tiết cho phép truyền vector tức thời, ngăn ngừa tắc nghẽn giao tiếp trong các chu kỳ suy luận theo lô nhỏ.

Việc kết hợp các bộ tăng tốc chuyên dụng này với các nền tảng rack cấp doanh nghiệp giúp tối ưu hóa các giai đoạn điền trước và giải mã cho các hệ thống ngôn ngữ có hàng nghìn tỷ tham số. Phương pháp công nghệ này hỗ trợ khả năng duy trì ngữ cảnh có thể mở rộng đồng thời cải thiện tốc độ phản hồi thời gian thực trên các công cụ phát triển cấp doanh nghiệp.