Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA, có trụ sở chính tại Santa Clara, California, đã giới thiệu DynoSim, một khung mô phỏng dựa trên khối lượng công việc được thiết kế để mô hình hóa hành vi của ngăn xếp phục vụ suy luận Dynamo trước khi triển khai trên phần cứng sản xuất.

Nền tảng này kết hợp dữ liệu thời gian hoạt động của công cụ, hành vi của bộ lập lịch, logic định tuyến, quyết định của bộ lập kế hoạch và quản lý bộ nhớ đệm trên một dòng thời gian ảo được chia sẻ. Mục đích của nó là đánh giá các cấu hình triển khai và tương tác cấp hệ thống mà không cần đến tài nguyên GPU quy mô lớn.

Theo công ty, việc mô phỏng lại hơn 23.000 yêu cầu từ bản ghi Mooncake chỉ mất 2,41 giây trên thiết bị Apple M4, nhanh hơn khoảng 1.500 lần so với xử lý thời gian thực.

Khung phân tích này có thể được sử dụng để phân tích các chiến lược định tuyến, chính sách tự động mở rộng quy mô, phương pháp đặt bộ nhớ đệm và bố cục cơ sở hạ tầng. NVIDIA cho biết quá trình phát triển trong tương lai có thể bao gồm các quy trình tối ưu hóa tự động liên tục đánh giá các mô hình lưu lượng truy cập sản xuất và đề xuất các cấu hình triển khai được cải thiện.