NVIDIA, yang berkantor pusat di Santa Clara, California, memperkenalkan DynoSim, sebuah kerangka kerja simulasi berbasis beban kerja yang dirancang untuk memodelkan perilaku tumpukan penyajian inferensi Dynamo sebelum diterapkan pada perangkat keras produksi.

Platform ini menggabungkan data waktu mesin, perilaku penjadwal, logika perutean, keputusan perencana, dan manajemen cache pada garis waktu virtual bersama. Platform ini dirancang untuk mengevaluasi konfigurasi penyebaran dan interaksi tingkat sistem tanpa memerlukan sumber daya GPU skala besar.

Menurut perusahaan tersebut, pemutaran ulang lebih dari 23.000 permintaan dari jejak Mooncake disimulasikan dalam 2,41 detik pada perangkat berbasis Apple M4, yang mewakili eksekusi sekitar 1.500 kali lebih cepat daripada pemrosesan waktu nyata.

Kerangka kerja ini dapat digunakan untuk menganalisis strategi perutean, kebijakan penskalaan otomatis, metode penempatan cache, dan tata letak infrastruktur. NVIDIA mengindikasikan bahwa pengembangan di masa mendatang mungkin mencakup alur kerja optimasi otomatis yang terus-menerus mengevaluasi pola lalu lintas produksi dan merekomendasikan konfigurasi penerapan yang lebih baik.