NVIDIA melaporkan bahwa perluasan AI generatif di luar pusat data mendorong permintaan akan penerapan model yang efisien pada perangkat edge dengan batasan memori yang ketat. Para pengembang semakin fokus pada menjalankan model besar di lingkungan yang terbatas.

Perusahaan menjelaskan bahwa platform Jetson mereka mendukung eksekusi yang dioptimalkan dengan menyeimbangkan penggunaan memori CPU dan GPU. Penanganan memori yang tidak efisien digambarkan sebagai faktor kunci di balik masalah latency dan ketidakstabilan sistem dalam aplikasi edge.

Beberapa lapisan optimasi diuraikan, termasuk menonaktifkan layanan sistem yang tidak digunakan, menyempurnakan alur inferensi, dan menerapkan teknik kuantisasi model. Pendekatan ini dikatakan dapat meningkatkan throughput sekaligus memungkinkan beban kerja yang lebih kompleks pada perangkat keras yang ada.

Format presisi rendah seperti FP8 dan INT4 disorot karena kemampuannya untuk mengurangi penggunaan memori secara signifikan sambil mempertahankan akurasi yang dapat diterima. Strategi gabungan dilaporkan dapat membuka kemampuan AI tingkat lanjut dalam sumber daya edge yang terbatas.