NVIDIA mengumumkan peningkatan performa yang signifikan pada platform Jetson AGX Thor, yang meningkatkan throughput Generative AI hingga 7x sejak peluncurannya. Upaya optimasi perangkat lunak NVIDIA menghasilkan peningkatan ini, yang menguntungkan para pengembang yang bekerja dengan model seperti Llama dan DeepSeek. NVIDIA sering kali menyediakan dukungan untuk model AI baru dalam beberapa hari setelah peluncuran, sehingga memungkinkan para pengembang untuk dengan cepat mengintegrasikan teknologi terbaru ke dalam proyek mereka.

Platform Jetson Thor juga mengintegrasikan dukungan untuk format kuantisasi terkemuka, termasuk NVFP4 dari arsitektur GPU NVIDIA Blackwell. Kemampuan tambahan ini, dikombinasikan dengan teknik seperti dekode spekulatif, semakin mengoptimalkan inferensi AI, terutama dalam aplikasi komputasi tepi. Kontainer vLLM yang baru dirilis menunjukkan peningkatan kinerja hingga 3,5 kali lipat dibandingkan model yang ada, yang menunjukkan komitmen NVIDIA untuk meningkatkan ekosistem perangkat lunaknya.

Platform Jetson Thor NVIDIA kini mendukung dekode spekulatif untuk Eagle 3 dalam kontainer vLLM, yang secara signifikan meningkatkan kecepatan model Generative AI . Sebagai contoh, model Llama 3.3 70B dengan dekode spekulatif mencapai output 88,62 token per detik, peningkatan performa yang signifikan dibandingkan angka rilis awal, yang menunjukkan komitmen NVIDIA untuk menyediakan perangkat canggih bagi para pengembang guna mempercepat beban kerja AI di edge.

Dukungan Hari ke-0 untuk model AI generatif terbaru pada platform Jetson Thor memberi pengembang akses langsung ke teknologi mutakhir. Pendekatan NVIDIA terhadap kuantisasi dan dekode spekulatif memandu pengembang dalam memaksimalkan performa AI generatif pada platform tersebut. Dengan dirilisnya kontainer vLLM mandiri dengan pembaruan bulanan, NVIDIA menyederhanakan proses bagi pengembang untuk mengoptimalkan dan melakukan benchmarking model AI, memperkuat perannya dalam memajukan teknologi AI di edge.