NVIDIA mengumumkan DGX Spark, superkomputer ringkas yang dirancang untuk memenuhi kebutuhan pengembang AI yang menghadapi keterbatasan memori dan masalah akses perangkat lunak pada sistem desktop. DGX Spark menawarkan performa komputasi AI FP4 1 petaflops, memori sistem 128GB, dan bandwidth memori 273GB/dtk. Dengan tumpukan perangkat lunak NVIDIA AI yang sudah terpasang, pengembang dapat memproses tugas-tugas berskala besar dan intensif komputasi secara lokal tanpa bergantung pada sumber daya cloud atau pusat data.

NVIDIA mendemonstrasikan performa DGX Spark dalam menyempurnakan model AI yang intensif memori. Uji Benchmark menunjukkan performa impresif hingga 82.739,2 token/detik saat menyempurnakan model Llama 3.2B. Beban kerja intensif memori seperti itu tidak dapat dicapai dengan GPU konsumen standar 32GB, yang menunjukkan keunggulan daya pemrosesan DGX Spark.

DGX Spark juga unggul dalam pembuatan gambar, mendukung model beresolusi tinggi dan presisi tinggi. Memori GPU dan kinerja komputasi sistem yang besar memungkinkan pembuatan gambar detail dengan cepat. Dengan model Flux.1 12B, gambar 1K dapat dihasilkan setiap 2,6 detik dengan presisi FP4.

Untuk aplikasi ilmu data, DGX Spark memanfaatkan pustaka NVIDIA CUDA-X, termasuk cuML dan cuDF, untuk mempercepat algoritma pembelajaran mesin dan tugas analisis data. Sistem ini dapat memproses set data 250 MB hanya dalam beberapa detik, menunjukkan kemampuannya dalam menangani algoritma komputasi intensif secara efisien.

Untuk beban kerja inferensi, GPU Blackwell DGX Spark mendukung berbagai format data 4-bit, termasuk NVFP4, yang mencapai akurasi mendekati FP8 dengan degradasi kurang dari 1%. Hal ini memungkinkan penggunaan model yang lebih kecil tanpa mengorbankan akurasi, sehingga meningkatkan kinerja secara keseluruhan. Performa AI sebesar satu petaflop memungkinkan pemrosesan yang lebih cepat dan waktu respons token pertama yang lebih cepat, sehingga meningkatkan pengalaman pengguna dan throughput.

DGX Spark dari NVIDIA merupakan kemajuan besar bagi para pengembang AI, menawarkan alternatif yang andal untuk menggantikan ketergantungan pada cloud dan pusat data. Performanya yang unggul dalam fine-tuning, pembuatan gambar, ilmu data, dan beban kerja inferensi menjadikannya alat yang berharga bagi para pengembang yang ingin melampaui batas riset dan aplikasi AI.