NVIDIA mengumumkan peluncuran TensorRT 10.0, yang memperkenalkan mesin penghilang bobot yang secara signifikan mengurangi ukuran mesin model AI. Mesin ini, yang mengecualikan bobot dari kode yang berjalan, dapat mengurangi ukuran mesin lebih dari 95%. Inovasi ini menyederhanakan proses penerapan aplikasi yang menggunakan GPU NVIDIA GeForce RTX dan NVIDIA RTX dengan memungkinkan perangkat pengguna akhir menyeimbangkan kembali bobot menggunakan lean runtime sekitar 40 MB.

Mesin penghilang bobot dirancang untuk mendukung model ONNX dan definisi jaringan lainnya, memungkinkan Anda mengubah bobot tanpa membangun kembali seluruh mesin. Fitur ini sangat berguna dalam skenario yang melibatkan beberapa SKU GPU dan profil pengoptimalan, karena fitur ini meminimalkan duplikasi bobot dan, sebagai hasilnya, mengurangi ukuran biner aplikasi Anda. Mesinnya tetap kompatibel di seluruh pembaruan kecil pada TensorRT dan dapat dibuat dengan tanda kompatibilitas versi, sehingga membuatnya lebih berguna.

TensorRT Cloud, yang saat ini hanya dapat diakses oleh partner tertentu, memperluas kemampuan Anda untuk membuat mesin yang lebih ringan pada berbagai GPU NVIDIA. Pembuatan mesin yang lebih ringan dan penyetelan ulang dukungan untuk NVIDIA TensorRT-LLM akan segera tersedia, sehingga semakin meningkatkan kompresi dan efisiensi model bahasa besar (LLM).

Proses pembuatan dan penerapan mesin yang dikurangi bobotnya menggunakan bobot model selama fase pembuatan untuk melakukan pengoptimalan dan memastikan performa yang konsisten saat bobot disesuaikan kembali nanti. Setelah diserialkan, mesin ini dapat dikalibrasi ulang dalam hitungan detik menggunakan bobot dari file ONNX di perangkat pengguna akhir, sehingga menjaga efisiensi deserialisasi cepat yang dikenal dengan TensorRT. Pendekatan ini tidak hanya memungkinkan Anda untuk menggabungkan lebih banyak fitur AI ke dalam aplikasi Anda tanpa meningkatkan ukuran aplikasi Anda, namun juga memastikan bahwa mesin tetap kompatibel dengan generasi GPU masa depan. saus: