NVIDIA mengumumkan NVIDIA TensorRT, ekosistem API terbarunya yang dirancang untuk mendukung inferensi pembelajaran mendalam dengan waktu proses dan pengoptimalan model yang lebih baik. Rilis baru ini menyederhanakan instalasi, meningkatkan kemudahan penggunaan, mendukung model AI yang lebih beragam, dan memastikan kinerja latensi rendah dan throughput tinggi yang efisien untuk aplikasi produksi.

Pengembang bisa mendapatkan keuntungan dari pengalaman yang lebih efisien di TensorRT 10.0 dengan metapackage Debian dan RPM yang diperbarui yang membuat penyiapan lebih mudah menggunakan perintah seperti `apt-get install tensorrt` dan `pip install tensorrt`. Rilis ini juga memperkenalkan Debug Tensors API. Hal ini membantu menentukan masalah dalam grafik dengan memanggil fungsi callback yang berisi detail tensor setiap kali nilai tensor ditulis. Peningkatan signifikan pada pengembangan Windows, termasuk peningkatan pelaporan kesalahan parser ONNX serta kompatibilitas versi dan perangkat keras, juga merupakan bagian dari pembaruan ini.

Peningkatan performa di TensorRT 10.0 adalah kuantisasi hanya bobot (WoQ) INT4 dengan kuantisasi blok. Hal ini memungkinkan memori digunakan secara efisien bahkan pada GPU dengan memori terbatas. Versi baru ini juga mendukung mesin yang dikurangi bobotnya yang dapat mencapai kompresi hingga 99%, dan memungkinkan Anda menambah bobot mesin saat runtime tanpa perlu membangunnya kembali. Selain itu, kini Anda dapat menentukan strategi alokasi waktu proses, dan fitur streaming bobot memungkinkan Anda menjalankan model besar yang melebihi kapasitas memori GPU.

Untuk melengkapi fitur tersebut, NVIDIA juga merilis TensorRT Model Optimizer 0.11. Ini adalah perpustakaan yang menyediakan pengoptimalan model pasca-pelatihan dan pelatihan dalam loop seperti kuantisasi, ketersebaran, dan distilasi. Alat ini bertujuan untuk menyederhanakan penerapan model pembelajaran mendalam dengan mengurangi kompleksitas dan meningkatkan kecepatan inferensi. Model Optimizer terintegrasi dengan berbagai kerangka pelatihan, memungkinkan pengembang memanfaatkan platform NVIDIA di berbagai lingkungan. Selain itu, pengenalan Nsight Deep Learning Designer 2024.1 menyediakan lingkungan pengembangan terintegrasi untuk mengoptimalkan DNN, menyediakan alat visual untuk menyempurnakan model demi kinerja optimal. saus: