NVIDIA mengumumkan TensorRT Edge-LLM, sebuah kerangka kerja C++ sumber terbuka baru yang dirancang untuk meningkatkan kinerja model bahasa skala besar (LLM) dan model bahasa visi (VLM) dalam komputasi tepi. Kerangka kerja ini dirancang khusus untuk aplikasi waktu nyata di bidang otomotif dan robotika, menjawab kebutuhan akan latency rendah dan operasi offline yang andal pada platform seperti NVIDIA DRIVE AGX Thor dan NVIDIA Jetson Thor.

TensorRT Edge-LLM memiliki dependensi minimal dan desain yang ringan, sehingga menghasilkan jejak sumber daya yang kecil dan cocok untuk aplikasi edge produksi. Fitur-fitur canggih yang disertakan antara lain decoding spekulatif EAGLE-3 dan dukungan kuantisasi NVFP4, yang sangat penting untuk kasus penggunaan real-time yang menuntut di industri-industri tersebut.

Beberapa mitra industri telah mengintegrasikan TensorRT Edge-LLM ke dalam produk mereka: Bosch menggunakan TensorRT Edge-LLM untuk mengembangkan kokpit bertenaga AI dengan interaksi suara alami, platform AIBOX dari ThunderSoft akan memanfaatkan kerangka kerja ini untuk memberikan pengalaman responsif di dalam mobil, dan MediaTek juga menggunakan TensorRT Edge-LLM untuk mendukung aplikasi AI dan antarmuka manusia-mesin di dalam kabin kendaraan.

Kerangka kerja ini menyederhanakan alur kerja penerapan untuk inferensi LLM dan VLM, mulai dari mengekspor model hingga menjalankan inferensi pada perangkat keras target. Ketersediaannya dalam ekosistem NVIDIA Jetson menandai langkah besar menuju menghadirkan kemampuan AI canggih ke edge computing. Pengembang dapat mengakses TensorRT Edge-LLM melalui GitHub dan mengintegrasikannya ke dalam solusi edge computing mereka dengan mengikuti dokumentasi yang disediakan.