Evolusi Kecerdasan Buatan Fisik (Physical AI) mengalami lompatan signifikan dengan diperkenalkannya NVIDIA TensorRT Edge-LLM, sebuah runtime inferensi C++ berkinerja tinggi. Perangkat lunak ini dirancang untuk meningkatkan kemampuan kendaraan otonom dan robot humanoid dengan memungkinkan penalaran berakurasi tinggi dan interaksi multimodal waktu nyata dalam batasan daya dan latency. Rilis terbaru ini memperluas kemampuan fundamental untuk platform NVIDIA DRIVE AGX Thor dan NVIDIA Jetson Thor, memperkenalkan arsitektur edge canggih dan dukungan yang dioptimalkan untuk keluarga model terbuka NVIDIA Nemotron.

Efisiensi dalam komputasi sedang didefinisikan ulang karena TensorRT Edge-LLM sepenuhnya memungkinkan dukungan Mixture of Experts (MoE) di edge, mengoptimalkan model seperti Qwen3 MoE. Pendekatan ini memungkinkan perangkat edge untuk memanfaatkan kekuatan penalaran model yang lebih besar sambil mempertahankan latency inferensi dan jejak komputasi yang lebih rendah. Pergeseran ini sangat penting untuk menerapkan penalaran dengan fidelitas tinggi pada platform seperti NVIDIA DRIVE AGX Thor dan NVIDIA Jetson Thor, memungkinkan pengembang untuk meningkatkan kecerdasan sistem otonom tanpa melampaui ambang batas daya dan latency .

TensorRT Edge-LLM juga menghadirkan dukungan untuk NVIDIA Nemotron 2 Nano, memfasilitasi kelas baru penalaran Sistem 2 pada chipset tertanam. Ini sangat bermanfaat bagi pengembang yang menciptakan asisten AI canggih atau agen dialog robotik, karena mengatasi tantangan memori dan latency yang terkait dengan penerapan model bahasa besar di edge. Runtime menyediakan kernel yang dioptimalkan yang mempercepat lapisan hibrida, memungkinkan penggunaan jendela konteks yang besar untuk pipeline generasi yang kompleks dengan peningkatan pengambilan data di edge sambil tetap menjaga jejak memori perangkat tetap terkendali.

Selain kemampuan penalaran, TensorRT Edge-LLM kini mendukung Qwen3-TTS dan Qwen3-ASR untuk interaksi model multimodal asli, menyederhanakan pemrosesan ucapan ujung-ke-ujung. Optimalisasi ini mengurangi latency dan memungkinkan sintesis suara alami langsung pada chip, meningkatkan interaksi antara pengemudi dan kendaraan otonom. Lebih lanjut, runtime mendukung Cosmos Reason 2, VLM penalaran terbuka yang dibangun untuk AI fisik dan robotika, memberdayakan robot humanoid untuk bernalar dengan akal sehat fisik dan merencanakan tindakan secara real-time.

NVIDIA juga bersiap untuk memperkenalkan Alpamayo 1, sebuah alur kerja yang menggabungkan pemikiran rasional Sistem 2 ke dalam perangkat edge. Kemajuan ini akan memungkinkan kendaraan otonom untuk merencanakan lintasan yang tepat, melampaui regresi sederhana untuk menghasilkan beragam lintasan masa depan dengan akurasi tinggi. Dengan latensi yang layak produksi pada DRIVE Thor, Alpamayo 1 mewakili pergeseran signifikan menuju model VLA (Vehicle-to-Access) ujung-ke-ujung dalam produksi kendaraan otonom.

Para pengembang yang tertarik memanfaatkan kemajuan ini dapat menjelajahi fitur dan contoh baru di repositori GitHub TensorRT Edge-LLM yang telah diperbarui atau melalui rilis NVIDIA DriveOS terbaru. Runtime ini dirancang untuk menjadi landasan dalam membangun generasi mesin otonom berikutnya, menghilangkan ketergantungan Python dan memastikan jejak memori yang dapat diprediksi untuk aplikasi otomotif dan robotika.