NVIDIA hari ini mengumumkan perangkat pengembangan perangkat lunak (SDK) baru yang dirancang khusus untuk mengoptimalkan model bahasa berskala besar (LLM) dan model bahasa visual (VLM) pada platform DRIVE AGX yang digunakan untuk kendaraan otonom. Dibangun pada mesin inferensi NVIDIA TensorRT, DriveOS LLM SDK bertujuan untuk memfasilitasi penerapan model canggih ini pada platform otomotif yang sering kali memiliki keterbatasan sumber daya.

SDK berisi serangkaian komponen yang dirancang untuk menyederhanakan proses inferensi LLM, termasuk pustaka plugin dengan kernel perhatian khusus, tokenizer/detokenizer yang efisien, sampler berbasis CUDA untuk tugas pembuatan teks, dan dekoder untuk membuat urutan teks. Alat-alat ini dibuat untuk memungkinkan penerapan LLM yang efisien pada platform otomotif, menyeimbangkan kebutuhan latency rendah dan kinerja tinggi.

DriveOS LLM SDK mendukung berbagai LLM canggih dan kompatibel dengan platform NVIDIA DRIVE AGX Orin dan NVIDIA DRIVE AGX Thor. DriveOS LLM SDK juga memiliki fleksibilitas dalam format presisi, termasuk FP16, FP8, NVFP4, dan INT4, untuk mengakomodasi LLM skala besar pada berbagai platform dan mengurangi penggunaan memori. SDK menyederhanakan alur kerja penerapan menjadi dua langkah utama: mengekspor model ONNX dan membangun mesin TensorRT, yang dapat dilakukan dengan perintah sederhana.

Selain mendukung LLM tradisional, DriveOS LLM SDK juga memenuhi persyaratan unik aplikasi otomotif, yang sering kali melibatkan input multimodal. DriveOS LLM SDK mencakup modul inferensi dan utilitas khusus untuk VLM, seperti model Qwen2 VL, yang dapat memproses data visual dan teks secara efisien. Toolkit SDK yang komprehensif dan proses penerapan yang mudah digunakan ditujukan untuk meningkatkan kemampuan aplikasi berbasis AI dalam industri otomotif.