NVIDIA mengumumkan perilisan beta publik dari XR AI, sebuah kerangka kerja sumber terbuka yang dirancang untuk membantu pengembang membangun agen cerdas untuk kacamata AR, kacamata AI, dan headset XR menggunakan layanan AI multimodal.

Platform ini menggabungkan aliran kamera dan mikrofon langsung dengan model penalaran visual NVIDIA Cosmos, model bahasa Nemotron, dan integrasi Model Context Protocol, memungkinkan agen untuk memahami lingkungan dan berinteraksi dengan sistem perusahaan.

Menurut perusahaan, kerangka kerja ini mendukung skenario industri, perawatan kesehatan, pelatihan, dan layanan lapangan. Kelompok riset di Stanford School of Medicine dan Princeton University telah mengeksplorasi alur kerja laboratorium, sementara Siemens telah meneliti kasus penggunaan dukungan manufaktur.

XR AI juga terintegrasi dengan CloudXR untuk streaming konten spasial dan bekerja dengan kerangka kerja orkestrasi seperti NeMo Agent Toolkit. NVIDIA mengindikasikan bahwa pengembang dapat menerapkan pengalaman XR berbasis AI di berbagai perangkat sambil terhubung ke alat perusahaan dan sistem pengetahuan.