NVIDIA mengumumkan peluncuran NIM, serangkaian layanan mikro inferensi AI generatif yang dirancang untuk mendukung penerapan AI di perusahaan. Dengan berintegrasi dengan KServe, perangkat lunak sumber terbuka yang meningkatkan penerapan model AI, NIM tersedia pada platform dari berbagai perusahaan, termasuk Canonical, Nutanix, dan Red Hat. Kolaborasi ini bertujuan untuk menyederhanakan penerapan aplikasi AI generatif dan membuatnya lebih mudah dikelola seperti solusi perusahaan skala besar lainnya.

Kemitraan ini memperluas pengaruh NVIDIA dalam komunitas open source, memungkinkan pengguna memanfaatkan kinerja, dukungan, dan keamanan platform NVIDIA AI Enterprise dengan panggilan API sederhana. Terlahir dari proyek Kubeflow, KServe adalah sistem berbasis Kubernetes yang memudahkan pengelolaan inferensi AI sebagai aplikasi cloud yang tangguh. Ini mendukung berbagai kerangka kerja AI, sangat cocok untuk kemunculan cepat model bahasa berskala besar (LLM) baru, dan menampilkan fitur-fitur seperti peluncuran canary untuk pembaruan model dan penskalaan otomatis GPU untuk penerapan berdasarkan permintaan

NIM NVIDIA menyederhanakan kompleksitas penerapan AI untuk administrator TI dan menyediakan metrik penting untuk kinerja aplikasi yang optimal. Kemudahan penggunaan diharapkan dapat mengubah cara perusahaan beroperasi, dan perusahaan seperti Foxconn dan ServiceNow telah menerapkan layanan mikro NIM. Integrasi dengan KServe membuat NIM tersedia di berbagai platform Kubernetes, sehingga meningkatkan aksesibilitas kemampuan AI generatif di seluruh perusahaan.

Komitmen NVIDIA terhadap komunitas open source semakin diperkuat melalui kontribusi aktif pada KServe dan proyek terkait. Keterlibatan perusahaan dalam Cloud Native Computing Foundation menegaskan dedikasinya dalam mendukung kemajuan AI generatif. Perusahaan dan pengembang kini dapat mengeksplorasi kemampuan NIM melalui Katalog API NVIDIA. Banyak mitra di seluruh dunia yang mengadopsi teknologi ini untuk menerapkan solusi AI generatif. saus: