NVIDIA telah meningkatkan kemampuan NIM Operator, sebuah alat yang menyederhanakan penerapan dan pengelolaan jalur inferensi AI pada kluster Kubernetes. Rilis awal NIM Operator difokuskan pada pengurangan beban kerja MLOps dan administrator Kubernetes dengan memungkinkan penerapan cepat, penskalaan otomatis, dan pembaruan layanan mikro NIM. Alat ini sangat membantu pelanggan dan mitra dalam mengelola berbagai aplikasi, mulai dari chatbot hingga penemuan obat virtual.

Tim Solusi Komputasi Cisco Systems mengintegrasikan Operator NIM ke dalam infrastruktur AI mereka dan memanfaatkan NVIDIA AI Blueprints untuk membangun jaringan pembangkitan yang dilengkapi pencarian. Menurut Paniraja Koppa dari Cisco Systems, Operator NIM telah menyederhanakan proses penerapan secara signifikan dan meningkatkan kinerja aplikasi AI melalui penyimpanan data model yang efisien dan manajemen layanan NIM yang terpadu.

Pembaruan terbaru, NVIDIA NIM Operator 2.0, memperkenalkan manajemen siklus hidup dan penerapan untuk layanan mikro NVIDIA NeMo yang penting untuk membangun alur kerja AI. Pembaruan ini mencakup definisi sumber daya kustom (CRD) Kubernetes baru untuk NeMo Customizer, Evaluator, dan Guardrails, yang masing-masing memudahkan penyempurnaan model bahasa, menyediakan kemampuan evaluasi yang komprehensif, dan menambahkan pemeriksaan keamanan ke titik akhir LLM.

Komitmen NVIDIA untuk menyederhanakan penerapan alur kerja AI terbukti dalam kemampuan NIM Operator, yang mendukung pengelolaan mudah operasi Hari ke-2 seperti pemutakhiran bergulir, konfigurasi ingress, dan penskalaan otomatis. NIM Operator merupakan bagian dari NVIDIA AI Enterprise, yang menyediakan dukungan perusahaan dan patch keamanan proaktif, dan tersedia di NGC atau GitHub.