NVIDIA telah memperkenalkan solusi baru yang menyederhanakan penerapan model AI yang disesuaikan dengan data spesifik domain. NVIDIA Inference Server (NIS) menyediakan layanan mikro inferensi bawaan untuk mengintegrasikan model dasar AI dengan cepat ke dalam aplikasi perusahaan. Layanan mikro ini dirancang untuk mendukung model yang disempurnakan dalam berbagai cara, seperti penyesuaian efisien parameter (PEFT), untuk memastikan performa optimal.

Perusahaan telah mengembangkan proses yang menghilangkan kerumitan konfigurasi perangkat lunak inferensi saat menyesuaikan bobot model secara langsung selama pelatihan. NIS NVIDIA dapat secara otomatis membuat mesin inferensi TensorRT-LLM yang disesuaikan dengan model spesifik dan konfigurasi GPU Anda, sehingga menyederhanakan penerapan dalam satu langkah.

Tutorial terbaru NVIDIA memperkenalkan penerapan layanan mikro NIS untuk model yang disesuaikan menggunakan penyempurnaan yang diawasi (SFT). Panduan ini memberikan petunjuk mendetail dan perintah yang diperlukan untuk membuat dan menerapkan mesin inferensi TensorRT-LLM yang dioptimalkan performa secara lokal. Prasyaratnya mencakup lingkungan komputasi terakselerasi NVIDIA dengan memori GPU yang memadai dan instalasi perangkat lunak khusus.

Perusahaan menekankan kemudahan memilih profil kinerja mesin inferensinya. Profil ini secara otomatis beradaptasi dengan perangkat keras dan pilihan model Anda. Profil ini dirancang untuk mengoptimalkan latensi atau throughput bergantung pada kebutuhan aplikasi Anda. Upaya NVIDIA dirancang untuk mempercepat adopsi kemampuan inferensi AI, menyediakan sumber daya dan dukungan komunitas melalui forum dan dokumentasi pengembang.