NVIDIA telah memperkenalkan solusi baru yang menyederhanakan penerapan model AI yang disesuaikan untuk data khusus domain. NVIDIA Inference Server (NIS) menyediakan layanan mikro inferensi yang telah dibuat sebelumnya untuk mengintegrasikan model berbasis AI dengan cepat ke dalam aplikasi perusahaan. Layanan mikro ini dirancang untuk mendukung model yang disesuaikan dengan berbagai metode, seperti penyempurnaan parameter-efisien (PEFT), untuk memastikan kinerja yang optimal.

Perusahaan telah mengembangkan proses yang menghilangkan kerumitan dalam mengonfigurasi perangkat lunak inferensi saat menyetel bobot model secara langsung selama pelatihan. NIS NVIDIA dapat secara otomatis membangun mesin inferensi TensorRT-LLM yang disetel dengan baik untuk model dan pengaturan GPU tertentu, menyederhanakan penerapan menjadi satu langkah.

Tutorial terbaru NVIDIA menunjukkan penerapan layanan mikro NIS untuk model yang disesuaikan dengan penyempurnaan terbimbing (SFT). Panduan ini menyediakan langkah-langkah terperinci dan perintah yang diperlukan untuk membangun dan menerapkan mesin inferensi TensorRT-LLM yang dioptimalkan kinerjanya secara lokal. Prasyaratnya meliputi lingkungan komputasi yang dipercepat NVIDIA dengan memori GPU yang memadai dan pemasangan perangkat lunak tertentu.

Perusahaan ini menyoroti kemudahan dalam memilih profil kinerja mesin inferensi, yang secara otomatis beradaptasi dengan pemilihan perangkat keras dan model pengguna. Profil ini dirancang untuk mengoptimalkan latency atau throughput, tergantung pada kebutuhan aplikasi. Upaya NVIDIA ditujukan untuk memfasilitasi adopsi cepat kemampuan inferensi AI, menyediakan sumber daya dan dukungan komunitas melalui forum pengembang dan dokumentasi.