Mengintegrasikan model bahasa besar (LLM) ke dalam sistem produksi merupakan tugas rumit yang memerlukan pendekatan komprehensif untuk mengelola siklus hidupnya. LLMOps, perluasan dari Operasi Pembelajaran Mesin (MLOps), menyediakan kerangka kerja terstruktur untuk menangani proses ini, mulai dari persiapan data hingga peningkatan berkelanjutan. Tantangan dalam mengoperasionalkan LLM meliputi penyempurnaan alur kerja, evaluasi model skala besar, kontrol versi, dan penyajian inferensi yang efisien.

Penyedia solusi komunikasi telah membuat langkah besar dalam mengatasi tantangan ini dengan menerapkan alur kerja LLMOps yang tangguh yang memanfaatkan NVIDIA AI Blueprint untuk membangun data flywheel, layanan mikro NVIDIA NeMo untuk penyempurnaan dan evaluasi, dan NVIDIA NIM untuk penerapan yang dapat diskalakan. Pendekatan mereka didasarkan pada metodologi GitOps berbasis cloud untuk mengotomatiskan dan mengelola penerapan secara deklaratif.

Riad Levy-Raz, ilmuwan data di perusahaan tersebut, menyoroti dampak transformatif dari pemanfaatan layanan mikro NVIDIA NeMo dan NVIDIA NIM yang diatur oleh GitOps: Integrasi ke dalam sistem otomasi CI/ CI/CD kami memungkinkan kami mengevaluasi LLM baru dengan cepat dan memastikan kesesuaiannya untuk kasus penggunaan tertentu, sekaligus membebaskan ilmuwan data kami dari masalah infrastruktur.

Layanan mikro NVIDIA NeMo mendorong siklus peningkatan berkelanjutan LLM, yang divisualisasikan sebagai "roda gila AI perusahaan." Proses berulang ini mencakup kurasi data, kustomisasi model, evaluasi, dan penerapan, semuanya dengan tujuan meningkatkan kinerja dan kemampuan LLM. NVIDIA AIBlueprint mendukung proses ini, menyediakan arsitektur referensi untuk menerapkan model AI generatif sebagai layanan mikro yang dikontainerisasi yang dioptimalkan untuk inferensi.

Dalam satu studi kasus, penyedia solusi komunikasi mengatasi tantangan LLMOps dengan mengadopsi strategi berbasis GitOps yang terintegrasi ke dalam alur CI/CD platform amAIz untuk memungkinkan evaluasi dan pengujian regresi LLM baru yang tangguh. Proses ini, yang mencakup penerapan komponen yang bergantung pada GPU ke kluster Kubernetes, dimulai secara otomatis dengan memberikan informasi konfigurasi untuk LLM.

Alur kerja LLMOps dimulai dengan persiapan kumpulan data, lalu berlanjut ke penyempurnaan model, evaluasi, dan penerapan. Seluruh proses diatur oleh alat Argo, dengan ArgoCD mengelola penerapan dan Argo Workflows menjalankan tugas pada NVIDIA DGX Cloud. Pendekatan GitOps ini memastikan pengulangan dan mempercepat siklus adopsi AI dengan memungkinkan evaluasi cepat model baru.

Kesimpulannya, mengoperasionalkan LLM merupakan tantangan multifaset yang dapat dikelola secara efektif dengan alur kerja LLMOps yang tangguh. Studi kasus ini menunjukkan manfaat praktis dari alur kerja yang mencakup AI Blueprint NVIDIA, layanan mikro NeMo, dan orkestrasi GitOps untuk penyempurnaan dan penerapan LLM yang cepat dan efisien.