Agen AI saat ini semakin canggih dengan integrasi sistem Pencarian, Peningkatan, dan Generasi (RAG) yang meningkatkan kemampuan Model Bahasa Besar (LLM). Sistem ini menggunakan basis pengetahuan untuk menyediakan konteks, meningkatkan akurasi respons yang dihasilkan oleh LLM. Dalam proses ini, server RAG memproses permintaan, mengambil vektor konteks yang relevan dari basis data vektor, menggabungkan konteks ini dengan permintaan, dan kemudian mengirimkannya ke layanan LLM untuk menghasilkan respons.

NVIDIA RAGBlueprint adalah contoh referensi untuk mempercepat adopsi RAG di lingkungan perusahaan. Blueprint ini menyediakan rangkaian komponen modular yang dirancang untuk berbagai tahapan proses RAG, termasuk penyerapan data, vektorisasi, akuisisi, dan generasi. Ia juga menawarkan berbagai pilihan konfigurasi untuk menyesuaikan sistem agar memenuhi kebutuhan spesifik, termasuk pemfilteran metadata dan penulisan ulang kueri. Pelanggan dapat memilih antara pengaturan Docker sederhana atau penerapan Kubernetes yang lebih tangguh untuk memenuhi beragam kebutuhan organisasi mereka.

Organisasi seringkali kesulitan dengan ketidakpastian beban kerja RAG, di mana permintaan dapat berfluktuasi secara dramatis. Hal ini dapat menyebabkan penyediaan sumber daya yang berlebihan (mengakibatkan pemanfaatan infrastruktur yang kurang optimal) atau penyediaan yang kurang (mengakibatkan kualitas layanan yang buruk selama periode puncak). Untuk mengatasi masalah ini, NVIDIA RAG Blueprint menyertakan panduan tentang cara mengimplementasikan penskalaan otomatis untuk layanan mikro utama dalam sistem RAG, khususnya untuk kasus penggunaan seperti chatbot layanan pelanggan yang memiliki persyaratan kinerja dan latency yang ketat. Dengan memanfaatkan Kubernetes Horizontal Pod Autoscaling (HPA) dan layanan mikro NVIDIA NIM, perusahaan dapat menskalakan sistem mereka secara dinamis dalam batasan yang telah ditentukan dan Service Level Agreement (SLA).

Memahami persyaratan kinerja dan komputasi sistem RAG Anda sangat penting, terutama di lingkungan Kubernetes produksi. Metrik seperti latency dan throughput sangat penting untuk penskalaan layanan dan perencanaan sumber daya klaster. Kasus penggunaan yang berbeda memiliki persyaratan service-level agreement (SLA) yang berbeda untuk beban kinerja, konkurensi, dan latency. Misalnya, chatbot layanan pelanggan mungkin perlu diskalakan dari 100 menjadi 300 permintaan bersamaan dan mempertahankan waktu respons yang cepat untuk memberikan pengalaman pelanggan yang hebat. Ini membutuhkan Time to First Token (TTFT) kurang dari 2 detik dan waktu respons ujung-ke-ujung kurang dari 20 detik.

Singkatnya, NVIDIA RAGBlueprint menyediakan kerangka kerja komprehensif untuk menerapkan dan menskalakan sistem RAG, memungkinkan sistem tersebut untuk menangani berbagai beban kerja secara efisien sambil mempertahankan kualitas layanan yang tinggi. Pendekatan ini tidak hanya mengoptimalkan pemanfaatan sumber daya tetapi juga meningkatkan pengalaman pengguna secara keseluruhan dengan memberikan respons yang tepat waktu dan akurat.