Search Augmentation Generation (RAG) bertujuan untuk memberikan jawaban yang lebih akurat dan relevan dengan menghubungkan model bahasa besar (LLM) dengan data real-time dan kepemilikan. Namun, RAG sulit diimplementasikan dan dapat berdampak negatif pada keandalan AI jika tidak dilakukan dengan benar. Evaluasi sistem RAG memerlukan pengujian menyeluruh untuk menghindari "kegagalan diam-diam".

Praktik terbaik disarankan untuk mengidentifikasi dan memperbaiki masalah dalam sistem RAG. Membuat kerangka kerja pengujian adalah langkah pertama, yang melibatkan menjalankan serangkaian kueri dan mengevaluasi output. Penting untuk menentukan metrik keberhasilan dan menghitungnya secara otomatis. Perakitan set data pengujian berkualitas tinggi direkomendasikan, serta pembuatan set data referensi "emas" dari output yang diinginkan.

Sistem RAG dapat dievaluasi menggunakan alat sumber terbuka Ragas atau Layanan Evaluasi AI Vertex AI Gen milik Google. Alat-alat ini mengukur hal-hal seperti akurasi fakta dan relevansi jawaban untuk membantu pengembang meningkatkan akurasi dan kegunaan sistem mereka. Evaluasi manusia juga penting, menilai hal-hal seperti nada dan kejelasan jawaban yang tidak dapat ditangkap oleh pengujian otomatis.

Terakhir, kami melakukan analisis akar penyebab dan pengujian berulang terhadap sistem RAG untuk mengidentifikasi masalah dan melakukan perbaikan. Ini termasuk menguji setiap komponen RAG secara individual, seperti meningkatkan akurasi pencarian atau penyampaian kontekstual. Evaluasi manusia didasarkan pada data yang diperoleh dari pengujian otomatis dan menggabungkan umpan balik pengguna nyata untuk mendapatkan pemahaman yang lebih komprehensif tentang kinerja sistem.