WEKA, perusahaan platform data asli AI, mengumumkan solusi arsitektur referensi baru di Supercomputing 2024 di Atlanta dan Campbell, California. Platform Referensi WEKA AI RAG (WARRP) dimaksudkan untuk menyederhanakan dan menyederhanakan pengembangan dan penerapan lingkungan inferensi AI perusahaan. Solusi ini menciptakan kerangka infrastruktur yang kuat menggunakan generasi augmentasi pencarian (RAG), sebuah teknik yang menyempurnakan model bahasa besar (LLM) dengan memungkinkan pengumpulan data baru dari sumber eksternal yang memberikan cetak biru bagi pengembang dan arsitek cloud

AI Generatif (GenAI) telah melampaui aplikasi lain dan menjadi modalitas AI yang paling banyak digunakan di perusahaan, menurut studi terbaru yang dilakukan oleh S&P Global Market Intelligence. Tantangan bagi perusahaan yang menerapkan LLM adalah menangkap dan mengontekstualisasikan data baru secara efektif dari berbagai lingkungan sehingga dapat mendukung inferensi AI. RAG adalah teknik utama dalam inferensi AI yang membantu mengurangi halusinasi dalam model AI dan meningkatkan akurasi dan keandalan keluarannya. Namun, membangun lingkungan produksi yang mendukung kerangka RAG dalam skala besar menjadi rumit karena arsitektur dan alat yang berkembang pesat.

WARRP menyediakan cetak biru komprehensif komponen modular untuk mengembangkan dan menerapkan lingkungan inferensi AI kelas dunia dengan cepat. Hal ini didasarkan pada perangkat lunak Platform Data WEKA® dan mengintegrasikan kerangka kerja AI perusahaan NVIDIA, termasuk layanan mikro NVIDIA NIM™ dan NVIDIA NeMo™ Retriever. Platform ini juga dilengkapi dengan beban kerja AI canggih dan kemampuan orkestrasi GPU Run:ai, serta teknologi manajemen data populer seperti Kubernetes dan Milvus Vector DB.

Shimon Ben-David, Chief Technology Officer di WEKA, menekankan pentingnya menyederhanakan proses implementasi RAG untuk meningkatkan akurasi, keamanan, dan efisiensi biaya dalam menjalankan model AI perusahaan. WARRP menyediakan kerangka kerja fleksibel yang mendukung berbagai implementasi LLM, memberikan skalabilitas, kemampuan beradaptasi, dan kinerja unggul dalam lingkungan produksi. Versi pertama arsitektur referensi WARRP tersedia untuk diunduh sekarang, dan peserta Supercomputing 2024 dapat mengunjungi stan WEKA untuk mempelajari lebih lanjut dan melihat demo.