WEKA, perusahaan platform data berbasis AI, mengumumkan solusi arsitektur referensi baru di Supercomputing 2024 di Atlanta dan Campbell, California. WEKA AI RAG Reference Platform (WARRP) bertujuan untuk menyederhanakan dan merampingkan pengembangan dan penerapan lingkungan inferensi AI perusahaan. Solusi ini menyediakan cetak biru bagi pengembang dan arsitek cloud untuk menciptakan kerangka kerja infrastruktur yang tangguh menggunakan Search Augmentation Generation (RAG), sebuah teknik yang menyempurnakan model bahasa besar (LLM) dengan memungkinkan mereka mengumpulkan data baru dari sumber eksternal.

Menurut survei terbaru oleh S&P Global Market Intelligence, Generative AI(GenAI) telah melampaui aplikasi lain dan menjadi modalitas AI yang paling banyak digunakan di perusahaan. Tantangan bagi perusahaan yang menerapkan LLM adalah memperoleh dan mengontekstualisasikan data baru dari berbagai lingkungan secara efektif sehingga dapat mendukung inferensi AI. RAG adalah teknik terdepan untuk inferensi AI, yang membantu mengurangi halusinasi dalam model AI dan meningkatkan akurasi dan keandalan output. Namun, membangun lingkungan produksi yang mendukung kerangka kerja RAG dalam skala besar menjadi rumit karena evolusi arsitektur dan alat yang cepat.

WARRP menyediakan cetak biru komponen modular yang komprehensif untuk mengembangkan dan menerapkan lingkungan inferensi AI kelas dunia dengan cepat. WARRP didasarkan pada perangkat lunak WEKA® Data Platform dan mengintegrasikan kerangka kerja AI perusahaan NVIDIA seperti layanan mikro NVIDIA NIM™ dan NVIDIA NeMo™ Retriever. Platform ini juga mencakup beban kerja AI tingkat lanjut dan kemampuan orkestrasi GPU dari Run:ai, serta teknologi manajemen data populer seperti Kubernetes dan Milvus Vector DB.

Shimon Ben-David, Chief Technology Officer di WEKA, menekankan pentingnya penyederhanaan proses implementasi RAG untuk meningkatkan akurasi, keamanan, dan efektivitas biaya pelaksanaan model AI perusahaan. WARRP menyediakan kerangka kerja yang fleksibel untuk mendukung berbagai implementasi LLM, yang memungkinkan skalabilitas, adaptasi, dan kinerja yang unggul dalam lingkungan produksi. Versi pertama arsitektur referensi WARRP kini tersedia untuk diunduh, dan peserta Supercomputing 2024 dapat mengunjungi stan WEKA untuk mendapatkan detail dan demo selengkapnya.