WEKA (Atlanta dan Campbell, California), sebuah perusahaan platform data mentah AI, mengumumkan solusi arsitektur referensi baru yang menyederhanakan pengembangan dan implementasi lingkungan inferensi AI perusahaan. Platform Referensi WEKA AI RAG (WARRP) memberikan cetak biru kepada pengembang AI generatif dan arsitek cloud untuk mengembangkan kerangka infrastruktur inferensi yang kuat.

Kerangka kerja ini, yang mencakup teknologi RAG, memungkinkan model bahasa skala besar (LLM) mengumpulkan data baru dari sumber eksternal dan meningkatkan efisiensi proses inferensi AI. Menurut Laporan Tren AI Global terbaru dari S&P Global Market Intelligence, AI generatif adalah mode AI dengan tingkat adopsi tertinggi oleh perusahaan, dan cakupannya melebihi aplikasi AI lainnya.

WARRP menyediakan cetak biru komponen modular yang komprehensif untuk membantu perusahaan dengan cepat membangun dan mengimplementasikan jalur inferensi AI berbasis RAG. Arsitektur referensi ini menggunakan perangkat lunak WEKA® Data Platform sebagai lapisan dasar, kerangka AI perusahaan teratas NVIDIA, beban kerja AI canggih dan kemampuan orkestrasi GPU Run:ai, serta teknologi perangkat lunak manajemen data terintegrasi sumber terbuka dan komersial yang populer.

“Gelombang pertama teknologi AI generatif akan mulai diterapkan di perusahaan pada tahun 2023, dan banyak institusi memfokuskan sumber daya mereka untuk melatih model AI,” kata Presiden WEKA Shimon Ben-David. “Melakukan inferensi AI sangatlah menantang, dan kami memanfaatkan solusi AI dan infrastruktur cloud yang terdepan di industri seperti WEKA, NVIDIA, Run:ai, Kubernetes, dan Milvus untuk mengembangkan WARRP.”

WARRP menyediakan kerangka kerja yang fleksibel dan modular yang menunjukkan skalabilitas, kemampuan beradaptasi, dan kinerja yang sangat baik dalam lingkungan produksi. Versi pertama arsitektur referensi ini tersedia untuk diunduh gratis, dan peserta Supercomputing 2024 dapat mempelajari lebih lanjut dan melihat demo solusi baru di stan WEKA. Informasi lebih lanjut tersedia di https://www.weka.io/resources/reference-architecture/warrp-weka-ai-rag-reference-platform/.