Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

WEKA, một công ty nền tảng dữ liệu có nguồn gốc từ AI, đã công bố các giải pháp kiến ​​trúc tham chiếu mới tại Supercomputing 2024 ở Atlanta và Campbell, California. Nền tảng tham chiếu WEKA AI RAG (WARRP) nhằm đơn giản hóa và hợp lý hóa việc phát triển và triển khai môi trường suy luận AI của doanh nghiệp. Giải pháp này tạo ra một khung cơ sở hạ tầng mạnh mẽ bằng cách sử dụng tính năng tạo tăng cường tìm kiếm (RAG), một kỹ thuật nâng cao các mô hình ngôn ngữ lớn (LLM) bằng cách cho phép thu thập dữ liệu mới từ các nguồn bên ngoài, cung cấp cho các nhà phát triển và kiến ​​trúc sư đám mây một kế hoạch chi tiết cho.

Theo một nghiên cứu gần đây của S&P Global Market Intelligence, AI sáng tạo (GenAI) đã vượt qua các ứng dụng khác để trở thành phương thức AI được sử dụng rộng rãi nhất trong các doanh nghiệp. Thách thức đối với các công ty triển khai LLM là nắm bắt và bối cảnh hóa dữ liệu mới một cách hiệu quả từ các môi trường khác nhau để có thể hỗ trợ suy luận AI. RAG là một kỹ thuật quan trọng trong suy luận AI giúp giảm ảo giác trong các mô hình AI và cải thiện độ chính xác cũng như độ tin cậy của kết quả đầu ra. Tuy nhiên, việc xây dựng một môi trường sản xuất hỗ trợ khung RAG trên quy mô lớn rất phức tạp do các kiến ​​trúc và công cụ phát triển nhanh chóng.

WARRP cung cấp bản thiết kế toàn diện về các thành phần mô-đun để nhanh chóng phát triển và triển khai các môi trường suy luận AI đẳng cấp thế giới. Nó dựa trên phần mềm Nền tảng dữ liệu WEKA® và tích hợp các khung AI dành cho doanh nghiệp của NVIDIA, bao gồm các vi dịch vụ NVIDIA NIM™ và NVIDIA NeMo™ Retriever. Nền tảng này cũng có khối lượng công việc AI tiên tiến và khả năng điều phối GPU của Run:ai cũng như các công nghệ quản lý dữ liệu phổ biến như Kubernetes và Milvus Vector DB.

Shimon Ben-David, Giám đốc Công nghệ tại WEKA, nhấn mạnh tầm quan trọng của việc hợp lý hóa quy trình triển khai RAG để cải thiện độ chính xác, bảo mật và hiệu quả chi phí khi vận hành các mô hình AI doanh nghiệp. WARRP cung cấp một khung linh hoạt hỗ trợ nhiều triển khai LLM khác nhau, cung cấp khả năng mở rộng, khả năng thích ứng và hiệu suất vượt trội trong môi trường sản xuất. Phiên bản đầu tiên của kiến ​​trúc tham chiếu WARRP hiện có sẵn để tải xuống và những người tham dự Siêu máy tính 2024 có thể ghé thăm gian hàng của WEKA để tìm hiểu thêm và xem bản demo.