Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Các tác nhân AI hiện nay ngày càng trở nên tinh vi hơn nhờ sự tích hợp các hệ thống Tăng cường và Tạo tìm kiếm (RAG) giúp nâng cao khả năng của các Mô hình Ngôn ngữ Lớn (LLM). Các hệ thống này sử dụng cơ sở tri thức để cung cấp ngữ cảnh, cải thiện độ chính xác của các phản hồi do LLM tạo ra. Trong quá trình này, máy chủ RAG xử lý một truy vấn, truy xuất các vectơ ngữ cảnh có liên quan từ cơ sở dữ liệu vectơ, kết hợp ngữ cảnh này với truy vấn, sau đó gửi đến dịch vụ LLM để tạo ra phản hồi.

NVIDIA RAGBlueprint là một ví dụ tham khảo để đẩy nhanh việc áp dụng RAG trong doanh nghiệp. Bản thiết kế này cung cấp một bộ thành phần mô-đun được thiết kế cho các giai đoạn khác nhau của quy trình RAG, bao gồm thu thập dữ liệu, số hóa vector, thu thập thông tin và tạo dữ liệu. Nó cũng cung cấp nhiều tùy chọn cấu hình để tùy chỉnh hệ thống đáp ứng các nhu cầu cụ thể, bao gồm lọc siêu dữ liệu và viết lại truy vấn. Khách hàng có thể lựa chọn giữa thiết lập Docker đơn giản hoặc triển khai Kubernetes mạnh mẽ hơn để đáp ứng các yêu cầu đa dạng của tổ chức mình.

Các tổ chức thường gặp khó khăn với tính không thể dự đoán được của khối lượng công việc RAG, nơi nhu cầu có thể biến động mạnh. Điều này có thể dẫn đến việc cung cấp quá nhiều tài nguyên (dẫn đến việc sử dụng cơ sở hạ tầng không hiệu quả) hoặc cung cấp thiếu tài nguyên (dẫn đến chất lượng dịch vụ kém trong thời gian cao điểm). Để giải quyết vấn đề này, NVIDIA RAG Blueprint cung cấp hướng dẫn về cách triển khai tự động mở rộng quy mô cho các microservice quan trọng trong hệ thống RAG, đặc biệt là đối với các trường hợp sử dụng như chatbot dịch vụ khách hàng có yêu cầu nghiêm ngặt về hiệu suất và latency . Bằng cách tận dụng Kubernetes Horizontal Pod Autoscaling (HPA) và các microservice NVIDIA NIM, các doanh nghiệp có thể tự động mở rộng quy mô hệ thống của họ trong giới hạn được xác định trước và Service Level Agreement (SLA).

Hiểu rõ các yêu cầu về hiệu năng và tính toán của hệ thống RAG là rất quan trọng, đặc biệt là trong môi trường Kubernetes sản xuất. Các chỉ số như latency và thông lượng rất cần thiết để mở rộng quy mô dịch vụ và lập kế hoạch tài nguyên cụm. Các trường hợp sử dụng khác nhau có các yêu cầu service-level agreement (SLA) khác nhau về tải hiệu năng, tính đồng thời và latency. Ví dụ, một chatbot dịch vụ khách hàng có thể cần mở rộng quy mô từ 100 lên 300 yêu cầu đồng thời và duy trì thời gian phản hồi nhanh để mang lại trải nghiệm khách hàng tuyệt vời. Điều này yêu cầu Thời gian đến Token đầu tiên (TTFT) nhỏ hơn 2 giây và thời gian phản hồi đầu cuối nhỏ hơn 20 giây.

Tóm lại, NVIDIA RAGBlueprint cung cấp một khung tổng thể để triển khai và mở rộng quy mô hệ thống RAG, cho phép chúng xử lý hiệu quả nhiều loại khối lượng công việc khác nhau trong khi vẫn duy trì chất lượng dịch vụ cao. Cách tiếp cận này không chỉ tối ưu hóa việc sử dụng tài nguyên mà còn cải thiện trải nghiệm người dùng tổng thể bằng cách cung cấp phản hồi kịp thời và chính xác.