Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã nâng cao khả năng của NIM Operator, một công cụ giúp đơn giản hóa việc triển khai và quản lý các đường ống suy luận AI trên các cụm Kubernetes. Bản phát hành ban đầu của NIM Operator tập trung vào việc giảm khối lượng công việc của quản trị viên MLOps và Kubernetes bằng cách cho phép triển khai nhanh chóng, tự động mở rộng quy mô và cập nhật các dịch vụ vi mô NIM. Công cụ này cực kỳ hữu ích cho khách hàng và đối tác trong việc quản lý nhiều ứng dụng, từ chatbot đến khám phá thuốc ảo.

Nhóm Giải pháp máy tính của Cisco Systems đã tích hợp NIM Operator vào cơ sở hạ tầng AI của họ và tận dụng NVIDIA AI Blueprints để xây dựng một đường ống tạo ra tăng cường tìm kiếm. Theo Paniraja Koppa của Cisco Systems, NIM Operator đã hợp lý hóa đáng kể quy trình triển khai và cải thiện hiệu suất của các ứng dụng AI thông qua bộ nhớ đệm mô hình hiệu quả và quản lý thống nhất các dịch vụ NIM.

Bản cập nhật mới nhất, NVIDIA NIM Operator 2.0, giới thiệu việc triển khai và quản lý vòng đời cho các dịch vụ vi mô NVIDIA NeMo, rất cần thiết để xây dựng quy trình làm việc AI. Bản cập nhật bao gồm các định nghĩa tài nguyên tùy chỉnh Kubernetes (CRD) mới cho NeMo Customizer, Evaluator và Guardrails, giúp tinh chỉnh các mô hình ngôn ngữ dễ dàng hơn, cung cấp khả năng đánh giá toàn diện và thêm các kiểm tra an toàn vào các điểm cuối LLM.

Cam kết của NVIDIA trong việc đơn giản hóa việc triển khai quy trình công việc AI được thể hiện rõ qua khả năng của NIM Operator, hỗ trợ quản lý dễ dàng các hoạt động của Ngày 2 như nâng cấp liên tục, cấu hình đầu vào và tự động mở rộng quy mô. NIM Operator là một phần của NVIDIA AI Enterprise, cung cấp hỗ trợ doanh nghiệp và vá lỗi bảo mật chủ động, có sẵn trên NGC hoặc GitHub.