Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã công bố phát hành NIM, một bộ vi dịch vụ suy luận AI tổng hợp được thiết kế để hỗ trợ việc triển khai AI của doanh nghiệp. Bằng cách tích hợp với KServe, một phần mềm nguồn mở giúp mở rộng quy mô triển khai các mô hình AI, NIM có sẵn trên nền tảng của nhiều công ty khác nhau, bao gồm Canonical, Nutanix và Red Hat. Sự hợp tác này nhằm mục đích đơn giản hóa việc triển khai các ứng dụng AI tổng quát và giúp chúng dễ quản lý hơn như các giải pháp doanh nghiệp quy mô lớn khác.

Sự hợp tác này mở rộng tầm ảnh hưởng của NVIDIA trong cộng đồng nguồn mở, cho phép người dùng tận dụng hiệu suất, hỗ trợ và bảo mật của nền tảng NVIDIA AI Enterprise bằng các lệnh gọi API đơn giản. Ra đời từ dự án Kubeflow, KServe là một hệ thống dựa trên Kubernetes giúp dễ dàng quản lý suy luận AI như một ứng dụng đám mây mạnh mẽ. Nó hỗ trợ nhiều khung AI, đặc biệt phù hợp với sự xuất hiện nhanh chóng của các mô hình ngôn ngữ quy mô lớn (LLM) mới và có các tính năng như triển khai canary để cập nhật mô hình và tự động thay đổi quy mô GPU để triển khai theo nhu cầu.

NIM của NVIDIA hợp lý hóa sự phức tạp của việc triển khai AI cho quản trị viên CNTT và cung cấp các số liệu cần thiết để có hiệu suất ứng dụng tối ưu. Tính dễ sử dụng dự kiến ​​sẽ thay đổi cách thức hoạt động của các công ty và các công ty như Foxconn và ServiceNow đã triển khai các dịch vụ vi mô NIM. Việc tích hợp với KServe giúp NIM có sẵn trên nhiều nền tảng Kubernetes, tăng khả năng tiếp cận các khả năng AI tổng hợp trên toàn doanh nghiệp.

Cam kết của NVIDIA đối với cộng đồng nguồn mở được tăng cường hơn nữa thông qua những đóng góp tích cực cho KServe và các dự án liên quan. Sự tham gia của công ty vào Tổ chức điện toán đám mây nhấn mạnh sự cống hiến của công ty trong việc hỗ trợ những tiến bộ trong AI sáng tạo. Các doanh nghiệp và nhà phát triển hiện có thể khám phá các khả năng của NIM thông qua Danh mục API NVIDIA. Nhiều đối tác trên khắp thế giới đang áp dụng công nghệ này để triển khai các giải pháp AI tổng quát. nước xốt: