Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã công bố DGX Cloud Serverless Inference, một giải pháp suy luận AI mới giúp đơn giản hóa việc triển khai ứng dụng trên nhiều môi trường. Được hỗ trợ bởi NVIDIA Cloud Functions, nền tảng này quản lý liền mạch khối lượng công việc AI, điện toán hiệu suất cao và các ứng dụng được chứa trong container. Triển khai một lần và mở rộng quy mô trên toàn cầu, loại bỏ sự phức tạp của việc thiết lập cơ sở hạ tầng đa cụm.

Các nhà cung cấp phần mềm độc lập (ISV) thường phải đối mặt với những thách thức trong việc mở rộng quy mô các ứng dụng AI trên toàn cầu. Giải pháp suy luận AI không cần máy chủ của NVIDIA giải quyết những thách thức này bằng cách cung cấp một phương pháp triển khai nhất quán giúp trừu tượng hóa sự phức tạp của cơ sở hạ tầng trên nhiều đám mây và trung tâm dữ liệu, giúp ISV dễ dàng triển khai các ứng dụng gần với cơ sở hạ tầng của khách hàng.

Nền tảng DGX Cloud Serverless Inference hoạt động như một bộ tổng hợp theo chiều ngang, cho phép ISV kết hợp các tài nguyên từ nhiều nguồn khác nhau, bao gồm NVIDIA, các đối tác đám mây, đám mây riêng và năng lực tại chỗ. Tính linh hoạt này đặc biệt có lợi cho các ISV muốn mở rộng năng lực hoặc khám phá các nhà cung cấp đám mây mới mà không cần đầu tư dài hạn.

Giải pháp của NVIDIA cho phép các nhà phát triển mở rộng khối lượng công việc AI trên các môi trường đám mây bằng cách sử dụng một điểm cuối API duy nhất. Phương pháp này tạo điều kiện cho việc cân bằng tải toàn cầu và tự động mở rộng, cung cấp tính linh hoạt đa đám mây cho nhiều khối lượng công việc khác nhau. Nền tảng này hỗ trợ nhiều khối lượng công việc được chứa trong container, bao gồm AI, đồ họa và khối lượng công việc, và tương thích với bộ công nghệ AI và mô phỏng của NVIDIA. ISV có thể bắt đầu với DGX Cloud Serverless Inference bằng cách tận dụng các container và bản thiết kế microservices của NVIDIA hoặc tích hợp các container tùy chỉnh để triển khai phức tạp hơn.