Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Amazon Web Services mở rộng quan hệ đối tác với NVIDIA để tích hợp các vi dịch vụ NVIDIA NIM vào các dịch vụ AI nhằm hỗ trợ khả năng suy luận AI và giảm độ trễ cho các ứng dụng AI tổng hợp. Động thái này được công bố tại hội nghị AWS re:Invent nhằm mục đích hợp lý hóa việc triển khai các mô hình AI và cung cấp các giải pháp suy luận được tối ưu hóa cho NVIDIA cho các nhà phát triển thông qua AWS Marketplace, Amazon Bedrock Marketplace và Amazon SageMaker JumpStart.

Các dịch vụ vi mô NIM của NVIDIA, một thành phần của bộ phần mềm NVIDIA AI Enterprise, được thiết kế để tạo điều kiện thuận lợi cho việc triển khai suy luận mô hình AI đáng tin cậy, hiệu suất cao. Tận dụng các công cụ mạnh mẽ như NVIDIA Triton Inference Server và TensorRT, các dịch vụ này hiện có thể truy cập được trên AWS và hỗ trợ nhiều mô hình AI. Các nhà phát triển có thể tận dụng các dịch vụ này trên nhiều nền tảng AWS khác nhau, bao gồm EC2, EKS và SageMaker, đồng thời triển khai hơn 100 bộ chứa dựng sẵn từ danh mục API NVIDIA.

Sự sẵn có của các vi dịch vụ NIM trên AWS mang lại lợi ích cho khách hàng và đối tác trên nhiều lĩnh vực, cho phép họ triển khai các ứng dụng AI tổng hợp nhanh hơn trong khi vẫn duy trì tính bảo mật và giảm chi phí. Nhà cung cấp dịch vụ kỹ thuật số SoftServe đã phát triển nhiều giải pháp AI trên AWS, được tăng tốc bởi NVIDIA NIM. Các giải pháp này, dựa trên NVIDIA AI Blueprints, được thiết kế để tăng tốc độ phát triển ứng dụng AI và có sẵn trên AWS Marketplace.

Các nhà phát triển quan tâm đến việc sử dụng vi dịch vụ NVIDIA NIM có thể tùy chỉnh hoạt động triển khai trên AWS để đáp ứng nhu cầu cụ thể của họ. Nhận AI hiệu suất cao trên các dịch vụ AWS với quyền truy cập vào nhiều bộ chứa suy luận được NVIDIA tối ưu hóa. Để khám phá các mô hình có sẵn, nhà phát triển có thể truy cập Danh mục API NVIDIA và yêu cầu giấy phép dành cho nhà phát triển hoặc bản dùng thử phần mềm NVIDIA AI Enterprise.