Amazon Web Services memperluas kemitraannya dengan NVIDIA untuk mengintegrasikan layanan mikro NVIDIA NIM ke dalam layanan AI guna mendukung inferensi AI dan mengurangi latensi untuk aplikasi AI generatif. Langkah ini, yang diumumkan pada konferensi AWS re:Invent, bertujuan untuk menyederhanakan penerapan model AI dan memberikan solusi inferensi yang dioptimalkan NVIDIA kepada pengembang melalui AWS Marketplace, Amazon Bedrock Marketplace, dan Amazon SageMaker JumpStart.

Layanan mikro NIM NVIDIA, yang merupakan komponen rangkaian perangkat lunak NVIDIA AI Enterprise, dirancang untuk memfasilitasi penerapan inferensi model AI yang berkinerja tinggi dan andal. Dengan memanfaatkan mesin tangguh seperti NVIDIA Triton Inference Server dan TensorRT, layanan ini saat ini dapat diakses di AWS dan mendukung berbagai model AI. Pengembang dapat memanfaatkan layanan ini di berbagai platform AWS, termasuk EC2, EKS, dan SageMaker, dan menerapkan lebih dari 100 kontainer siap pakai dari katalog API NVIDIA.

Ketersediaan layanan mikro NIM di AWS menguntungkan pelanggan dan mitra di berbagai sektor, memungkinkan mereka menjalankan aplikasi AI generatif dengan lebih cepat sekaligus menjaga keamanan dan mengurangi biaya. Penyedia layanan digital SoftServe telah mengembangkan beberapa solusi AI di AWS, yang dipercepat oleh NVIDIA NIM. Solusi ini, berdasarkan Cetak Biru NVIDIA AI, dirancang untuk mempercepat pengembangan aplikasi AI dan tersedia di AWS Marketplace.

Pengembang yang tertarik menggunakan layanan mikro NVIDIA NIM dapat menyesuaikan penerapannya di AWS untuk memenuhi kebutuhan spesifik mereka. Dapatkan AI berkinerja tinggi di seluruh layanan AWS dengan akses ke berbagai kontainer inferensi yang dioptimalkan NVIDIA. Untuk menjelajahi model yang tersedia, pengembang dapat mengunjungi Katalog API NVIDIA dan meminta lisensi pengembang atau uji coba perangkat lunak NVIDIA AI Enterprise.