Amazon Web Services (AWS) telah mengumumkan kemitraan dengan Cerebras Systems untuk memperkenalkan solusi inferensi AI tercepat untuk aplikasi AI generatif. Penawaran baru ini, yang diharapkan akan diluncurkan dalam beberapa bulan mendatang, akan tersedia melalui Amazon Bedrock dan dirancang untuk meningkatkan kinerja tugas inferensi AI secara signifikan. Kolaborasi ini akan mengintegrasikan server berbasis AWS Trainium dengan sistem Cerebras CS-3, memanfaatkan jaringan Elastic Fabric Adapter untuk mengoptimalkan prosesnya.

Inisiatif ini bertujuan untuk mengatasi hambatan kecepatan dalam inferensi AI, khususnya untuk beban kerja yang membutuhkan respons waktu nyata, seperti bantuan pengkodean dan aplikasi interaktif. Dengan membagi beban kerja inferensi antara Trainium dan CS-3, setiap sistem dapat fokus pada apa yang paling dikuasainya, sehingga menghasilkan peningkatan kecepatan dan kinerja inferensi yang substansial. Trainium AWS dioptimalkan untuk tahap pra-pengisian inferensi, sementara Cerebras CS-3 dirancang khusus untuk tahap dekode, yang seringkali merupakan bagian yang paling memakan waktu dalam proses tersebut.

Cerebras Systems, yang dikenal karena menciptakan infrastruktur AI tercepat di dunia, akan mendapatkan manfaat dari kolaborasi ini dengan menghadirkan kemampuan inferensi berkecepatan tinggi kepada basis pelanggan global AWS. Solusi inferensi terpisah ini akan memungkinkan perusahaan di seluruh dunia untuk mengakses kemampuan yang ditingkatkan ini dalam lingkungan AWS mereka yang sudah ada. Kemitraan ini menandai AWS sebagai penyedia cloud pertama yang menawarkan solusi inferensi terpisah Cerebras, secara eksklusif melalui Amazon Bedrock.

Pendekatan teknis, yang dikenal sebagai disagregasi inferensi, memisahkan proses inferensi AI menjadi dua tahap berbeda: pra-pengisian dan dekode. Dengan memanfaatkan AWS Trainium untuk pra-pengisian dan Cerebras CS-3 untuk dekode, solusi ini dirancang untuk mengoptimalkan tantangan komputasi unik dari setiap tahap. Disagregasi strategis ini, dikombinasikan dengan jaringan EFA berbandwidth tinggi, diharapkan dapat memberikan tingkat kinerja inferensi yang jauh lebih cepat daripada penawaran saat ini.