Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Amazon Web Services (AWS) vừa công bố hợp tác với Cerebras Systems để giới thiệu giải pháp suy luận AI nhanh nhất dành cho các ứng dụng AI tạo sinh. Giải pháp mới này, dự kiến ​​ra mắt trong vài tháng tới, sẽ được cung cấp thông qua Amazon Bedrock và được thiết kế để nâng cao đáng kể hiệu suất của các tác vụ suy luận AI. Sự hợp tác này sẽ tích hợp các máy chủ được hỗ trợ bởi AWS Trainium với hệ thống Cerebras CS-3, tận dụng mạng Elastic Fabric Adapter để tối ưu hóa quy trình.

Sáng kiến ​​này nhằm giải quyết nút thắt cổ chai về tốc độ trong suy luận AI, đặc biệt là đối với các khối lượng công việc yêu cầu phản hồi thời gian thực, chẳng hạn như hỗ trợ lập trình và các ứng dụng tương tác. Bằng cách phân chia khối lượng công việc suy luận giữa Trainium và CS-3, mỗi hệ thống có thể tập trung vào những gì nó làm tốt nhất, dẫn đến sự tăng đáng kể về tốc độ và hiệu suất suy luận. Trainium của AWS được tối ưu hóa cho giai đoạn điền trước dữ liệu của quá trình suy luận, trong khi Cerebras CS-3 được thiết kế riêng cho giai đoạn giải mã, thường là phần tốn nhiều thời gian nhất của quy trình.

Cerebras Systems, nổi tiếng với việc tạo ra cơ sở hạ tầng AI nhanh nhất thế giới, sẽ được hưởng lợi từ sự hợp tác này bằng cách mang khả năng suy luận tốc độ cao của mình đến với cơ sở khách hàng toàn cầu của AWS. Giải pháp suy luận phân tán sẽ cho phép các doanh nghiệp trên toàn thế giới truy cập vào các khả năng nâng cao này trong môi trường AWS hiện có của họ. Quan hệ đối tác này đánh dấu AWS là nhà cung cấp dịch vụ đám mây đầu tiên cung cấp giải pháp suy luận phân tán của Cerebras, độc quyền thông qua Amazon Bedrock.

Phương pháp kỹ thuật này, được gọi là phân tách suy luận, tách quá trình suy luận AI thành hai giai đoạn riêng biệt: điền trước dữ liệu và giải mã. Bằng cách tận dụng AWS Trainium cho giai đoạn điền trước dữ liệu và Cerebras CS-3 cho giai đoạn giải mã, giải pháp được thiết kế để tối ưu hóa các thách thức tính toán riêng biệt của từng giai đoạn. Sự phân tách chiến lược này, kết hợp với mạng EFA băng thông cao, dự kiến ​​sẽ mang lại hiệu suất suy luận nhanh hơn gấp nhiều lần so với các giải pháp hiện có.