Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

"Cerebras Systems đã công bố một sự gia tăng đáng kể về hiệu suất AI, đạt được hơn 1.500 token mỗi giây trên suy luận DeepSeek-R1-Distill-Llama-70B. Tốc độ được báo cáo là nhanh hơn 57 lần so với các giải pháp dựa trên GPU hiện có, giúp tăng tốc đáng kể quá trình xử lý các tác vụ AI phức tạp. Hagay Lupesko, Phó chủ tịch cấp cao của AI Cloud tại công ty, đã nhấn mạnh đến việc chuyển đổi các quy trình suy luận dài thành các phản hồi gần như tức thời, cho biết điều này có thể thay đổi cách các nhà phát triển và doanh nghiệp tận dụng các mô hình AI tiên tiến.

Được hỗ trợ bởi Cerebras Wafer Scale Engine, nền tảng của công ty đã chứng kiến ​​những cải tiến đáng kể về hiệu suất thực tế. Ví dụ, một lời nhắc mã hóa tiêu chuẩn mất 22 giây trên các nền tảng khác chỉ hoàn thành trong 1,5 giây trên Cerebras, thể hiện sự cải thiện 15 lần về thời gian phản hồi. Sự cải tiến này dự kiến ​​sẽ tạo điều kiện triển khai thực tế các mô hình suy luận nâng cao thường đòi hỏi nhiều tài nguyên tính toán.

Cerebras đã tích hợp các khả năng suy luận nâng cao của mô hình Hỗn hợp chuyên gia (MoE) 671B tham số của DeepSeek vào kiến ​​trúc Llama do Meta-developed của mình. Kích thước tham số 70B hiệu quả của mô hình vẫn vượt trội hơn các mô hình lớn hơn trong các tác vụ toán học và mã hóa phức tạp. Lupesko cũng nhấn mạnh cam kết của công ty đối với bảo mật và quyền riêng tư, lưu ý rằng tất cả các yêu cầu suy luận đều được xử lý trong các trung tâm dữ liệu tại Hoa Kỳ và có chính sách lưu giữ dữ liệu bằng không nghiêm ngặt, đảm bảo dữ liệu vẫn ở Hoa Kỳ và thuộc quyền sở hữu duy nhất của khách hàng.

Mô hình DeepSeek-R1-Distill-Llama-70B hiện có sẵn thông qua Cerebras Inference, với quyền truy cập API được cung cấp cho một số khách hàng thông qua chương trình xem trước dành cho nhà phát triển. Các bên quan tâm muốn tận dụng các khả năng suy luận tức thời này cho các ứng dụng của họ có thể truy cập trang web Cerebras để biết thêm thông tin. Cerebras Systems tiếp tục hỗ trợ nhiều khách hàng khác nhau, bao gồm các doanh nghiệp hàng đầu, viện nghiên cứu và cơ quan chính phủ, trong quá trình phát triển các mô hình và ứng dụng AI sáng tạo."