Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Cerebras ra mắt siêu máy tính AI CS-3 được hỗ trợ bởi WSE-3
Generatived
8:18 14/3/24
Cerebras Systems gần đây đã củng cố vị thế của mình trong ngành AI bằng cách giới thiệu Wafer-Scale Engine 3 (WSE-3), có hiệu suất gấp đôi so với phiên bản tiền nhiệm trong khi vẫn duy trì mức tiêu thụ năng lượng và giá cả như cũ. Là trung tâm của siêu máy tính AI Cerebras CS-3, WSE-3 được thiết kế để xử lý việc đào tạo mô hình AI sâu rộng nhất trong ngành và có quy trình 5nm, 4 nghìn tỷ bóng bán dẫn và 125 petaflop AI đỉnh cao. Nó có hiệu suất cao nhất.
Được hỗ trợ bởi WSE-3, siêu máy tính CS-3 được điều chỉnh để quản lý các mô hình AI với tối đa 24 nghìn tỷ tham số và cung cấp hệ thống bộ nhớ đạt 1,2 petabyte. Tính năng này cho phép bạn đào tạo các mô hình lớn hơn 10 lần so với mô hình hiện tại của bạn mà không cần phân vùng, đơn giản hóa quy trình đào tạo và tăng năng suất của nhà phát triển. Khả năng mở rộng của CS-3 thể hiện rõ ở khả năng tinh chỉnh nhanh chóng các mô hình lớn hoặc huấn luyện chúng từ đầu trong một ngày khi được triển khai ở quy mô đầy đủ.
Cerebras cũng đã cập nhật khung phần mềm của mình để hỗ trợ PyTorch 2.0 cũng như các mô hình và kỹ thuật AI mới nhất, đảm bảo khả năng tương thích với độ thưa thớt năng động, không có cấu trúc và giảm đáng kể thời gian đào tạo. Giám đốc điều hành công ty Andrew Feldman nhấn mạnh khả năng của WSE-3 trong việc xử lý các tác vụ AI phức tạp và bày tỏ niềm tự hào về những tiến bộ đã đạt được kể từ khi ra đời bộ xử lý quy mô wafer.
Thiết kế của CS-3 ưu tiên hiệu quả sử dụng năng lượng và tính dễ sử dụng, mang lại hiệu suất tính toán vượt trội với yêu cầu về không gian và năng lượng tối thiểu so với GPU. Đơn giản hóa việc đào tạo các mô hình ngôn ngữ quy mô lớn (LLM), giảm số lượng mã cần thiết và hỗ trợ các mô hình có kích thước khác nhau ở chế độ song song dữ liệu. Cerebras đã nhận thấy nhu cầu mạnh mẽ về CS-3 trên nhiều lĩnh vực khác nhau, bao gồm cả doanh nghiệp và chính phủ.
Quan hệ đối tác của Cerebra với Phòng thí nghiệm quốc gia Argonne, Phòng khám Mayo và các tổ chức khác phản ánh cam kết của công ty trong việc thúc đẩy nghiên cứu và ứng dụng AI. Ngoài ra, sự hợp tác với G42 sẽ tạo ra một trong những siêu máy tính AI lớn nhất thế giới và Condor Galaxy 3 sẽ sớm gia nhập mạng lưới, mở rộng hơn nữa khả năng tính toán AI do quan hệ đối tác chiến lược mang lại. Để biết thêm thông tin về CS-3, các bên quan tâm có thể truy cập trang web Cerebras.
Chia sẻ bài viết này:

