Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Cerebras Systems, phối hợp với Phòng thí nghiệm quốc gia Sandia, đã tạo ra bước đột phá lớn trong việc đào tạo mô hình AI bằng cách đào tạo thành công mô hình tham số 1 nghìn tỷ trên một hệ thống CS-3 duy nhất. Công trình được công bố tại NeurIPS 2024 thể hiện một bước tiến đáng kể trong lĩnh vực mô hình ngôn ngữ quy mô lớn (LLM), vốn thường yêu cầu số lượng lớn GPU và đội ngũ chuyên gia phần cứng tận tâm.

Các nhà nghiên cứu của Sandia do Siva Rajamanickam dẫn đầu đã có thể huấn luyện mô hình khổng lồ này chỉ bằng một hệ thống Cerebras CS-3 mà không cần cơ sở hạ tầng rộng lớn hoặc sự can thiệp của chuyên gia. Mô hình này sau đó đã được mở rộng thành 16 hệ thống CS-3, chứng tỏ rằng công nghệ này có thể dễ dàng mở rộng quy mô và duy trì hiệu suất.

Công nghệ Cụm quy mô wafer Cerebras, bao gồm các thiết bị MemoryX, đóng một vai trò quan trọng trong sự phát triển này. MemoryX có dung lượng 55 terabyte để lưu trữ trọng lượng mô hình, đơn giản hóa quy trình đào tạo cho các mô hình nghìn tỷ tham số. Cách tiếp cận này khác biệt đáng kể so với các phương pháp truyền thống cấu hình hàng nghìn GPU trong các thiết lập phức tạp và tốn thời gian.

Thành công của sự hợp tác này đã chứng minh khả năng mở rộng và tốc độ vượt trội của hệ thống CS-3, đạt được tốc độ tăng 15,3 lần trên 16 hệ thống. Mức độ hiệu quả và tính đơn giản của việc đào tạo và phát triển mô hình AI này giúp Cerebras trở thành một giải pháp toàn diện cho nghiên cứu và ứng dụng AI. Để tìm hiểu thêm về những đổi mới của Cerebras Systems trong khả năng tăng tốc AI, hãy truy cập trang web của họ.