Cerebras Systems, bekerja sama dengan Sandia National Laboratories, telah membuat terobosan besar dalam pelatihan model AI dengan berhasil melatih 1 triliun model parameter pada satu sistem CS-3. Pekerjaan tersebut, yang diumumkan pada NeurIPS 2024, mewakili kemajuan signifikan dalam bidang model bahasa skala besar (LLM), yang biasanya membutuhkan sejumlah besar GPU dan tim ahli perangkat keras yang berdedikasi.

Peneliti Sandia yang dipimpin oleh Siva Rajamanickam mampu melatih model besar ini hanya dengan menggunakan satu sistem Cerebras CS-3, tanpa memerlukan infrastruktur ekstensif atau intervensi ahli. Model ini kemudian diperluas ke 16 sistem CS-3, menunjukkan bahwa teknologi tersebut dapat dengan mudah meningkatkan dan mempertahankan kinerja.

Teknologi Cerebras Wafer Scale Cluster, termasuk perangkat MemoryX, memainkan peran penting dalam pengembangan ini. MemoryX memiliki kapasitas 55 terabyte untuk menyimpan bobot model, menyederhanakan proses pelatihan untuk model triliunan parameter. Pendekatan ini sangat berbeda dari metode tradisional dalam mengonfigurasi ribuan GPU dalam pengaturan yang rumit dan memakan waktu.

Keberhasilan kolaborasi ini menunjukkan skalabilitas dan kecepatan superior sistem CS-3, mencapai kecepatan 15,3x pada 16 sistem. Tingkat efisiensi dan kesederhanaan pelatihan AI dan pengembangan model menempatkan Cerebras sebagai solusi komprehensif untuk penelitian dan aplikasi AI. Untuk mempelajari lebih lanjut tentang inovasi Cerebras Systems dalam akselerasi AI, kunjungi situs web mereka.