Cerebras Systems mengumumkan peningkatan signifikan dalam kinerja AI, mencapai lebih dari 1.500 token per detik pada inferensi DeepSeek-R1-Distill-Llama-70B. Kecepatannya dilaporkan 57 kali lebih cepat daripada solusi berbasis GPU yang ada, sehingga mempercepat pemrosesan tugas AI yang kompleks secara signifikan. Hagay Lupesko, SVP AI Cloud di perusahaan tersebut, menyoroti transformasi proses inferensi yang panjang menjadi respons yang hampir instan, dengan mengatakan bahwa hal ini dapat mengubah cara pengembang dan bisnis memanfaatkan model AI tingkat lanjut.

Didukung oleh Cerebras Wafer Scale Engine, platform perusahaan tersebut telah mengalami peningkatan dramatis dalam kinerja di dunia nyata. Misalnya, perintah pengodean standar yang memerlukan waktu 22 detik pada platform lain dapat diselesaikan hanya dalam waktu 1,5 detik pada Cerebras, yang menunjukkan peningkatan waktu respons sebesar 15 kali lipat. Peningkatan ini diharapkan dapat memfasilitasi penerapan praktis model inferensi tingkat lanjut yang biasanya memerlukan sumber daya komputasi yang signifikan.

Cerebras telah mengintegrasikan kemampuan inferensi tingkat lanjut dari model Mixture of Experts (MoE) 671B parameter milik DeepSeek ke dalam arsitektur Llama yang dikembangkan oleh Meta. Ukuran parameter 70B yang efisien dari model tersebut masih mengungguli model yang lebih besar dalam tugas matematika dan pengodean yang rumit. Lupesko juga menyoroti komitmen perusahaan terhadap keamanan dan privasi, dengan mencatat bahwa semua permintaan inferensi diproses dalam pusat data yang berbasis di AS dan memiliki kebijakan penyimpanan data nol yang ketat, yang memastikan data tetap berada di AS dan berada di bawah kepemilikan tunggal pelanggan.

Model DeepSeek-R1-Distill-Llama-70B saat ini tersedia melalui Cerebras Inference, dengan akses API yang diberikan kepada pelanggan terpilih melalui program pratinjau pengembang. Pihak yang berminat untuk memanfaatkan kemampuan inferensi instan ini untuk aplikasi mereka dapat mengunjungi situs web Cerebras untuk informasi lebih lanjut. Cerebras Systems terus mendukung berbagai klien, termasuk perusahaan terkemuka, lembaga penelitian, dan lembaga pemerintah, dalam pengembangan model dan aplikasi AI yang inovatif.