Di NeurIPS 2024, Cerebras Systems mengumumkan CePO, kerangka kerja baru yang dirancang untuk meningkatkan kemampuan inferensi AI generatif. CePO, singkatan dari Cerebras Planning and Optimization, akan meningkatkan kinerja keluarga model Llama Meta. Kerangka kerja ini memungkinkan Llama 3.3-70B mengungguli pendahulunya Llama 3.1-405B pada berbagai benchmark sambil mempertahankan kecepatan 100 token per detik, menunjukkan peningkatan yang signifikan dalam model inferensi waktu pengujian.

Perusahaan menyoroti bahwa pengenalan CePO pada model Llama, yang diakui secara luas sebagai model bahasa skala besar (LLM) open source terkemuka, merupakan langkah maju yang penting bagi komunitas AI. Kemampuan kerangka kerja ini untuk melakukan inferensi tingkat lanjut tanpa meningkatkan ukuran model membedakannya dari model AI lainnya seperti OpenAI o1 dan Alibaba QwQ, yang juga memanfaatkan komputasi tambahan selama inferensi.

Ganesh Venkatesh, kepala ML terapan di Cerebras Systems, menyoroti pendekatan unik kerangka kerja ini, yang menggabungkan inferensi langkah demi langkah dengan analisis komparatif dan keluaran terstruktur. Metodologi ini memungkinkan Llama 3.3-70B bekerja dengan baik pada berbagai tolok ukur seperti MMLU-Pro (Math), GPQA, dan CRUX, dan menyoroti potensi teknik inferensi tingkat lanjut untuk meningkatkan kinerja model secara signifikan.

Cerebras Systems juga telah menunjukkan kemampuan unggul CePO untuk menangani tugas-tugas penalaran yang kompleks. Performanya sama baiknya atau lebih baik dibandingkan model AI terkemuka lainnya seperti GPT-4 Turbo dan Claude 3.5 Sonnet pada benchmark seperti CRUZ, LiveCodeBench, dan GPQA. Keberhasilan kerangka ini dalam tugas-tugas penalaran klasik semakin mendukung kemampuannya dalam melakukan penalaran yang sebenarnya. Saluran empat tahap CePO mencakup perencanaan langkah demi langkah dan analisis lintas eksekusi, dapat menghasilkan banyak rencana untuk pemeriksaan mandiri, dan optimalisasi perangkat keras Cerebras mempertahankan kinerja Masu yang cepat.

Andrew Feldman, CEO dan salah satu pendiri Cerebras Systems, mengatakan keseimbangan CePO antara peningkatan inferensi dan kecepatan interaktif membuka jalan bagi aplikasi AI baru. Dengan menyediakan teknik inferensi canggih ini dalam model Llama, perusahaan bertujuan untuk mendemokratisasi akses terhadap kemampuan AI tingkat lanjut. Cerebras berencana untuk menjadikan kerangka kerja CePO sebagai sumber terbuka untuk mendorong inovasi dan pengembangan lebih lanjut dalam inferensi AI oleh komunitas peneliti dan pengembang global.