Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

Cerebras Systems は、NeurIPS 2024 で、生成 AI の推論能力を強化するために設計された新しいフレームワーク CePO を発表しました。Cerebras Planning and Optimization の略称である CePO は、Meta の Llama モデル ファミリのパフォーマンスを向上させる予定です。このフレームワークにより、Llama 3.3-70B は、1 秒あたり 100 トークンの速度を維持しながら、さまざまなベンチマークで前身の Llama 3.1-405B を上回ることができ、テスト時間推論モデルにおける大きな成果を示しています。

同社は、主要なオープンソースの大規模言語モデル (LLM) として広く認識されている Llama モデルに CePO が導入されたことは、AI コミュニティにとって注目すべき前進であると強調しました。モデルのサイズを増やすことなく高度な推論を実行できるこのフレームワークの機能は、推論時に追加の計算も利用する OpenAI o1 や Alibaba QwQ などの他の AI モデルとは一線を画しています。

Cerebras Systems の応用 ML 責任者である Ganesh Venkatesh 氏は、段階的な推論と比較分析および構造化された出力を組み合わせたフレームワークの独自のアプローチを強調しました。この方法論により、Llama 3.3-70B は MMLU-Pro (Math)、GPQA、CRUX などのさまざまなベンチマークで優れた成績を収めることができ、高度な推論技術がモデルのパフォーマンスを大幅に向上させる可能性を示しています。

Cerebras Systems はまた、複雑な推論タスクの処理における CePO の優れた能力を実証しました。CRUZ、LiveCodeBench、GPQA などのベンチマークでは、GPT-4 Turbo や Claude 3.5 Sonnet などの他の主要な AI モデルと同等かそれ以上のパフォーマンスを発揮しました。このフレームワークが古典的な推論課題で成功したことは、真の推論を実行する能力をさらに裏付けています。 CePO の 4 段階パイプラインには、段階的な計画とクロス実行分析が含まれており、複数の計画を生成してセルフチェックを行うことができ、Cerebras のハードウェア最適化により高速パフォーマンスが維持されます。

Cerebras Systems の CEO 兼共同創設者である Andrew Feldman 氏は、CePO の強化された推論とインタラクティブな速度のバランスが新しい AI アプリケーションへの道を開くと述べました。これらの洗練された推論技術を Llama モデルで利用できるようにすることで、同社は高度な AI 機能へのアクセスを民主化することを目指しています。Cerebras は CePO フレームワークをオープンソース化し、世界中の研究者および開発者コミュニティによる AI 推論のさらなる革新と開発を促進する予定です。