Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

Cerebras Systems は、Sandia National Laboratories と共同で、単一の CS-3 システムで 1 兆のパラメータ モデルをトレーニングすることに成功し、AI モデル トレーニングで大きな進歩を遂げました。NeurIPS 2024 で発表されたこの成果は、通常、膨大な数の GPU とハードウェア専門家の専任チームを必要とする大規模言語モデル (LLM) の分野における顕著な進歩を示しています。

Siva Rajamanickam が率いる Sandia の研究者は、大規模なインフラストラクチャと専門家の介入を必要とせず、Cerebras CS-3 システム 1 つだけを使用してこの巨大なモデルをトレーニングすることに成功しました。このモデルは後に 16 の CS-3 システムに拡張され、この技術が簡単にスケールアップしてパフォーマンスを維持できることを示しました。

MemoryX デバイスを含む Cerebras Wafer Scale Cluster 技術は、この開発に重要な役割を果たしました。 MemoryX は 55 テラバイトの容量を備えており、モデルの重みを保存できるため、兆単位のパラメータ モデルのトレーニング プロセスが簡素化されます。このアプローチは、数千の GPU を複雑かつ時間を要するセットアップで構成する従来の方法とは大きく異なります。

このコラボレーションの成功は、CS-3 システムの優れたスケーラビリティと速度を実証し、16 のシステムで 15.3 倍の高速化を達成しました。このレベルの効率性と AI トレーニングおよびモデル開発の簡素化により、Cerebras は AI 研究およびアプリケーションのための包括的なソリューションとして位置付けられています。Cerebras Systems の AI アクセラレーションにおけるイノベーションの詳細については、同社の Web サイトをご覧ください。