Cerebras SystemsとPetuumは、MBZUAIと協力して、英語とコーディングの両方のタスクを高精度で処理することに熟達した70億のパラメーターを備えた新しいAIモデルである「CrystalCoder」を導入した。言語またはコーディングのいずれかに特化していた以前のバージョンとは異なり、CrystalCoderは両方の分野で優れている。このモデルは、G42とCerebrasによって開発されたAIスーパーコンピューターであるCondor Galaxy 1でトレーニングされた。CrystalCoder-7Bは、再現性と責任あるAI実践を重視するLLM360方法論に準拠し、Hugging Faceからアクセスできるようになったという。
Petuum、MBZUAI、Cerebrasによる共同の取り組みであるLLM360方法論は、モデル複製のための包括的なリソースを提供することにより、生成AIのオープン性と安全性を強化することを目的としている。これには、Apache 2.0ライセンスに基づく360トレーニングチェックポイント、データ バケット、さまざまなスクリプトとツールの共有が含まれる。この取り組みは、高度なAIモデルをよりアクセスしやすく理解しやすくすることで研究を促進し、コラボレーションを促進するオープンソースコミュニティー内の広範な運動の一環だという。
CrystalCoderのパフォーマンスは注目に値する。コーディング精度ではStarCoderベースに匹敵し、言語タスクではLlamaやMPT-7Bなどのモデルと同等だ。この2つの熟練度は大幅な進歩を示し、コーディングと言語の両方の要件に効果的に対処する単一のモデルを開発者に提供する。以前は、どちらかのタスクに最適化されたモデルの間で選択を行う必要があったが、CrystalCoderは両方のドメインに統合されたソリューションを提供するとのことだ。
出典：プレスリリース
