Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

カラクリ（東京都中央区）はAWSジャパンの「AWS LLM 開発支援プログラム」を利用し、AWS TrainiumでMoEモデルの学習に世界で初めて成功したと発表。新しい大規模言語モデル「KARAKURI LM 8x7B Chat v0.1」は、国産オープンモデルとして最高点を獲得し、2024年5月7日に公開された。

GPU不足の中、AWS Trainiumを使用することで、AIアクセラレーターの新たな可能性を示したカラクリ。同社は、GPUに依存しない生成AIの発展を目指し、研究開発を進めてきた。AWS Trainiumは、トレーニングコストを最大50%削減できるとされ、今回の開発費用は約30万円に抑えられた。

カラクリは2023年9月に「AWS LLM 開発支援プログラム」に採択され、700億パラメーターの「KARAKURI LM 70B Chat v0.1」開発を開始。MoE方式を採用した新モデル「KARAKURI LM 8x7B Chat v0.1」も高い評価を受けている。

「KARAKURI LM 8x7B Chat v0.1」の開発コストは約30万円、学習時間は12時間と効率的。この低コストでの開発が実現することで、金融・医療業界などでのカスタマイズされたLLMの活用が期待されている。