Karakuri (Chuo-ku, Tokyo) mengumumkan bahwa mereka adalah perusahaan pertama di dunia yang berhasil mempelajari model MoE di AWS Trainium menggunakan "Program Dukungan Pengembangan AWS LLM" AWS Jepang. Model bahasa skala besar baru "KARAKURI LM 8x7B Chat v0.1" menerima skor tertinggi sebagai model terbuka domestik dan dirilis pada 7 Mei 2024.

Di tengah kekurangan GPU, sebuah trik yang menunjukkan kemungkinan baru untuk akselerator AI dengan menggunakan AWS Trainium. Perusahaan telah melakukan penelitian dan pengembangan dengan tujuan mengembangkan AI generatif yang tidak bergantung pada GPU. AWS Trainium dikatakan mampu mengurangi biaya pelatihan hingga 50%, dan biaya pengembangan kali ini berhasil ditekan hingga sekitar 300.000 yen.

Karakuri terpilih untuk "Program Dukungan Pengembangan AWS LLM" pada bulan September 2023, dan memulai pengembangan "KARAKURI LM 70B Chat v0.1" dengan 70 miliar parameter. Model baru "KARAKURI LM 8x7B Chat v0.1" yang menggunakan metode MoE juga mendapat pujian yang tinggi.

Biaya pengembangan untuk "KARAKURI LM 8x7B Chat v0.1" kurang lebih 300.000 yen, dan waktu pembelajaran 12 jam sehingga efisien. Dengan mewujudkan pengembangan berbiaya rendah ini, diharapkan LLM yang disesuaikan akan dimanfaatkan dalam industri keuangan dan medis.