rinna (Shibuya-ku, Tokyo) mengumumkan bahwa mereka telah mengembangkan dan merilis seri "Gemma 2 Baku 2B", yang telah meningkatkan kemampuan bahasa Jepang, berdasarkan model bahasa skala besar Google "Gemma 2 2B." Perusahaan telah berkontribusi terhadap pengembangan teknologi AI di Jepang dengan merilis model dasar seperti GPT, BERT, HuBERT, CLIP, dan Stable Diffusion. Model yang dipublikasikan telah diunduh lebih dari 6,9 juta kali melalui Hugging Face dan mendapat lebih dari 1.100 suka.

Seri "Gemma 2 Baku 2B" merupakan versi Gemma 2 2B dengan 2,6 miliar parameter yang menjalani pra-pembelajaran berkelanjutan menggunakan 80 miliar token data pembelajaran bahasa Jepang dan Inggris. Seri ini juga mencakup Instruksi Gemma 2 Baku 2B, yang mengikuti instruksi dan cocok untuk interaksi manusia. Pengguna dapat dengan mudah mencobanya di Hugging Face's Spaces. Nama model "Baku" berasal dari monster Jepang "Baku".

Berdasarkan hasil benchmark LLM Jepang MT-Bench Jepang dan Harness Evaluasi LM Jepang, terungkap bahwa seri "Gemma 2 Baku 2B" telah meningkatkan performa Jepang dibandingkan "Gemma 2 2B" asli. Secara khusus, "Instruksi Gemma 2 Baku 2B" memiliki skor lebih tinggi daripada "Instruksi Llama 3 Youko 8B" yang memiliki lebih banyak parameter. Hasil benchmark terperinci dapat ditemukan di situs Hugging Face.

Rinna mengatakan bahwa dengan munculnya ChatGPT, teknologi pembuatan teks telah banyak digunakan, dan penting untuk mengembangkan model yang disesuaikan dengan tujuan tersebut. Perusahaan telah memanfaatkan pengalamannya untuk memberikan solusi khusus yang disebut "Tamashiru Custom", dan berencana untuk melanjutkan penelitian dan pengembangan dengan tujuan penerapan AI secara sosial dan mempublikasikan hasilnya. Siapapun yang tertarik dengan AI generatif atau LLM kustom dapat menghubungi rinna.