Kakao (Korea Selatan) adalah platform perpesanan dengan sekitar 49 juta pengguna, mewakili 93% populasi negara tersebut. Menghadapi tantangan teknis, tim teknik perusahaan memutuskan untuk bermigrasi ke Google Cloud TPU dan mengadopsi kerangka kerja JAX, yang memecahkan masalah skalabilitas dan membuka jalan baru untuk pengembangan model AI.

Kakao secara strategis bermigrasi dari GPU ke Google Cloud TPU untuk pengembangan model AI, mengoptimalkan biaya dan efisiensi sekaligus memungkinkan pengembangan model AI skala besar menggunakan kerangka kerja JAX. Keluarga model Kanana perusahaan telah dirilis sebagai sumber terbuka di Hugging Face Hub.

KakaoTalk menawarkan beragam layanan selain pesan teks, termasuk obrolan menggunakan gambar dan stiker, panggilan suara dan video, keuangan, dan navigasi. Model bahasa perusahaan harus mampu memahami bahasa Korea dan mendukung berbagai aplikasi. Persyaratan produk ini sangat memengaruhi keputusan teknis.

Tim teknis Kakao sedang melatih model pakar campuran menggunakan kerangka kerja JAX dan jalur data khusus dari MaxText. Ryu Minho dan Kim Nayeon memberikan detail implementasi spesifik dan pengantar mendetail tentang upaya teknis mereka.