Kelompok studi LLM-jp (NII, Universitas Tohoku, Universitas Tokyo, Waseda Tim Penelitian dan Pengembangan LLM, yang mencakup universitas dan organisasi lainnya, akan mulai mengembangkan model bahasa skala besar (LLM) kelas dunia yang akan berfungsi sebagai dasar untuk AI generatif. Sebagai langkah awal, LLM-jp akan mulai membangun LLM dengan 175 miliar parameter, 10 kali lipat skala LLM konvensional yang diproduksi di dalam negeri. AIST akan menyediakan AI Bridging Cloud (ABCI), yang merupakan sumber daya komputasi yang diperlukan untuk membangun LLM. Selain itu, untuk pengembangan di masa depan, perusahaan akan berkolaborasi dengan Tokyo Tech dan LLM-jp untuk membuat data bahasa yang diperlukan untuk pengembangan.

Dengan melakukan penelitian dan pengembangan dengan menyatukan pengetahuan data, algoritma, dan pemanfaatan sumber daya komputasi terkait konstruksi LLM yang dimiliki oleh AIST, Tokyo Tech, dan LLM-jp, kami akan menciptakan hasil yang berkontribusi pada penguatan daya saing industri Jepang dan penyelesaian permasalahan sosial. masalah. Teknologi AI adalah salah satu pilar yang mendukung industri di negara ini, dan sangat penting untuk efisiensi kerja guna mengimbangi berkurangnya tenaga kerja dan untuk pemanfaatan lebih lanjut data berskala besar yang dikumpulkan melalui Internet. Secara khusus, penelitian tentang LLM, yang merupakan elemen teknis AI yang menangani bahasa, sedang mengalami kemajuan. Namun jika hanya memanfaatkan LLM yang telah diteliti dan dikembangkan secara tertutup oleh perusahaan dan lembaga penelitian di luar Jepang, maka proses pembangunan LLM akan menjadi black box. Oleh karena itu, kekhawatiran seperti pelanggaran hak dan kebocoran informasi tidak dapat dihilangkan ketika menggunakan LLM. Untuk memanfaatkan LLM yang kuat berbahasa Jepang, perlu dibangun LLM produksi dalam negeri yang sangat transparan dan dapat digunakan dengan tenang, dimana proses konstruksi dan data yang digunakan jelas.

AIST sejauh ini telah melakukan penelitian dan pengembangan teknologi AI bekerja sama dengan lembaga penelitian nasional dan universitas. AIST dan NII menandatangani perjanjian kerjasama dan kerjasama pada tanggal 18 Januari 2019 mengenai pemanfaatan AIST ABCI dan kerjasama penelitian terkait AI. Pada tahun 2023, kami telah mencapai kesepakatan dengan NII untuk membangun LLM menggunakan ABCI dan berupaya membangun serta mengelola kumpulan data bersama berskala besar dan berkualitas tinggi. Secara paralel, AIST dan Tokyo Tech telah melakukan penelitian untuk membangun LLM. Pada bulan September 2023, NII melamar Program Dukungan Konstruksi Model Bahasa Skala Besar ke-2 ABCI, dengan AIST, Tokyo Tech, dan LLM-jp sebagai lembaga yang berpartisipasi, dan terpilih. Program Dukungan Konstruksi Model Bahasa Skala Besar, sebagai tanggapan terhadap meningkatnya permintaan untuk konstruksi LLM, memberikan kesempatan kepada pelamar terpilih untuk secara eksklusif menggunakan bagian tertentu dari ABCI (node ​​komputasi kinerja tinggi yang disebut node A) hingga 60 hari. Hal ini akan memungkinkan pembangunan LLM, yang membutuhkan sumber daya komputasi skala besar.

Sebagai langkah awal membangun LLM kelas dunia, LLM-jp akan mulai membangun LLM yang terbuka dan kuat dalam bahasa Jepang. Jumlah parameter yang mewakili skala LLM yang akan dibangun kali ini adalah 175 miliar, sama dengan skala GPT-3, LLM yang dibangun oleh OpenAI. AIST akan menyediakan ABCI sebagai sumber daya komputasi yang diperlukan untuk membangun LLM. Selain itu, AIST dan Tokyo Tech akan berkolaborasi dengan LLM-jp untuk membangun kumpulan data bersama berskala besar dan berkualitas tinggi yang diperlukan untuk pengembangan LLM. Melalui inisiatif ini, kami bertujuan untuk membangun LLM Jepang tingkat GPT-3 pertama yang tersedia secara terbuka di Jepang. Hal ini akan berkontribusi pada pengembangan teknologi AI yang memproses data multimodal menggunakan LLM, yang proses konstruksinya jelas dan sangat transparan, dan pada aplikasi robot AI generatif. Perusahaan juga berencana untuk menjelaskan lebih lanjut prinsip-prinsip LLM, sehingga mengarah pada terwujudnya kehidupan sosial di mana LLM dapat digunakan dengan tenang.