ELYZA（東京都文京区）は、Meta Platforms, Inc.が開発した大規模言語モデル「Llama 2」に対して日本語の追加学習を行い、70億パラメータの日本語大規模言語モデル「ELYZA-japanese-Llama-2-7b」を開発し、公開したと発表した。このモデルは、公開されている日本語の大規模言語モデルとしては最大級の規模だという。また、研究や商業目的での利用が可能となっている。性能評価の結果、1750億パラメータを有する「GPT-3.5 （text-davinci-003）」に匹敵するスコアが算出され、日本語の公開モデルの中で最高水準の性能を示している。日本では、多くの企業が日本語の大規模言語モデルの開発に取り組んでいるが、2兆トークンものテキストで学習された「Llama 2」などと比較すると、まだ小規模なものが多いのが現状だという。その背景には、計算リソースの不足や、日本語のテキストデータの少なさなどがある。しかし、ELYZAでは、他の言語で学習された大規模言語モデルの能力を日本語に引き継ぎ、日本語での学習量を減らすことで、日本語の大規模言語モデルの研究開発を加速させることができると考えている。今回開発した「ELYZA-japanese-Llama-2-7b」は、Metaの「Llama-2-7b-chat」に対して、約180億トークンの日本語テキストで追加学習を行ったモデルだ。学習には、OSCARやWikipediaなどの日本語テキストデータが使用された。また、ELYZA独自の事後学習を施した「ELYZA-japanese-Llama-2-7b-instruct」や、日本語の語彙追加により高速化を行った「ELYZA-japanese-Llama-2-7b-fast-instruct」もあるという。ELYZAは、今後も日本全体の大規模言語モデルの活用や技術力向上を加速する目的で、得られた成果を商用利用可能な形で公開し、または企業案件を通じて社会に還元していくとしている。