Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

Weights & Biases Japanは、2023年7月より大規模言語モデル（LLM）の日本語性能を評価結果のランキングを公開する「Nejumi LLMリーダーボード」（以下、Nejumiリーダーボード）を運用してきた。このたび評価されたLLMモデルの数が20を超え、日本語性能評価のLLMモデルリーダーボードとしては日本最大級の規模になった。本ランキングはオンライン上で公開されており、評価に使われているコードは実行可能なWandBジョブ形式で公開されている。Nejumiリーダーボードでは、JGLUEデータセットを使ったモデル評価を行っている。JGLUEは、早稲田大学とYahoo！JAPAN研究所が構築・公開した日本語言語理解ベンチマークで、Nejumiリーダーボードでは、特にLLMの能力を測るのに重要と思われる5つのタスクを使っている。さまざまなモデルの評価結果を検証すると、OpenAI社のChatGPTを構成するGPT-4およびGPT-3.5の高スコアが際立っている。また、Meta社が公開したLlama 2モデルも非常に高いスコアを出しており、さらに追加データで学習したモデルも現れている。Nejumiリーダーボードでは、Stability AI社がLlama 2モデルをファインチューニングしたモデル、StableBeluga2が初めてGPT-3.5を超える結果を出した。LLMの開発には更なる発展が見られるが、その方向性が多様化していることにも注目が必要だ。また、より少ないパラメーター数のモデルでも性能を上げるための研究や、より幅広いダウンストリームタスクでのLLM活用が進むことに合わせて、性能評価もより多様化していくことが求められる。W＆B Japanは、国立情報学研究所（NII）の主宰するLLM-jpコラボレーションへの参画メンバーとして日本のLLM開発の課題を解決する開発に取り組んでいる。