Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

オルツ（東京都港区）は、パーソナルAIの開発および実用化を行う企業で、小規模GPUマシンで実用的な、パラメータ数が最適化された新たな大規模言語モデル「LHTM-OPT（ラートム・オプト）」を開発し、日本語商用プライベートLLM（大規模言語モデル）として最高性能を記録したと発表した。この評価は「Rakuda」LLMベンチマークによるもので、国内の大規模言語モデルの中での比較として国内トップ性能を達成したものだ。

大規模パラメータの大規模言語モデルは膨大な計算リソースとエネルギーを必要とするため、環境に対する負荷の増大が懸念されている。そのため、現在は軽量でありながら大規模モデルと同等の精度を実現するための小規模パラメータモデルの研究が活発化している。オルツは、このような社会課題を解決する生成AI開発に積極的かついち早く取り組みはじめ、小規模パラメータモデルである「LHTM-OPT」の開発に成功したという。

オルツが提供する大規模言語モデル「LHTM-2」は、パラメータ数が膨大で調整の自由度が非常に高く設定されている。それに対して、「LHTM-OPT」は、そのパラメータを小規模GPUマシンでも実行可能であり、実用に最適化された軽量型モデルだ。「LHTM-OPT」の開発に当たり、オルツはオープンデータの学習だけでなく、独自の指示データや対話データのデータセットを作成し、精度を改善してきたという。

「LHTM-OPT」の評価スコアが1152になり、2023年10月19日時点で日本国内で最高レベルに達した。また、日本語言語理解ベンチマーク「JGLUE（Japanese General Language Understanding Evaluation）」8タスク平均においても、商用モデルとして国内最高スコア56.12を記録したという。「LHTM-OPT」のJGLUE主要4タスク平均のスコアは75.08になっている。10Bパラメータ未満においてそれぞれのスコアを実現できたことは、グローバルレベルにおけるオルツの技術力の高さを示していると考えられるとのことだ。