Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

GenerativeX（東京都渋谷区）は、金融業界向けに開発した大規模言語モデル（以下LLM）のファインチューニングパラメーターを公開すると発表した。金融業界では、様々な定量情報を正確に扱う必要があり、高性能なLLMが必要とされている。しかし、ChatGPTのような性能の高いLLMでは社外へとデータを送信する必要があり、センシティブな情報を扱う金融業界ではLLMの活用が限定的であるという課題があったという。そこでGenerativeXは、オープンソースでも最大規模の700億パラメータを誇るMeta社のLlama2モデルに対して、金融業界の知識をファインチューニングにより補完することで、金融領域における高い性能を持ちながらもオンプレミスでの運用が可能な独自のLLM（LoRAアダプター）を開発・公開した。

GenerativeXは、オープンソースモデルの中でも最大規模のLlama2（Llama-70B）をベースとし、金融領域に特化したパブリックなデータセットを用いたファインチューニングを行った。モデルの学習には、LoRAや量子化などの技術と、高性能GPUを利用することで、短期間で効率的に実施することが可能となった。このモデルは、一般的なLLMに比べて金融関連の質問への回答精度が向上した。今後も、銀行、証券、保険など金融領域に特化したユースケースに対応したモデルの開発を進めるとのことだ。

金融業界では、単純な数値の解析や取り扱いだけでなく、その数値から具体的なビジネス上の示唆や戦略的洞察を導き出す能力が求められるという。この点を考慮してGenerativeXは、金融業界の特性を理解し、そのニーズに応える形でファインチューニングを施したモデルを開発した。具体的には、数値から金融業界特有の示唆や解釈を生成する能力を持たせることで、実務における意思決定の支援やビジネスの高度化に寄与するという。

本モデルの開発は、NVIDIA社の最新GPU「NVIDIA H100 Tensor コアGPU (以下 NVIDIA H100」)を利用して実施された。これは、GMOインターネットグループが2023年8月より国内ホスティング事業者としては初めて「NVIDIA H100」を利用できるGPUホスティングサービスとして提供を開始した「ConoHa byGMO」のトライアル版にGenerativeXが採用されたことで実現したという。GenerativeXは今後も、「ConoHa byGMO」のサービスを活用しモデルの開発等を進めると述べている。