Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

PKSHA Technology（東京都文京区）は、2023年8月29日から31日まで浅草橋ヒューリックホールで開催された「YANS2023 NLP若手の会（YANS）第18回シンポジウム（2023）」で、テキスト文や文章をコンピューターが理解しやすいベクトル形式に変換する手法「文埋め込み」を高精度に実現する2つのモデル「日本語に特化した文埋め込みモデル」及び「多言語対応文埋め込みモデル」について発表した。これらのモデルは、大規模言語モデル（Learge Languege Model、以下LLM）活用においても親和性が高く、今後PKSHAが独自開発する「PKSHA LLMS」の重要な構成要素として活用される予定だ。「日本語に特化した文埋め込みモデル」は、日本語の言語データが少ないという課題を解決するために開発された。複数の異なるタスクに関連するデータを組み合わせて新たなデータを作成し、2段階の学習を適用することで、文章の意味の近さを判定するタスクや、学習していない分野に対する検索タスクで、先行手法と比較して同等かそれ以上の成果を得ることができた。このモデルは、GLuCoSE（General Luke-based Contrastive Sentence Embedding）という名称で公開されている。一方、「多言語対応文埋め込みモデル」は、世界の言語（日本語、英語、中国語など）を統一的に扱えるようにするために開発された。異なる言語を統一的に扱えるように拡張した手法である「Multilingual Sentence T5」を提案し、大規模な言語モデルを効率的に学習可能な「LoRA」を採用した。その結果、さまざまな実験において、既存の手法を上回る性能を達成することができた。PKSHA Technologyは、「人とソフトウェアの共進化」というビジョンのもと、LLMをはじめとする多様なAIの社会実装に取り組んでいる。今回の研究成果を元に「PKSHA LLMS」の高度化を実現し、研究開発とビジネス（AI Solution/AI SaaS）をより密接に連携しながら今後もLLMの社会実装を加速すべく尽力するとしている。