Turing（千葉県柏市）は、日本語を含む複数言語対応の大規模マルチモーダル学習ライブラリー「Heron（ヘロン）」と、それにより学習した最大700億パラメータのモデル群を公開した。Turingは、視覚情報を人間のように言語化して高度な文脈を理解できるAIモデルの開発に取り組んでおり、今回公開したマルチモーダルモデルの学習技術と知見を生かし、完全自動運転に向けた開発を進めていくとのことだ。マルチモーダルとは、入力の形態（モーダル）が複数あることを指す。例えば、「洗面台に横たわる猫」の写真に対し、「この画像の面白い点は何ですか？」という質問に答えるためには、画像と言語の双方を入力情報として扱う必要がある。今回Turingが公開したマルチモーダルモデルは、画像認識用に事前学習された「画像エンコーダ」部分と「大規模言語モデル」部分、およびその間をつなぐ「アダプタ」部分から構成されている。Turingが開発したマルチモーダル学習ライブラリー「Heron」は、画像認識モデルと大規模言語モデルを接続し、各モジュールを追加学習するための学習コード、日本語を含むデータセット、および学習済みのモデル群から構成されている。Heronのモデル学習の最大の特長は、対話を含むデータセットを用いることにより、自然かつ適切な対話が可能となっている点だ。Turingは、完全自動運転の実現には人間と同等以上にこの世界を理解した自動運転AIが必要であると考え、言語を通じて極めて高いレベルでこの世界を認知・理解している、LLMを含むマルチモーダルモデルの開発を進めているという。