Stability AIは、最新のビジョン言語モデルである日本語InstructBLIP Alphaを導入した。この革新的なモデルは、画像のテキストによる説明を生成し、視覚的な入力に基づいて質問に答えることができる。日本語InstructBLIP Alphaは日本語StableLM Instruct Alpha 7Bに基づいて構築されており、視覚言語タスクにおける優れたパフォーマンスで知られるInstructBLIPアーキテクチャーを利用している。限られた日本のデータセットで機能を強化するために、モデルの一部は、大規模な英語のデータセットから事前にトレーニングされたInstructBLIPを使用して初期化され、その後、日本語のデータで微調整された。このモデルは、画像ベースの検索エンジン、シーンの説明とQ＆A、視覚障がい者向けの画像のテキスト説明の提供など、さまざまな分野で応用できる。さらに、東京スカイツリーや金閣寺など、画像内の日本固有のオブジェクトを正確に識別できる。さらに、日本語InstructBLIP Alphaは画像のみの入力に限定されない。テキストベースの質問を処理し、視覚的なコンテンツに基づいて正確な応答を生成できるため、研究者や開発者にとって多用途のツールになる。このモデルは、研究目的に限定して、テストやさらなるトレーニングのためにHugging Face Hubからアクセスできる。