Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

Googleによると、Google ResearchのGoogle AIチームの研究生のKuniaki Saito氏とResearch ScientistのKihyuk Sohn氏が、ゼロショット合成画像検索のために写真を単語にマッピングできるPic2Wordと呼ばれる新しいシステムを開発した。

画像の検索は検索エンジンの重要な機能であり、ユーザーは通常、画像またはテキストのいずれかをクエリーとして使用して、目的のターゲット画像を見つける。ただし、言葉を使って画像を正確に説明するのは難しい場合がある。 これは、ユーザーがウェブサイトで見つけたものとは異なる可能性のあるロゴの色やロゴ自体の色など、画像内の特定の属性を探しているときに問題を引き起こす。


Googleはこの問題に取り組むために、この記事では、ユーザーが画像とテキストサンプルの両方を組み合わせたクエリーに基づいて画像を取得できるようにする合成画像検索（CIR）を紹介している。テキストサンプルで​​意図した検索ターゲットに正確に一致するように画像を変更する方法について説明している。このアプローチで、画像情報とテキスト情報を組み合わせることで、目的の画像をより正確に検索できる。

ただし、既存のCIR手法では大量のラベル付きデータが必要であり、コストがかかる可能性があり、さまざまなデータセットに一般化する能力が制限されている。これらの課題を克服するために、この記事ではゼロショット合成画像検索（ZS-CIR）と呼ばれる新しいタスクを提案している。ZS-CIRの目標は、ラベル付きトリプレットデータに依存せずに、オブジェクトの構成、属性の編集、ドメイン変換などのさまざまなCIRタスクを実行できる単一のCIRモデルを構築することだ。

提案された方法では、ラベル付きデータの代わりに、大規模な画像とキャプションのペアとラベルのない画像を使用して検索モデルをトレーニングすることを提案している。このアプローチにより、データ収集が大幅に容易になり、大規模なモデルのトレーニングが可能になる。


トレーニングされたモデルの有効性は、さまざまなCIRタスクに関するさまざまな実験を通じて検証される。記事で言及されている潜在的な将来の研究の方向性の１つは、現在の研究における画像データの使用を拡張して、マッピングネットワークをトレーニングするためにキャプション データを利用することだ。この進歩により、ゼロショット合成画像検索の分野では、画像検索機能とユーザー エクスペリエンスの向上が期待できる。