Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

マルチモーダル検索拡張生成 (RAG) システムの開発は、テキスト、画像、表、音声、ビデオなどのさまざまなソースから情報を取得してインデックスを作成する必要があるため、大きな課題となります。イノベーターは、ビデオ内の情報を検索できる RAG パイプラインを構築するためのさまざまな方法を模索していますが、これはビデオ コンテンツの複雑さを処理するための高度なアプローチを必要とするタスクです。

1 つの戦略は、共通の埋め込み空間を作成することです。この方法では、単一のモデルが異なるモダリティを同じ空間に投影し、アーキテクチャを簡素化します。ただし、この方法では複数のモダリティの調整が難しく、すべてのタイプのデータに効果的ではない可能性があります。もう 1 つのアプローチは、各モダリティに対して並列検索パイプラインを構築することです。これにより、言語モデルが処理しなければならないデータの量が増え、コストは上がりますが、インフラストラクチャは簡素化されます。

あるいは、すべてのモダリティをテキストにグラウンディングすることも実行可能なソリューションと考えられています。この方法では、さまざまなソースからの重要な情報をテキストに変換します。これにより、初期コストが多少かかり、埋め込みが非可逆になる可能性はありますが、検索と生成の両方でモダリティを効果的に統合できます。このテキスト グラウンディング アプローチは、複数のサブモダリティを処理する場合に特に有利であり、ターゲットを絞ったモデル チューニングが可能になります。

ビデオ コンテンツの検索は、構造化されていないソーシャル メディア クリップから構造化されたチュートリアルまで、ビデオの多様な性質のために複雑です。ビデオはオーディオとビジュアルの両方の要素を通じて情報を伝達するため、検索プロセスではこれらのモダリティから抽出されたテキストを揃える必要があります。オーディオの場合、感情的な意味合いを必要とせずにスピーチを書き起こすことに重点が置かれますが、ビデオの場合、処理コストを削減し、フレームから重要な情報を抽出することが目標です。

ビデオ コンテンツを効率的に処理するには、ダウンサンプリングとキー フレームの識別が不可欠です。これらのフレームは分析されて包括的な情報が抽出され、オーディオの書き起こしとブレンドされて統一されたテキスト表現が作成されます。この統合されたデータは、ベクター データベースの埋め込みを生成するリトリーバーの設定に使用され、ユーザーのクエリに応じて関連するビデオ セグメントの検索と取得を容易にします。

独自のマルチモーダル RAG パイプラインの構築に関心がある方には、さまざまなマイクロサービスやAPIカタログを通じてリソースと例が提供されており、この複雑でありながらやりがいのある取り組みに着手するために必要なツールが提供されます。