Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

AI主導のクリエーティブスタジオであるCaptionsは、ビデオコンテンツを28の言語に自動的に翻訳および吹き替えできる新しいアプリケーションであるLipdubを発表した。このアプリを使用すると、ユーザーは自分、友人、家族のビデオを吹き替えることができ、さまざまな言語で聞き慣れた声を聞くというユニークな体験を提供するという。Lipdubは無料でダウンロードできるようになったとのこと。

Lipdubの革新的な機能は、話者の声を翻訳するだけでなく、話者の唇の動きを翻訳された音声と同期できることだ。これにより、コンテンツの元のコンテキストと本質を維持した視聴体験が提供される。ユーザーはビデオを録画またはアップロードすると、アプリが話者の声と唇の動きを、方言やZ世代やテキサスのスラングなどの特定の語彙オプションを含む選択した言語に合わせて調整するという。

Lipdubの高度なテクノロジーは生成AIを活用しており、高品質の音声翻訳と、声と唇の動きのリアルな同期を可能にする。このアルゴリズムはさまざまな方言や声のトーンの微妙な違いを検出できるため、コンテンツを正確に翻訳するLipdubの能力において重要な要素となる。透明性を確保するために、Lipdubを使用して作成された全てのビデオには「Lipdub™ AI生成」というラベルが付けられるという。

昨年、Captionsはオリジナルのアプリをリリースし、それ以来、不動産業者からポッドキャスター、オンラインコーチに至るまで、500万人以上のクリエイターにスタジオグレードのコンテンツを作成および公開するためのツールを提供してきた。Captionsは、AIを活用したオールインワンのクリエーティブスタジオとして、キャプション、編集、吹き替え、音楽の統合など、ビデオ制作の重要な側面を合理化および自動化する。現在までに、Captionsは投資家から4,000万ドルの資金を確保している。Lipdubは現在無料でダウンロードでき、スムーズなユーザーエクスペリエンスを確保するために段階的に展開されているという。