Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Captions, một studio sáng tạo dựa trên AI, đã công bố Lipdub, một ứng dụng mới có thể tự động dịch và lồng tiếng nội dung video sang 28 ngôn ngữ. Ứng dụng này cho phép người dùng lồng tiếng các video của chính họ, bạn bè và gia đình của họ, mang lại trải nghiệm độc đáo khi nghe giọng nói quen thuộc bằng các ngôn ngữ khác nhau. Lipdub hiện có sẵn để tải xuống miễn phí.

Tính năng cải tiến của Lipdub là nó không chỉ dịch giọng nói của người nói mà còn đồng bộ chuyển động môi của người nói với âm thanh được dịch. Điều này mang lại trải nghiệm xem duy trì bối cảnh và bản chất ban đầu của nội dung. Người dùng có thể quay hoặc tải video lên và ứng dụng sẽ điều chỉnh giọng nói và chuyển động môi của người nói theo ngôn ngữ họ chọn, bao gồm các phương ngữ và các tùy chọn từ vựng cụ thể như Gen Z và tiếng lóng Texas.

Công nghệ tiên tiến của Lipdub tận dụng AI tổng hợp, cho phép dịch giọng nói chất lượng cao và đồng bộ hóa thực tế các chuyển động của giọng nói và môi. Thuật toán có thể phát hiện những khác biệt tinh tế trong các phương ngữ và tông giọng khác nhau, khiến nó trở thành yếu tố then chốt trong khả năng dịch nội dung chính xác của Lipdub. Để đảm bảo tính minh bạch, tất cả video được tạo bằng Lipdub sẽ được gắn nhãn là "Lipdub™ do AI tạo ra".

Năm ngoái, Captions đã ra mắt ứng dụng gốc và kể từ đó đã cung cấp cho hơn 5 triệu người sáng tạo, từ đại lý bất động sản, người làm podcast cho đến huấn luyện viên trực tuyến, các công cụ để tạo và xuất bản nội dung cấp studio. Phụ đề là studio sáng tạo tất cả trong một được hỗ trợ bởi AI giúp hợp lý hóa và tự động hóa các khía cạnh chính của quá trình sản xuất video, bao gồm phụ đề, chỉnh sửa, lồng tiếng và tích hợp âm nhạc. Đến nay, Captions đã nhận được 40 triệu USD tài trợ từ các nhà đầu tư. Lipdub hiện có sẵn để tải xuống miễn phí và đang được triển khai theo từng giai đoạn để đảm bảo trải nghiệm mượt mà cho người dùng.