В течение следующих пяти лет все видео на YouTube будут иметь синтетический дубляж на всех языках, — заявил вице-президент видеохостинга. Помимо этого, компания планирует «анимировать» с помощью ИИ движения губ носителей, чтобы у зрителя не было диссонанса.
«В отличие от тестовой версии, которая вызвала много жалоб у пользователей, в перспективе система будет не только делать машинный перевод, но и сохранять особенности голоса автора, а также синхронизироваться с движениями губ, что сделает просмотр максимально естественным», — заявил в интервью Bloomberg вице-президент YouTube Амджад Ханиф.
Автоматический дубляж в тестовом режиме уже доступен «сотням тысяч каналов» в партнерской программе YouTube. Количество каналов, которые получили доступ, расширили в декабре 2024 года после первоначального тестирования с участием примерно сотни авторов, начатого в июне 2023 года.
Текущая версия позволяет переводить англоязычные видео на французский, немецкий, хинди, итальянский, испанский, индонезийский, японский и португальский языки. А для видео, созданных на этих языках, доступен только перевод на английский. При этом видео с дубляжом создаются сразу после загрузки оригинала, хотя создатели имеют возможность предварительно просмотреть их перед публикацией и при необходимости отменить публикацию или удалить дубляж.
Существующее решение использует голоса, которые могут звучать неестественно. В будущем технология будет имитировать голос автора, делая различие между оригиналом и переводом практически незаметным для зрителя.
Ранее YouTube обещал, что следующие версии дубляжа будут лучше в подражании «тону, эмоциям и даже атмосфере окружения».