Недавно в открытом доступе появилась нейросеть, которая переводит видео на другой язык с сохранением оригинального голоса. Интернет тут же захлестнули популярные видео-мемы с актерами, звездами шоу-бизнеса и др., переведенные на другие языки. Более того, она еще и адаптирует мимику, движения губ под переведенную речь. В этой статье мы разберем что такое и как пользоваться нейросетью HeyGen Labs.
Что такое HeyGen
ИИ для создания дипфейков уже существуют, но что если вам не нужно создавать дипфейк – у вас уже есть ролик с селебрити, его просто нужно перевести на другой язык? В этом вам поможет ХейГен.
Сначала проект был просто сервисом с виртуальными аватарами, которые могут озвучивать текст на разных языках. С помощью специального видеоредактора можно создавать диалоги между персонажами, выбирая как мультяшные герои, так и реалистичные модели людей.
Но в сентябре 2023 года HeyGen выпустили в открытый бета-тест функцию перевода видео. Для этого используются три технологии: перевод, дипфейк и распознавание голоса. За обработку и копирование голоса отвечают нейросети, а текст просто переводится и переозвучивается. С помощью дипфейка рот говорящего человека перерисовывается так, чтобы движения губ соответствовали речи на другом языке.
В результате получается почти профессиональный дубляж с полным сохранением голоса. Конечно возможны артефакты, результат все равно впечатляет. Количество артефактов напрямую зависит от качество ролика – чем выше качество, тем точнее будет обработка. Пока что можно загружать только короткие записи длительностью до одной минуты, вероятно, из-за нагрузки на сервис.
Какие функции есть в нейросети HeyGen
В нейросети есть несколько функций:
- Перевод видео на разные языки. AI позволяет переводить ролики на английский, французский, испанский, хинди, итальянский, немецкий, польский и португальский.
- Создание виртуальных аватаров. HeyGen предлагает возможность создания виртуальных аватаров, которые могут быть использованы для видео. Вы можете выбрать аватара с определенным внешним видом и голосом, чтобы он соответствовал вашим потребностям и предпочтениям.
- Сохранение оригинального голоса. Одной из особенностей ИИ является возможность сохранения оригинального голоса при переводе видео. Это позволяет сохранить интонации и эмоциональную окраску оригинального материала, что делает результат более естественным и понятным.
- Голосовая синхронизация. Проект обеспечивает голосовую синхронизацию, что означает, что голос виртуального аватара будет соответствовать движениям его губ и выражению лица. Это создает более реалистичный и естественный видеоперевод.
- Редактирование и настройка. Можно редактировать и настраивать материалы с помощью различных инструментов. Вы можете изменять скорость видео, добавлять эффекты, регулировать громкость и многое другое, чтобы достичь желаемого результата.
В зависимости от выбранного вами тарифа могут быть дополнительные функции сервиса в рамках упомянутых выше, вроде доступа по API, премиум голосов, возможности работать с видео в разрешении 4К и т.д., но об этом будем говорить позже.
Если вам нужен искусственный интеллект для озвучки текста – посмотрите эту подборку. А мы продолжаем.
Как пользоваться нейросетью HeyGen
Пользоваться AI очень просто, сайт доступен без VPN и всяческих верификаций. Рассказываем как перевести видео с русского на английский:
Ознакомиться с интерфейсом сервиса и его функциями можно в гостевом режиме без регистрации. Но для того, чтобы полноценно пользоваться сервисом и делать свои ролики придется все-таки сначала зарегистрироваться. Можно сделать это как по почте, так и авторизовавшись через Facebook, или Google.
После регистрации нужно будет ответить на несколько простых вопросов, которые ни на что не влияют. Это просто сбор данных для аналитики. Далее мы попадаем на главную страницу сервиса.
Переходим во вкладку Labs, а затем в Video Translate, или сразу по прямой ссылке.
Далее загружаем нужный нам ролик длительностью от 30 секунд до 1 минуты в бесплатном тарифе и выбираем язык, на который нужно перевести. В данном случае – английский.
Подтверждаем и ждем пока видео обработается. За обработку спишется 1 кредит, выданный бесплатно при регистрации. Поскольку сервис сейчас на волне хайпа, то ждать придется чуть больше вечности.
Поскольку сервис сейчас на волне хайпа, то ждать придется чуть больше вечности. А для дальнейших переводов роликов придется покупать тариф с кредитами.
Примеры перевода видео в нейросети HeyGen
Мы собрали для вас несколько примеров с переводом культовых мемов для большей наглядности возможностей AI:
https://youtu.be/M8ePyAWJGhA
Мем с Евгением Понасенковым (внесен Минюстом в реестр иноагентов), переведенный на немецкий
Идущий к реке на английском
Французский господин высказывается о своем безразличии к положению дел
“Скажи мне американец” на английском.
Платные тарифы HeyGen
Для того, чтобы обрабатывать несколько видео необходимо приобрести платный тариф. Всего их представлено 2 на выбор.
Тариф Creator включает в себя:
- На выбор 15, 30, 60, 90 или 120 кредитов. От количества кредитов зависит итоговая цена. При оплате помесячно 1 кредит обойдется в 2$, а при оплате сразу на год будет скидка 20% и цена за кредит получится 1.6$
- Увеличенный лимит максимальной продолжительности ролика.
- Приоритетная обработка материалов. То есть не придется ждать в огромной очереди.
Тариф для бизнеса подключается по согласованию. В нем могут быть доступные преимущества:
- Неограниченное количество обрабатываемых видео.
- Перевод нескольких спикеров
- Расширенный редактор
- Увеличенная продолжительность видео
- Доступ к API
Оплатить тариф можно международной картой, или Cash App Pay. Карты выпущенные в РФ не принимаются из-за санкций.
Теперь вы знаете как пользоваться новой нейросетью HeyGen. У вас есть инструмент для создания креативов в арбитраже, а если хотите еще ИИ в помощь – вот подборка ИИ для создания крео. Несмотря на то, что пока что ХейГен работает не идеально и порой допускает ошибки, или вовсе не справляется с задачей, в умелых руках она все равно может стать отличным инструментом в переводе роликов. Надеемся в будущем проект сможет поддерживать больше языков и справляться с более сложными материалами.
FAQ
Чтобы пользоваться бесплатно вам нужно просто зарегистрироваться. На каждый новый аккаунт дается 1 бесплатный кредит, с помощью которого можно перевести 1 минуту. Для каждого следующего придется регистрировать новый аккаунт.
На данный момент сервис поддерживает всего 8 языков: английский, испанский, французский, китайский, немецкий, итальянский, португальский, голландский, хинди, японский. Русский поддерживается частично, а точнее можно переводить только с русского языка, но не на него.
Да. При обработке видео с помощью этого ИИ сохраняется голос, тембр речи и акцент. Также с помощью дипфейка движения губ обрабатываются таким образом, чтобы они совпадали с речью.
Для бесплатного тарифа ролика должен: длиться от 30 секунд до 1 минуты, размер файла до 500 Мб, формат MP4, QTFF или WEBM. Также желательно чтобы кадр был как можно более статичным, без резких движений, с одним действующим лицом и ничего не должно закрывать лицо говорящего. Иначе AI может попросту не справиться, или сделать это очень плохо. Лучше загружать ролик без музыки, так больше шанс, что перевод будет точным.
В платном тарифе все то же самое, за исключением длительности ролика. Здесь оно может быть до 5 минут.
Согласно информации на их же сайте, права полностью принадлежат владельцам видео. Поэтому вы можете спокойно использовать их в коммерческих целях, если исходный материал не попадает под нарушение авторских прав.
На момент написания статьи переводить ролики с сохранением голоса может только HeyGen, но если для вас это не обязательно, то можете попробовать воспользоваться такими проектами как neurodub.ai, или speeek.io.
