Есть одна бесплатная попытка — даем советы, как не потратить ее впустую
Купить Подписку HeyGen
Аккаунт Google для HeyGen (создать 2 видео)
Нейросеть HeyGen распознает речь в ролике и переводит ее на другой язык. При этом повторяет голос и даже соответствующие движения губ.
Это первый подобный популярный сервис. Он частично поддерживает русский язык: переозвучить на нем ничего нельзя, а вот с русского на английский, испанский, польский и другие — без проблем. Из-за ограничений HeyGen пока не получится пользоваться для длинных видео или сложных роликов с несколькими голосами. Зато короткие ролики переозвучить можно даже бесплатно.
Рассказываем, что такое HeyGen и как пользоваться сервисом.
Что такое генератор видео HeyGen
Изначально HeyGen — cервис с виртуальными аватарами, которые озвучивают текст на разных языках. В соответствии с выбранным языком для цифрового персонажа генерируется мимика и движения губ. В сервисе есть свой видеоредактор, где можно создать диалог между несколькими персонажами. На выбор даются как мультяшные герои, так и реалистичные модели людей.
В сентябре 2023 года HeyGen выпустили в бета-версию функции перевода видео. Для нее используется одновременно три технологии: перевод, дипфейк
и распознавание голоса. Голос обрабатывают и копируют с помощью нейросетей. Текст переводят и переозвучивают на выбранном языке. Рот говорящего человека перерисовывают так, чтобы текст на новом языке ложился на мимику.
Таким образом, получается полный дубляж с переводом на другой язык, но сохранением оригинального голоса. Если присмотреться, то иногда заметны артефакты. Однако чем лучше качество видео, тем лучше генерация.
Сейчас HeyGen поддерживает перевод только коротких видео. Судя по всему, хронометраж варьируется от нагрузки на сервис: поначалу загружали двухминутные ролики, но потом длительность ограничили минутой. Поэтому русскоязычные пользователи в первую очередь стали тестировать нейросеть на культовых мемах.
Мем про кандибобер, переведенный на английский
Мем с Евгением Понасенковым (внесен Минюстом в реестр иноагентов), переведенный на немецкий
Мем с Никитой Литвинковым, переведенный на английский
Мем с идущим к реке, переведенный на английский
Как сгенерировать перевод видео в нейросети
Вот что нужно сделать, чтобы обработать свое видео:
- Удобнее сразу перейти по ссылке на сайт с бета-функцией перевода видео. Зарегистрируйтесь там или войдите через гугл-аккаунт.
- Перетащите или загрузите видео продолжительностью от 30 до 59 секунд. Другие требования к ролику: размер до 500 Мб, формат MP4, QTFF или WEBM.
- Выберите язык, на который перевести ролик: английский, испанский, французский, хинди, итальянский, немецкий, польский, португальский. Оригинальный ролик при этом может быть и на русском языке.
- Дождитесь обработки. Из-за большого спроса вы можете попасть в виртуальную очередь. Если проценты прогресса обработки не двигаются, обновите страницу.
- Скачайте результат.
Сейчас HeyGen под огромной нагрузкой. Будьте готовы к тому, что ждать видео придется до нескольких часов.
Окно для загрузки ролика. Источник: labs.heygen.com
Какое видео выбрать
В HeyGen дается всего одна бесплатная попытка на один аккаунт. Так что стоит внимательно отнестись к выбору видео. Некоторые советы дают сами разработчики сервиса, другие собирают пользователи в сети. Вот что стоит учитывать:
🎸 В идеале стоит использовать видео без шума или музыки на фоне. Либо же музыка не должна быть выраженной.
🎤 Лучше, если на видео говорит только один человек. Если загрузить диалог, нейросеть объединит голоса и заставит обоих собеседников говорить «усредненным» голосом.
🌝 Проверьте, чтобы в кадре не было, например, портретов или бюстов. ИИ-липсинк вставляется на то, что система распознает как лица, то есть картина может заговорить.
😐 Говорящий должен смотреть прямо в камеру, иначе генерация мимики собьется.
🙈 Руки, микрофоны или другие предметы не должны закрывать лицо говорящего — по тем же причинам.
🤐 Спикер должен говорить на одном языке. Если он вставляет в речь на одном языке слова из другого, то генерация тоже собьется.
Видео, которое HeyGen так и не победила
Как сгенерировать больше одного видео
Попытки в HeyGen исчисляются токенами. Один токен — одна минута видео. Вместе с платной подпиской увеличивается и лимит на длительность ролика — до 5 минут. Также разработчики обещают подписчикам приоритет при обработке. Вот как купить премиум-версию:
- Нажмите на кнопку с кредитами в правом верхнем углу. Откроется окно с выбором плана.
- За 29 $ в месяц вы получите 15 кредитов — то есть 15 минут видео. Максимальная подписка за 239 $ даст 120 кредитов — 2 часа видео. Выберите план и нажмите Get Started.
- Оплатите. Понадобится карта иностранного банка, российские карты не поддерживаются.
