Как создать свой ИИ-аватар и озвучить любой текст
Есть много сервисов, которые помогают создавать видеоаватары. Правда, в большинстве из них нельзя создать свой собственный аватар либо при озвучке русского текста у персонажей не будет совершенно никакой мимики. В этом гайде рассказываем, как создать собственный реалистичный видеоаватар, а также аватар для другого человека. Помогут в этом сервисы HeyGen, Hedra, Miocreate, Pica-ai и Ismartta.
Как сделать свой видеоаватар
Для этого понадобится сервис HeyGen. Он платный, стоит от $29 в месяц за 15 кредитов. 1 кредит позволяет сгенерировать 1 минуту видео.
После регистрации можно сделать 3 бесплатных видео длительностью до 40 секунд каждое.
Для создания аватара нужно заранее снять видео себя при нормальном освещении, с хорошим звуком. Создатели сервиса рекомендуют использовать побольше мимики и в целом записывать максимально живое видео. Улыбаться, хмуриться, четко произносить все слова и т. д. Потому что при генерации эмоциональность аватара снижается примерно на 30%, из-за этого по монотонному референсу получится роботизированная генерация.
HeyGen даже сняли видео и показали, как стоит проявлять эмоции на записи.
Василий дает такие рекомендации к записи:
Выберите нейтральный задний фон, если записываете статичное видео. Если записываете видео в движении, лицо всегда должно быть в кадре.
Обеспечьте хорошее освещение. Например, поставьте лампу с мягким светом, чтобы лицо на записи было хорошо видно и не было теней. Если снимаете на улице, важно, чтобы не было пересветов и солнце не светило в лицо говорящему.
Смотрите в камеру и не отводить взгляд. Если вы будете часто вертеть головой или бегать глазами, может получиться рваная картинка и реалистичность видео снизится.
Жестикулируйте на записи. При этом движения должны быть естественными и не слишком резкими. Не двигайте руками на уровне лица, иначе нейронка неправильно обработает лицо.
Не используйте нестандартные жесты. Например, не показывайте палец вверх с призывом поставить лайк или не указывайте пальцем вниз со словами «подписывайтесь на канал» или что-то в этом роде. Потому что в будущем нейронка будет использовать эти куски видео совместно с другим текстом и может получиться, что аватар говорит «Всем привет» и при этом показывает палец вниз.
Запишите отдельные шаблоны видео. Например, с призывом подписаться или поставить лайк. В будущем вы сможете подставить их на видео через редактор.
Запишите видео длиной 2-5 минут. Это оптимальная длина, чтобы генерировать видео в будущем.
HeyGen в своих статьях рекомендуют записываться в однотонной одежде и двигать руками на уровне ниже груди.
Важный момент с жестами. Сам сервис рекомендует жестикулировать руками на записи, чтобы аватар выглядел более натурально. Но есть вероятность, что при генерации аватар будет двигать руками невпопад. Например, Паша Молянов записывал видео с руками и в итоге видно, что руки живут своей жизнью.
Поэтому единственный выход здесь — делать несколько записей и тестировать.
Записывайтесь на камеру 4K или FullHD. В HeyGen пишут, что, чем выше качество съемки, тем лучше будет выглядеть ваш аватар. Василий рекомендует снимать именно в 4К — так получается качественная картинка.
Хотя я при тестах записывался на фронталку Iphone 6S с разрешением 720p. На видео было небольшое «мыльцо», которое скрыло недостатки нейронной обработки и готовое видео получилось довольно естественным.
Чтобы сделать аватара, переходим в раздел «Video Avatar» и жмем на «Create Instant Avatar».
Слушаем вступление создателя сервиса и выбираем, какой будет задний фон у аватара: динамический или статический. Я буду пробовать на примере статического.
Далее смотрим инструкцию по съемке референса. На следующем шаге загружаем или записываем видео.
На платной подписке можно удалять задний фон записи, на бесплатной можно работать только с исходником.
После загрузки нужно подтвердить, что вы даете хороший референс.
А затем — подтвердить, что на записи действительно вы. Для этого придется включить веб-камеру (или камеру телефона) и продиктовать текст, написанный на экране.
После этого нейронка проанализирует аватар и разрешит с ним работать.
Чтобы работать с аватаром, просто кликните на него в разделе «Private» → «Create with AI Studio». На этом этапе нужно будет выбрать разрешение будущего видео. Если снимали горизонтально, выбирайте 1920×1080, вертикально — 1080×1920.
Откроется видеоредактор, в котором нас интересует раздел «Script».
В этом разделе уже будет прописан какой-то текст, который будет озвучивать аватар. Его можно удалить и заменить на свой. Писать можно на русском. При этом нейронка будет клонировать стиль голоса с референса.
Вот несколько советов по работе с текстом:
- Пишите так, как произносите слова. Например, вместо «тире» пишите «тирэ».
- Выделяйте ударные гласные заглавными буквами, вот так: «тирЭ».
- Расставляйте точки, запятые и троеточия «.», «,» или «…» чтобы добавлять паузы разной продолжительности.
- Делите слова на слоги, чтобы растягивать произношение и делать акцент на конкретных частях слов. Например, вот так: «хо-ро-шо».
Также озвучку можно настроить: ускорить, изменить стиль (эта функция не всегда доступна) и громкость речи. Сам текст можно написать с помощью встроенной нейронки.
К одному видео можно добавлять несколько скриптов. Чтобы добавить новый скрипт, нужно кликнуть на плюс в кружке. Между скриптами можно добавлять паузы. Для этого нужно кликнуть на иконку часов.
Но я рекомендую добавлять к аватару заранее записанный текст (по клику на облако со стрелкой) или записывать его в сервисе (иконка микрофона). Потому что как бы хорошо HeyGen не клонировал голос, идеального совпадения все равно не будет. Само видео будет выглядеть так, будто на него наложили дубляж. Поэтому реалистичность будет страдать.
Но если записывать голос все равно не хочется, лучше клонировать его через ElevenLabs. Все потому, что ElevenLabs создает более реалистичный голос. Как работать с сервисом, рассказывали в отдельном гайде.
Когда загрузите голос, можете изменить размер аватара. Для этого кликните на видео, а затем — на иконку человека.
Также на видео можно накладывать текст, добавлять картинки и иконки. Работает все как в Canva: выбираете нужный элемент и перетаскиваете в рабочую зону. По сути, так можно создавать полноценные презентации и гайды.
Когда все настроите, останется сохранить проект. Для этого кликните на «Submit» в правом верхнем углу экрана.
Как сделать видеоаватар с другим человеком
К сожалению, сделать качественный аватар другого человека нельзя. Максимум, что можно сделать сейчас — заменить лицо с помощью технологии FaceSwap. Но в этом случае поменяется только лицо, а прическа на видео останется прежней. Например, я пытался заменить свое лицо на фото сгенерированного парня, и вот, что получилось:
Но если заменять похожие лица, результат будет лучше. Например, я заменил свое лицо на лицо брата и вышло похоже (поверьте). Отличия только в прическе.
Чтобы заменить лицо своего аватара, кликните на иконку видео в рабочей области, а затем — на кнопку «FaceSwap» сверху.
По клику на кнопку появится окно, в которое нужно загрузить фото другого лица.
После загрузки кликните на добавленное лицо и оно автоматически перенесется на аватара.
Функция FaceSwap есть в разных сервисах и работает она одинаково: загружаете фото лица и видео, куда это лицо нужно вставить. Получаете результат. Лучше всех справляется HeyGen, потому что он более реалистично сохраняет движения рта и соблюдает мимику. У остальных сервисов копировать мимику получается плохо.
Помимо HeyGen можно работать в сервисах: miocreate, pica-ai или ismartta. Интерфейс в них практически одинаковый. В день дают по 1 бесплатной генерации.
В целом, функцию FaceSwap я рекомендую использовать только для того, чтобы заменить лицо на видео, где человек не говорит. Например, чтобы сделать какой-то Shorts или Reels с танцующим блогером.
Для примера я заменил лицо девушки на видео, где она просто танцует.
В целом, получилось неплохо. Нейронка заменила лицо и не пропустила никаких артефактов. Но оставила прежний цвет волос.
Еще один способ анимации аватарок — в нейронке Hedra. Правда, анимировать реальные картинки здесь не получится, сервис переделает их в мультяшные, карикатурные и т. д.
Чтобы сделать аватар, нужно написать текст или загрузить готовую запись, добавить или сгенерировать картинку и нажать «Create».
Например, я оживил свой мультяшный видеоаватар. Движения глаз выглядят нереалистично, но в целом генерации можно использовать для презентаций.
Также в левом верхнем углу экрана есть вкладка «Stylize», на которой можно изменить стиль вашей реальной фотографии на мультяшный, 2D, сделать большую говорящую голову и т. д.
Если кликните на «Try our full editor for more» вас перенаправит в привычный редактор, где можно наложить свой голос на аватара.
Сервис условно бесплатный, в день дают сделать 5 бесплатных видео длительностью до 30 секунд. Платная подписка стартует от $10.