Как генерировать видео в нейронке Minimax
Продолжаем рассказывать о классных нейросетях для генерации видео. На этот раз поговорим подробнее про Minimax, которая не уступает по качеству Kling 1.5 и Runway, но при этом позволяет создавать работы бесплатно.
Чтобы создать первое видео, нужно перейти на сайт нейросети Minimax и зарегистрироваться через email и почту.
Интерфейс простой: на главном экране можно только ввести промпт, посмотреть свои и чужие работы. А также оплатить подписку.
Генерировать видео можно 3 способами:
- только по промпту;
- по картинке и промпту;
- просто по картинке.
Как генерировать видео по промпту
Для этого в строку ввода нужно ввести запрос в привычной структуре:
Объект и описание объекта + движение объекта + сцена и описание сцены + движение камеры + (язык камеры + освещение + атмосфера).
Чтобы составить хороший промпт, нужно ответить себе на 2 вопроса:
- Что мы видим? Например, большая панда сидит в кофейне напротив окна и читает книгу.
- Как мы это видим? Вокруг панды столы, слева окно. Съемка с близкого расстояния, теплое освещение. В стиле Тарантино.
Объект — главный герой видео. Это может быть человек, животные, растения, предметы и т. д. Под описанием объекта имеется ввиду его внешний вид, положение тела, выражение лица и т. д. Например, человека можно описать по такому принципу: спортивное телосложение, короткие темные волосы, в спортивном костюме, часы на руке, улыбается.
Движение объекта — что главный герой делает в видео. Например, машет рукой, садится или поворачивается. В Discord проекта команда и пользователи пишут, что нейронка лучше справляется с простыми движениями. Например, ходьбой или поворотом. Чем больше движений вы пропишете в промпте, тем больше галлюцинаний получите.
Например, сделать человека, который прыгает через препятствия и машет в воздухе сделать с первой попытки не получится. А вот пьющего что-то в кафе — вполне.
Сцена и описание сцены — это передний, задний план и все остальное, что окружает героя. Описание должно быть коротким и таким, чтобы его можно было отобразить в 6-секундном ролике. Например, «сцена на лужайке» — хороший вариант. А сцена «под водой с большим количеством рыб, несколькими подводными лодками, сундуками и дайверами» — плохой вариант. Нейронка не сможет это отобразить.
Движение камеры — то, как двигается камера относительно главного персонажа. Например:
- приближение к объекту и отдаление;
- смещение влево и вправо, вверх и вниз;
- движение по орбите влево и вправо, вверх и вниз;
- поворот камеры влево или вправо без движения объекта.
Язык камеры — совокупность визуальных приемов, которые используют режиссеры для передачи определенного смысла, настроения или информации зрителю с помощью методов съемки. К языку камеры относятся: эффект Боке, широкоугольный формат, крупный план и т. д.
Освещение поможет сделать видео более глубокими и задать им тональность. Подчеркнуть общее настроение картины.
Атмосфера тоже передает настроение и тон.
Важная особенность! Я заметил, если просить нейросеть сделать что-то нереалистичное (вроде панды в кафе), она сделает это в мультяшном виде. А то, что возможно в жизни, нейросеть сгенерирует реалистично. И пока что избавиться от этого никак нельзя. Даже в Discord люди жалуются, что по одному и тому же промпту получают 3 реалистичных видео, а 1 — мультяшное.
Разработчики рекомендуют добавлять к промптам слова cinematic и super-realism, но я за 10+ попыток так и не получил реалистичное видео с пандой в кафе.
Хоть и сами видео выглядят проработанными.
Вот еще несколько советов для создания хорошего промпта:
- Используйте простые слова и простые предложения. Не пишите так, чтобы были разночтения и нейронке было сложно понять смысл.
- Старайтесь описывать такое видео, содержание которого можно уместить в 6 секунд.
- Чтобы задать стиль картинке, добавляйте слова-триггеры. Например, чтобы отобразить национальность, пишите «Американец», «американская культура» и т. д.
- Не используйте цифры в промптах. Minimax пока что не чувствителен к цифрам и не умеет считать.
В Minimax есть дополнительная функция — prompt optimizer. Ее задача — переработать ваш промпт и сделать более качественную генерацию: повысить яркость, добавить цветов и больше движений.
Для примера — два видео с кроликом по промпту «A little bunny hops across the field»
Первое видео — пример генерации без функции prompt optimizer. Качество картинки высокое, но она не насыщенная, движений у кролика мало.
Второе видео — пример генерации с включенной функцией prompt optimizer. Качество картинки высокое, она не насыщенная, движений у кролика много.
Разработчики рекомендуют всегда включать оптимизатор промптов. Исключение — когда нужно сделать видео, где нейронка должна максимально точно выполнить все команды промпта и передать цветовую гамму. Если дать ей длинный промпт и включить оптимизатор, часть команд нейросеть проигнорирует, а картинку сделает в своих цветах.
промпт > оптимизатор
Степень влияния разных деталей на генерацию можно понять на примере 3-х с девушкой. Первое сделано по простому запросу «A woman stands by the window in the room».
Здесь женщина просто стоит и почему-то разговаривает.
Совет! В большинстве генераций Minimax главные герои будут якобы разговаривать. Чтобы это исправить, нужно добавлять к описанию персонажа слово quietly.
Второе видео сделано по промпту «In a dimly lit room, a woman in a white dress stands before a European-style window. Soft orange light filters through, illuminating her face and upper body.»
Здесь уже больше деталей и нейронка все их соблюдает: белое платье, старое окно и оранжевый фильтр.
Последнее видео сделано по самому подробному промпту: «In a dimly lit room, a woman in a white dress stands in front of a European-style window. The camera quickly zooms in and pans left, shifting from a full-body shot to a close-up of her face. A faint orange light seeps through the window, illuminating her face and upper body, creating a stark contrast between the shadows in the room and the bright light from the window.»
Здесь описывается еще и движение камеры. И нейронка его соблюдает.
Как генерировать видео по картинке
Работает все просто: в строке для ввода промпта кликаете на иконку картинки и загружаете нужный файл. Также можете прописать промпт, но в том случае, если хотите задать конкретное движение персонажу.
За основу для создания видео можно взять не реальную фотографию, а уже сгенерированную картинку. Так получится сначала создать с нуля атмосферу и персонажей, а затем качественно «оживить» их.
Разработчики советуют использовать популярные сервисы Midjourney, DALL·E, Leonardo.
Важно! Пока что Minimax плохо справляется с оживлением картинок. Сильно портит качество и не всегда соблюдает промпт. Чтобы повысить шансы на успех, загружайте картинки в максимально высоком качестве (нейронка обрабатывает файлы размером до 20 МБ). Также прописывайте такие движения героя и камеры, которые возможны на основе загруженной картинки. Например, если в исходнике фото сделано с близкого ракурса, в промпте не нужно писать «с высоты птичьего полета».
Вместо этого нужно написать что-то вроде «отдаление от объекта», а уже в следующей генерации перейти к высоте птичьего полета.
Сколько стоит
Оплатить сервис с карты российского банка нельзя. Сейчас после регистрации бесплатно дают безлимитную версию на 3 дня. В ней дают безлимитные кредиты и нет очереди на генерацию. Далее каждый день будут давать 100 кредитов, 1 генерация обойдется в 30 кредитов. Все видео будут только с водяным знаком в правом верхнем углу экрана и с лицензией для некоммерческого использования.
С картой иностранного банка можно подключить один из платных тарифов, чтобы убрать водяной знак и использовать генерации в коммерческих целях. Например, в рекламе. Минимальная стоимость — пока что $9,99 в месяц. Затем обещают увеличить стоимость до $14,99.