Как генерировать видео в нейронке Luma
Luma — один из лучших сервисов для генерации видео. Она хорошо создает движущиеся объекты, людей и окружающий мир. В гайде рассказываем, как составить хороший промпт для нейроки и сделать видео под ваши задачи.
Чтобы создать первое видео, нужно перейти на сайт нейросети Luma и войти через Google-аккаунт. В интерфейсе всего несколько кнопок и элементов:
- Поле для ввода промпта.
- Кнопка для добавления картинки к промпту.
- Кнопки зацикливания видео и улучшения промпта.
Как сгенерировать видео по промпту
Для этого нужно ввести промпт на английском языке в поле в середине экрана. В Luma написали небольшой гайд по созданию хороших промптов:
Будьте конкретны. Четко опишите основной предмет, обстановку и любые ключевые элементы, которые вы хотите видеть в видео. Например: «Спокойный пляж на закате с мягкими волнами, которые разбиваются о берег, и чайками, летящими в небе».
Включите детали. Упомяните любые важные для вас детали в видео. Например: «На пляже золотой песок и несколько пальм. Небо окрашено в оттенки розового и оранжевого».
Сосредоточьтесь на эмоциях или атмосфере. Опишите настроение или атмосферу, которую хотите передать. Например: «Видео должно быть мирным и успокаивающим».
Используйте простой язык. Избегайте сложных терминов и жаргона. Простой и понятный язык наиболее эффективен. Например: «Уютная гостиная с потрескивающим камином и котом, который спит на ковре».
А чтобы лучше разобраться в работе с видео, читайте наш мини гайд для начинающих:
Научитесь создавать видео с помощью нейросетей: от выбора подходящего сервиса и написания эффективных промптов до продумывания сценариев и сборки готовых роликов для соцсетей и бизнеса.
- Миникурс
- Видео
- Дизайн
Если вы не новичок — рекомендуем изучить мини-курс по видео для продвинутых:
Освойте профессиональные техники создания видео с нейросетями: от управления виртуальной камерой и создания сложных переходов до работы с аватарами, улучшения качества и монтажа готовых роликов.
- Миникурс
- Видео
- дизайн
Пока я тестировал нейронку, понял еще несколько важных моментов:
Используйте в промпте глаголы и прилагательные. Не стоит использовать только существительные вроде Woman, Paris. Лучше писать «a parisian woman on a Paris street».
Не пишите короткие промпты. Оптимально делать промпты средней длины, в которых вы описываете объект, движение камеры, угол съемки, стиль съемки. Но не делайте слишком длинные и подробные промпты — нейросеть запутается.
Например, запрос «обезьяна танцует» не даст хороших результатов. А вот по запросу «медленная съемка обезьяны, танцующей на закате в джунглях Амазонки, солнечный свет струится, атмосфера радостная» вы с большей вероятностью получите хороший результат.
При составлении промпта, стоит больше внимания уделять тому, как сцена будет восприниматься камерой, а не только тому, каким должно быть конечное изображение. Учитывайте динамику, движение, ракурсы и кинематографические аспекты, которые сделают видео более живым и интересным.
Для этого задавайте движение камеры. Описывайте, как она должна двигаться вокруг объекта. Для это в начале промпта нужно написать слово «Camera», а затем выбрать одно из предложенных движений:
- приближение к объекту и отдаление;
- смещение влево и вправо, вверх и вниз;
- движение по орбите влево и вправо, вверх и вниз;
- поворот камеры влево или вправо без движения объекта.
Плюс в том, что при наведении на конкретное движение камеры вы увидите, по какой траектории они будет двигаться.
Минус — нейронка может сгенерировать другие движения. Я видел много жалоб, что при выборе движения к объекту (Push In), камера отдалялась. А при выборе отдаления (Pull Out) наоборот приближалась. Поэтому есть вероятность, что одно и тоже видео придется создавать несколько раз, чтобы добиться нужного движения.
Следующий совет — добавляйте в промпт кинематографические эффекты и пытайтесь описать красочную картинку. Это поможет придать видео больше реализма. Например, пишите «солнечный свет струится сквозь деревья».
Собирайте промпты в таком порядке:
- движение камеры;
- героя — кто будет находиться в кадре и что делать;
- сюжет — место действия, что будет происходить и где;
- детали — мелкие предметы, оттенки или текстуры, на которых будет акцент;
- атмосферу — настроение, цвета, эмоции героев. Т. е., прописывайте детали последовательно, не мешайте все в кучу.
Например:
fast motion 360 video of a Porsche sports car racing on a highway, dynamic shot with the camera moving from top left to right, high tension, thrilling pace, sunlight glinting off the asphalt, moving through a scenic urban landscape, cinematic capture, sporty, powerful, exhilarating speed).
Если кратко указать то, что будет на видео и поставить галочку возле пункта «Enhance Prompt» — сервис автоматически «доработает промпт», то есть добавит детали. Но с этой функцией нужно быть осторожным — с ней нейронка может сгенерировать рваные, резкие и неконтролируемые движения. А без Enhance Prompt картинка обычно получается более плавной. Поэтому здесь лучше тестировать и делать 2 генерации.
Для примера — две генерации мужчины в светлой футболке с телефоном. Первая с «Enhance prompt», вторая — без. Заметно, что на первом видео человек более дерганный, странно мотает головой и в конце кадра что-то происходит с рукой.
На втором видео движения более плавные и естественные.
Также можно прописать стиль — необязательный пункт. Нейронка делает неплохие видео в стилях:
- Pixar,
- Vector graphics,
- Western cartoons,
- Toys & action heroes,
- Game engineer render,
- Photorealistic fantasy creatures,
- Lego animation.
Вот несколько примеров видео в разных стилях по промпту:
a scene with 3 roblox characters, they are stretching another roblox character one from either side of the middle character, so the character on the left holds the left hand, middle character being stretched, another character on the right grabbing the right hand and stretching the character from the other side photorealistic.
Видео в стиле Western cartoons
Видео в стиле векторной графики
Видео в стиле лего
Финальный результат можно скачать по кнопке Download — она находится под видео.
Как создать видео из картинки
Luma неплохо понимает текстовые запросы, но чтобы сделать хорошее видео, лучше оживлять существующую картинку. Работает все просто: кликаете на иконку картинки, загружаете нужную и прописываете промпт. Если не хотите придумывать промпт, можете просто задать направление камеры.
За основу для создания видео можно взять не реальную фотографию, а уже сгенерированную картинку. Так получится сначала создать с нуля атмосферу и персонажей, а затем качественно «оживить» их.
Разработчики Luma советуют использовать популярные сервисы Midjourney, DALL·E, Leonardo.
Главная фишка Luma — ключевые кадры. Это значит, что вы можете загрузить в сервис 2 фотки и нейросеть начнет видео с первой, а закончит второй.
Поле для ввода промпта можно оставить пустым. Но лучше описать главного персонажа, указать, что будет происходить на видео, что будут делать персонажи со снимка или как изменится мир вокруг. Например, пойдет снег или дождь, люди будут улыбаться. Так генерации получатся более четкими без резких скачков камеры.
Функцию ключевых кадров можно использовать, если вы хотите показать главный объект в разных локациях.
Например, в первом случае мы можем показать персонажа в разных городах. Я для примера сгенерировал 5 картинок с одной девушкой в разных местах планеты. А затем сгенерировал 4 видео, на которых:
- Совместил 1 и 2 картинки.
- Совместил 2 и 3 картинки.
- Совместил 3 и 4 картинки.
- Совместил 4 и 5 картинки.
А затем склеил их в видеоредакторе и получил такой результат.
Видно, что в какой-то момент лицо девушки раздвоилось, убрать этот артефакт никак не получалось. Проблема, скорее всего, в противоположных направлениях девушки — нейронка не успевает сделать плавный переход. Также лицо девушки немного изменилось при переходе из города на пляж, но выглядит все равно достаточно неплохо.
Также можно делать и с объектами. Например, с эйфелевой башней.
Как создать полноценный ролик через Luma
Если хотите продолжить созданное видео, кликните на кнопку «Extend» — нейронка сама придумает 5 секунд видео. Либо вы можете указать новый промпт и включить функцию «Enhance prompt».
Задача пользователя — ввести новый промпт и объяснить, что будет в продолжении ролика. Я для примера взял видео девушки с переходом на пляж и попробовал расширить его — дописал, что девушка поворачивается лицом к морю, а к камере спиной. Так можно расширять видео дальше.
Обычно на всех новых видео персонажи отличаются от предыдущих, из-за этого собрать качественный ролик не получится. В целом персонажи будут похожи, но на каждом новом продолжении будут появляться новые детали. Да и в целом на видео будет много артефактов. Побороть это пока что нельзя. Единственное решение — изначально генерировать ключевые кадры в Mijourney, а потом оживлять их в Luma.
Также вы можете включить функцию «Loop» и сделать зацикленное видео.
Такое видео можно разместить на заднем плане или как гифку к тексту. Например, для демонстрации работ в портфолио фотографа или продукта в рассылке.
Сколько стоит
Оплатить сервис с карты российского банка нельзя. В бесплатной версии придется мириться с ограничением в 30 генераций в месяц и 20 в день. А в результате все видео будут только с водяным знаком в правом верхнем углу экрана и с лицензией для некоммерческого использования.
Ограничения на день находится вверху экрана. А счетчик доступных на месяц генерации — в правой части поля для ввода промпта.
С картой иностранного банка можно подключить один из платных тарифов, чтобы убрать водяной знак и использовать генерации в коммерческих целях. Например, в рекламе. Минимальная стоимость — $9,99 в месяц.
- Кейс