Как создавать видео в нейросети Runway
Runway — еще одна популярная нейросеть для генерации любых видео. Она хорошо чувствует промпт, делает плавные движения и даже умеет менять стиль видео. Как пользоваться сервисом и сколько он стоит — рассказываем в гайде.
Чтобы создать первое видео, нужно перейти на сайт нейросети Runway и зарегистрироваться через email и почту.
Чтобы лучше разобраться в работе с видео, читайте наш мини гайд для начинающих:
Научитесь создавать видео с помощью нейросетей: от выбора подходящего сервиса и написания эффективных промптов до продумывания сценариев и сборки готовых роликов для соцсетей и бизнеса.
- Миникурс
- Видео
- Дизайн
Если вы не новичок — рекомендуем изучить мини-курс по видео для продвинутых:
Освойте профессиональные техники создания видео с нейросетями: от управления виртуальной камерой и создания сложных переходов до работы с аватарами, улучшения качества и монтажа готовых роликов.
- Миникурс
- Видео
- дизайн
На главном экране есть несколько кнопок и разделов:
- Инструменты Runway.
- Управление профилем.
- Библиотека ваших файлов и работ.
Вообще, в Runway много инструментов. Здесь можно удалять задний фон, генерировать и редактировать картинки, создавать аудио и др. Но в этом гайде мы протестируем только функции, связанные с видео:
- Сгенерируем видео по промпту.
- Сгенерируем видео по картинке.
- Поменяем стиль видео.
Как генерировать видео по промпту
Для этого нужно запустить инструмент «Generative video». Для создания видео доступно 3 модели: Gen-3 alpha, Gen-3 alpha turbo и Gen-2. В первой можно создавать видео по картинке + промпту и промпту, во второй — только по картинке + промпту. А Gen-2 — версия старого поколения, в которой есть функции контроля движений и камеры. В новых версиях этих функций пока что нет.
Чтобы поменять модель, нужно кликнуть на надпись в левом верхнем углу.
А затем — прописать промпт.
Чтобы сделать качественное видео, разработчики советуют придерживаться нескольких правил.
Важно! Советы ниже примеры к ситуациям, когда вы генерируете видео только по промпту или промпту + картинке.
Разделяйте промпт на 3 части: движение камеры → описание сцены и объекта → дополнительные детали.
Например, если вы хотите сгенерировать видео с девушкой в лесу, можно использовать такой промпт:
[Low angle static shot:] [The camera is angled up at a woman wearing all orange as she stands in a tropical rainforest with colorful flora]. [The dramatic sky is overcast and gray].
Повторяйте главные мысли несколько раз. Это может повысить точность ответов. Например, можно указать, что камера быстро пролетает через сцены в гиперскоростной съемке.
Пишите ясно и четко. Описывайте, что должно быть в кадре. Например, вместо «небо без облаков» пишите «ясное небо».
Подбирайте ключевые слова, которые соответствуют общей идее промпта. Например, если вы делаете широкоугольный кадр, лучше уделить больше внимания окружающей среде и подробно описать ее, а не кожу или лицо человека — их все равно будет плохо видно в кадре.
Примеры хороших ключевых слов можно посмотреть в базе знаний Runway.
При описании сцены нужно соблюдать общие рекомендации по промптингу:
Задавать и описывать объект — главного героя видео. Это может быть человек, животные, растения, предметы и т. д. его внешний вид, положение тела, выражение лица и т. д. Например, человека можно описать по такому принципу: спортивное телосложение, короткие темные волосы, в спортивном костюме, часы на руке, улыбается.
Указывать движение объекта — что главный герой делает в видео. Например, машет рукой, садится или поворачивается. Runway неплохо справляется с движениями, но делает их неестественными или медленными. Поэтому, если хотите сделать динамичное видео, где главный герой бегает, размахивает руками и т. д., идите в нейронку Kling.
Это видео сгенерировано в Runway. Выглядит неплохо, но у панды деформируется лицо, а в конце происходят какие-то рваные движения.
А это видео сделано в Kling — движения более реалистичные и плавные.
Описывать сцену — это передний, задний план и все остальное, что окружает героя. Описание должно быть коротким и таким, чтобы его можно было отобразить в 5-секундном ролике. Например, «сцена на лужайке» — хороший вариант. А сцена «под водой с большим количеством рыб, несколькими подводными лодками, сундуками и дайверами» — плохой вариант. Нейронка не сможет это отобразить.
Освещение поможет сделать видео более глубокими и задать им тональность. Подчеркнуть общее настроение картины.
Если не знаете, какой промпт использовать или как лучше описать сцену, можете кликать на заготовки снизу. Они автоматически подставятся в промпт, вам останется описать объект и сцену.
Также в этой строке можете кликнуть на кнопку «Examples» — откроется список заготовок. Если кликнуть на 3 полоски рядом с заготовкой, увидите шаблон большого и подробного промпта.
Здесь же можно создать кастомный промпт. Для этого перейдите на вкладку «Custom» → «Create new» и вставьте туда промпт размером до 1000 символов.
В дополнительных настройках можно выбрать разрешение генерации, убрать водяной знак и включить Seed — чтобы получать примерно одинаковые результаты по разным запросам.
Когда все настроите, можете выбрать длительность генерации: 5 или 10 секунд. Затем кликните на кнопку «Generate», результат будет готов через 2-3 минуты.
Теперь протестируем разные промпты.
Первый на очереди — улыбающаяся девушка в толпе:
A cinematic view of a young woman with long, wavy brown hair and deep green eyes, wearing a simple but elegant beige trench coat. She has a radiant smile on her face, creating a warm contrast with the moody, overcast atmosphere. She is walking confidently through a blurry crowd, her figure in sharp focus while the people around her are out of focus, giving a sense of dynamic isolation. The woman lightly brushes her hair behind her ear with one hand, exuding a calm yet optimistic energy. In the style of soft, muted colors with a cinematic feel, capturing dynamic motion and a deep depth of field, where the scene appears almost dreamlike, emphasizing her smile as a focal point against the bustling world around her.
Runway сделала неплохое видео, лицо девушки выглядит реалистично, артефактов мало. Движения камеры плавные. Единственное — длинные ногти пропадают и из-за этого пальцы становятся короче.
Luma справилась хуже — получилось страшное видео с нереалистичной девушкой.
У Kling получился достойный результат. Нет артефактов, движения плавные, девушка выглядит натурально.
Следующий промпт — панда в кафе.
A giant panda wearing black-framed glasses is reading a book in a café. The book is lying on the table, with a steaming cup of coffee beside it. The panda is sitting near the café windows, and the color palette is at a cinematic level. The shot is taken from a mid-range distance, with a blurred background and atmospheric lighting.
Runway не выполнила все условия промпта: не изобразила книгу, панда ничего не читает. При этом она пьет кофе, хотя в промпте про это не слова. Единственный вариант побороть это — делать несколько разных генераций.
У Kling получилось лучше. Соблюдены все условия промпта, картинка выглядит реалистично.
Luma тоже хорошо справилась. Выполнила все условия и выдала неплохую картинку. Но не такую реалистичную, как Kling.
Как генерировать видео по картинке
Для этого загрузите нужную картинку и напишите промпт c описанием действий объекта. В Runway рекомендуют описывать не изображение, а движения, которые вы хотите получить в итоге.
За основу для создания видео можно взять не реальную фотографию, а уже сгенерированную картинку. Так получится сначала создать с нуля атмосферу и персонажей, а затем качественно «оживить» их.
Разработчики Luma советуют использовать популярные сервисы Midjourney, DALL·E, Leonardo.
Минус — в Runway нет ключевых кадров как в Kling и Luma. Здесь можно только выбрать, будет картинка первым кадром в будущем видео или последним. Но если хотите поработать с ключевыми кадрам именно в Runway, тогда в первой генерации ставьте картинку последним кадром, в следующей — первым кадром, затем последним и так по кругу.
Еще одна особенность генерации по картинкам — нейронка часто увеличивает контрастность, яркость и насыщенность по сравнению с референсом. А также делает движения камеры слишком резкими. Чтобы исправить проблему, тестируйте в запросах следующие формулировки:
- static camera;
- desaturated colors,
- muted colors;
- low contrast.
Также в Runway есть функции «Motion Brush» и «Camera Control», но работают они только в gen-2. Переключиться на эту версию можно по клику на название модели в левом верхнем углу экрана.
Чтобы запустить сами функции, кликните на соответствующие значки в панели управления слева или на подсказки в поле ввода промпта.
В разделе «Camera Control» можно задать направление, в котором будет двигаться камера на видео. Для этого нужно перетаскивать нужные ползунки.
А в разделе «Motion Brush» можно выделить до 5 объектов и задать им анимацию по указанной траектории.
Чтобы добиться хорошего движения, выделяйте только ключевые части объекта. Например, если хотите, чтобы кошка двигала головой, выделяйте только голову, но не все тело.
Тексты запрос добавляйте по желанию. Если вы правильно выделите объект и зададите направление движения, объект повернется в нужную сторону. Промпт стоит добавлять в том случае, если хотите сгенерировать дополнительные детали.
Для генерации этого видео я выделил всего кота и добавил движение вправо. Получилось что-то непонятное.
А для этого видео я выделил только голову. Кот ей двигает, выглядит все реалистично.
Как создать полноценный ролик через Runway
Если хотите продолжить созданное видео, кликните на кнопку «Extend» — нейронка сама придумает 5 секунд видео.
Задача пользователя — ввести новый промпт и объяснить, что будет в продолжении ролика.
Важно! Рядом с кнопкой «EXtend» есть «Lip Sync» — она позволяет добавлять движения губ, чтобы в будущем на картинку можно было наложить звук. Но пока что функция работает криво, поэтому мы ее рассматривать не будем.
Как поменять стиль видео
Недавно в Runway появилась функция Video to Video, которая помогает изменять стиль исходной записи. Например, вы можете записать себя и поменять окружение на киберпанк, лес и т. д. Единственный минус — нейронке плохо удается сохранить лицо человека в кадре, поэтому на всех генерациях персонаж будет отличаться.
Чтобы попробовать инструмент, запустите Video to Video (Gen-1) на главном экране сервиса. В открывшейся вкладке загрузите видео, а в разделе «Style reference» загрузите референсное сообщение, или выберите из готовых пресетов, или введите промпт.
Вы можете выбрать силу следования выбранному стилю. Для этого меняйте значения ползунка в графе «Style Strength». По умолчанию он установлен на 75% — это оптимальное значение.
Также есть расширенные настройки. Чтобы открыть их, кликните «Advanced».
Здесь есть несколько новых параметров.
Стиль: структурное совпадение. Более высокие значения делают сгенерированное видео более отличным от исходного и более похожим на промпт или загруженную картинку.
Стиль: вес. При более высоких значениях генерация будет больше похожа по стилю на промпт или референс. При низких — на исходное видео. Разработчики рекомендуют работать в диапазонах от 7,5 до 12,5.
Seed. Это настройка, которая помогает воссоздать один и тот же стиль в разных клипах или поэкспериментировать с промптом, сохраняя при этом схожесть генерации. Т. е., если вы будете использовать разные промпты с одним и тем же Seed, будете получать примерно одинаковые результаты, но с разными деталями.
Согласованность кадров. Эта настройка позволяет создать более плавное и согласованное видео. Чем ниже значения, тем больше кадры будут похожи между собой по стилю. Чем значения выше, тем сильнее кадры будут отличаться друг от друга. Например, где-то будут менять цвета, добавляться новые детали и т. д. Разработчики рекомендуют держать параметр в значениях от 1,0 до 1,25.
Upscale. Увеличивает размер генерации. Ее рекомендуют использовать после того, как вы нашли идеальную комбинацию настроек.
Удалить водяной знак. Удаляет водяной знак Gen-1 из правого нижнего угла видео.
Применить только на передний план. В этом случае стиль применится только к переднему плану. Задний останется нетронутым.
Применить только к заднему фону. В этом случае стиль применится только к заднему фону. Передний останется нетронутым.
Сравнить два видео. В этом случае вы получите сравнение исходного видео и генерации.
Чтобы посмотреть, как примерно будет выглядеть видео, кликните на кнопку «Free previews».
Сервис покажет 4 картинки — это будут примеры стиля, в котором получится видео. За создание превью кредиты не взимаются.
Конкретных советов по выбору стиля и его описанию дать не получится. Единственный вариант — тестировать разные картинки и промпты.
- Кейс
Я протестировал инструмент самостоятельно, а также проанализировал чужие результаты работ и вот, что понял:
- Чтобы получить хорошее видео, в исходнике камера должна медленно двигаться. Видео должно быть высокого качества.
- Если задаете стиль по промпту — он должен быть большим и очень подробным.
- Лучше всего нейронка меняет стиль у рендеров 3D-моделей. Но даже если вы меняете стиль на хорошо проработанном референсе вроде кузова автомобиля, не исключены блики похожие на вмятины и дикие факапы с фоном.
- Надписи, логотипы и разные шильды Runway обрабатывает плохо. Она или меняет буквы и картинки, или дорисовывает их там, где не нужно.
Сколько стоит
Минимальная месячная подписка на Runway стоит $15. За нее дадут 625 кредитов на месяц. Генерация 1 секунды в модели Gen-3 стоит 10 кредитов. В Gen-3 Alpha — 5 кредитов. Поэтому на минимальной подписке вы сможете сгенерировать около минуты видео в Gen-3 или 2 минут в Gen-3 Alpha. Это очень мало по сравнению с Luma и Kling.
Но в Runway можно покупать дополнительные кредиты — 1000 штук обойдется в $10.
В целом, сейчас пользоваться Runway стоит только ради функции Video to Video. Потому что генерировать обычные видео в нейронке слишком дорого по сравнению с Kling и Luma, где качество не уступает, а местами даже лучше.