Как создавать спецэффекты в Runway
Runway — сильная нейронка для работы с видео. В ней можно создавать видео по промпту, оживлять картинки и даже задавать направления движения объектов. Но самая классная фишка сервиса — здесь можно создавать спецэффекты. Например, добавлять взрывы, заставлять объекты летать а отдельные части логотипа двигаться.
В гайде рассказываем, как такие спецэффекты создать.
Как создать спецэффекты для видео
Принцип простой. Сначала нужно снять видео, в которое мы хотим добавить спецэффекты. Потом вытянуть из видео стоп-кадр на том моменте, где нужно добавить спецэффекты. Добавить спецэффекты на стоп-кадр и совместить полученную генерацию с первоначальным видео.
Объясню на примере. Допустим, я хочу сделать видео, в котором я прыскаю на цветок из пульверизатора и цветок вырастает. Для этого я сначала снял видео, где прыскаю на цветок. В конце записи я вышел из кадра, чтобы получить стоп-кадр, где на столе будет стоять только цветок, а меня в кадре не будет.
Важно! Вам обязательно нужно иметь стоп-кадр, где в кадре будет только объект, с которым должна будет работать нейронка. Если вы попробуете обработать стоп-кадр, где вы будете в кадре, нейронка запутается и с большой вероятностью нормальной генерации не получится.
При этом стоп-кадр не должен отличаться от основного видео: там должно быть такое же освещение, такой же ракурс съемки и т. д.
Видео сняли, теперь делаем стоп-кадр. Для этого открываем сайт ezgif в разделе «Video to GIF» → «Video to JPG».
Загружаем туда видео, нейронка разложит его на картинки. Находим картинку, где в кадре только объект, а вас нет.
С этим стоп-кадром идем в Runway в модель Gen-3-alpha. В поле для ввода промпта указываем, что должно случиться с объектом. В моем случае цветок должен вырасти, значит промпт будет звучать так: «A static shot of the plant. The plant morphs into a bigger plant».
Обратите внимание. Здесь можно не соблюдать строгую структуру промпта. Можно просто описать, что должно случиться с объектом.
Также обязательно в начале промпта добавляйте «A static shot of…». Иначе камера будет двигаться.
У меня получилось такое видео. Выглядит очень реалистично, новый цветок похож на тот, что был изначально.
Идем дальше — совмещаем сгенерированное видео с первоначальным. На этом этапе вы можете пользоваться разными сервисами: встроенным видеоредактором Runway, Adobe Premier, Adobe After Effect и др. Подойдут любые сервисы, где можно накладывать маски на объекты. У меня подписок на сторонние сервисы нет, поэтому я буду работать во встроенном видеоредакторе Runway. Он бесплатный.
Для этого переходим на главный экран сервиса и в разделе Library выбираем «Video Editor Projects».
В новом окне кликаем на «New Project» → «Video Composition».
В редакторе в раздел «Assets» загружаем заранее записанное видео. Затем перетаскиваем его на Timeline внизу. Также в разделе «Assets» находим папку «Generative Video», открываем ее и выбираем видео, которое сгенерировала нейронка.
Важно! Первоначальное видео должно быть на нижней дорожке, сгенерированное — на верхней.
Теперь нужно применить маску — выделить нужный объект на сгенерированном видео и удалить остальной фон. В нашем случае нужно выделить цветок. Чтобы сделать это, кликаем на дорожку правой кнопкой мыши → «Edit» → «Mask» → «Create».
На открывшейся странице нужно переместиться в начало видео и кликнуть на объект, который вырезаем. Нейронка выделит его зеленым цветом.
Важно! Нейросеть может ошибочно выделить лишние места. Например, стену рядом. Чтобы убрать ненужное выделение, в разделе «Controls» справа переключитесь в режим «Exclude» и кликните на лишнюю область.
Когда выделите объект, нажмите на «Done masking» в правом верхнем углу экрана.
Нас вернет в редактор. Теперь осталось передвинуть сгенерированное видео относительно оригинального. Так, чтобы цветок рос после того, как я на него прысну.
Когда все будет готово, нужно нажать на «Export». Видео появится в разделе «Assets».
Вот, что получилось у меня.
Выглядит все реалистично. Единственное, видно, что немного различается цвет горшка и самого цветка. Чтобы поправить цветокоррекцию, нужно открыть раздел «Effects and Filters» и найти настройку «Brightness and contrast» или «Exposure and black level» и поиграться с параметрами.
Важно! Я рекомендую накладывать маску именно на сгенерированный объект. Либо на объект, который не отбрасывает тени. Например, я в первый раз наложил маску на себя и переносил себя в сгенерированное видео. И вот, что получилось.
На видео видно, что у меня пропадает тень. Кроме того, заметно, что вокруг меня есть какой-то контур.
По такому принципу можно создавать любые спецэффекты. Например, чтобы рядом с персонажем что-то взрывалось или взлетало.
Правда, нейронка справляется не со всеми спецэффектами. Лучше всего она умеет увеличивать объекты, заставлять их взлететь, взорваться, заполнится жидкостью или загореться. С остальным эффектами придется повозиться и сделать много запросов, чтобы получить хороший результат.
Например, вот видео, где позади меня происходит взрыв. Промпт «muted colors, low contrast, subtle motion. Explosion behind the man»
А вот еще одно видео, где мне на лицо падает зеленая жидкость. Видно, что жидкость соблюдает законы физики и видео в целом кажется реалистичным. Промпт «muted colors, low contrast,, subtle motion. Green liquid flows down from the sky onto the man»
Вот еще один пример, где гитара поднимается по воздуху вверх. При этом нейронка даже создала тень, которая идеально копирует гитару. Промпт «The guitar start floating».
Важно! К сожалению, пока что такие спецэффекты можно сделать только для объектов, которые находятся рядом с действующим лицом и с которыми персонаж не взаимодействует. Например, если бы я взял цветок в руки, показать его рост не получилось бы. Просто потому, что нейронка изначально не обработала бы такой стоп-кадр.
Как создать спецэффекты для логотипа
Здесь все работает еще проще: создаем логотип в нейросети → загружаем картинку в Runway → в промпте указываем, что должно происходить с логотипом. Полученное видео можем вставлять в другие видео, например, накладывать как водяной знак.
Совет. Генерируйте логотипы на зеленом фоне. Так будет проще убрать задний фон, когда вы добавите анимацию.
Разберемся на конкретном примере. Я попробую сделать логотип для нейроцеха со свиньей, которая будет махать рукой.
Сначала я сделал логотип в нейронке Ideogram по запросу «A logo with a pig and the text „NEUROCEH“ on a green background. The pig is wearing a scientist’s lab coat and glasses. The text is written in a modern, bold font. The overall design is clean and professional».
Важно! Обязательно создавайте картинки в формате 16:9, иначе Runway обрежет картинку.
Получился такой логотип:
С ним я пошел в Runway и добавил запрос «A static shot of a pig. The pig raises his hand up».
Получилось такое видео:
Заметно, что нейронка сделала картинку сильно насыщеннее. Но в моем случае это неважно, т. к. задний фон я все равно буду удалять. Главное, что свинья машет рукой. Чтобы нейронка не меняла цвета, к промпту нужно добавлять «muted colors» или «low contrast».
Берем полученное видео и идем в «Video Editor Projects». Как и в случае с цветком, накладываем маску на свинью. Нейронка справилась хорошо и не захватила лишнего.
Я для примера вставил логотип как водяной знак.
Вот примеры других логотипов, которые можно сделать в Runway.
Примеры взял из этого видео
Бонус: как сделать звуки для видео
Если хотите сделать видео еще реалистичнее, нужно сгенерировать звуки окружения. Сделать это можно в нейронке ElevenLabs. После регистрации в сервисе перейдите в раздел «Sound Effects» и опишите нужный звук. А в разделе «Settings» задайте длину. Я для примера сделал звук взрыва динамита и наложил на видео с собой. Вот, что получилось: